¿Cuáles son los mayores desafíos al hacer análisis de big data?

Antes de comenzar, soy un empleado actual de Looker y mi conocimiento de la industria proviene en gran medida de mi experiencia en Looker. Dicho esto, he hecho todo lo posible para responder esta pregunta de manera imparcial, aunque tengo más conocimiento de Looker que cualquier otra plataforma de BI.

Creo que el mayor desafío que enfrenta el análisis de datos en el siglo XXI es la llamada “brecha de utilización”. Todas las grandes empresas tienen grandes cantidades de información en bases de datos cada vez más complejas. Sin embargo, a pesar de tener más datos que nunca, la mayoría de los análisis de datos aún no pueden proporcionar información procesable.

Este problema común ha sido bien documentado con hechos concretos que describen tanto el alcance como las causas del problema (La brecha de utilización: el mayor desafío de Big Data). Y algunas compañías han hecho mucho para abordarlo. En términos de bases de datos, las compañías como Teradata Aster han continuado la tendencia hacia un análisis totalmente en la base de datos que abarca arquitecturas de bases de datos completamente unificadas. Esto permite a las empresas recopilar datos de fuentes dispares en una sola base de datos. Luego, con el análisis en la base de datos, sus datos nunca se mueven, eliminando la tradicional capa ETL en el momento de la consulta. Looker es un excelente ejemplo de esto. Looker se conecta directamente a cualquier base de datos relacional, consultando datos en la fuente. Con esta capacidad, los usuarios de una empresa tienen todos sus datos en un solo lugar, disponibles en todo momento, proporcionando una única fuente de verdad para todos los involucrados. Esta innovación también elimina la necesidad de bases de datos patentadas donde los subconjuntos de datos de una empresa se almacenan temporalmente.

Los esfuerzos para cerrar la brecha de utilización se extienden a las plataformas de BI y la inteligencia empresarial se vuelve más fácil de usar con cada iteración, lo que permite al usuario comercial típico consultar datos por sí mismo. Por ejemplo, cada plataforma de BI popular proporciona interfaces de usuario razonablemente intuitivas que permiten a los usuarios normales encontrar visualizaciones y gráficos básicos (Tableau, Birst, etc.). Sin embargo, las visualizaciones a menudo no son suficientes. Los usuarios modernos quieren explorar las bases de datos ellos mismos. Esto es posible en algunas plataformas hoy en gran parte debido al advenimiento de lenguajes de modelado que consultan bases de datos relacionales automáticamente, completando el código SQL con solo presionar un botón. Sin embargo, los lenguajes de modelado siguen siendo nuevos. Por lo que puedo decir, solo Looker tiene una capa de modelado basada en lenguaje completamente funcional (LookML). Como esto tiene enormes ventajas prácticas, se convertirá en un estándar de la industria más pronto que tarde.

Abordar aún más la brecha de utilización es una tendencia creciente hacia una BI más analítica y exploratoria. Con esto quiero decir BI que se enfoca en explorar datos para revelar ideas en lugar de BI que se enfoca en visualizaciones. Con el BI moderno, el usuario no necesita saber exactamente qué datos está buscando. En cambio, pueden aprovechar análisis más potentes para encontrar patrones, relaciones y valores atípicos que tradicionalmente han permanecido ocultos. Aquí, una vez más, los sistemas más antiguos que se centran en el destino en lugar del viaje (piense en los sistemas y plataformas de estilo heredado cuyo enfoque son las visualizaciones), en mi opinión, se eliminarán gradualmente a favor de estas plataformas más ágiles.

Por supuesto, la seguridad y la privacidad son preocupaciones permanentes, pero que cualquier plataforma de BI que se respete a sí misma aborde a fondo.

Al elegir la solución correcta, necesita discernir sus necesidades. Si cree que las visualizaciones simples son todo lo que necesita, hay muchas opciones excelentes en el mercado. Si está buscando algo que le permita explorar sus datos a fondo y hacer conexiones, considere una plataforma que sea un poco más compleja de aprender, pero mucho más poderosa. Si es técnico (es decir, tiene algún tipo de familiaridad con SQL), recomendaría una solución más ágil con una capa de modelado basada en el lenguaje. Si no tiene un equipo de análisis y no está interesado en aprender, elija una plataforma de visualización más simple.

Si desea obtener más información sobre Looker, no dude en comunicarse.

¿Cómo funciona un mecanismo de atención en el aprendizaje profundo?

¿Cuál es la ventaja del modelo espacial autorregresivo?

¿Por qué la búsqueda de imágenes de Google es tan rápida?

¿Cuáles son los requisitos previos para aprender Oracle Apps Technical?

¿Existe una relación entre la detección comprimida y las redes de yacimientos?

¿Por qué Internet en inglés?

Una buena manera de explicar los problemas más extremos pero omnipresentes en el espacio de “big data” / “analytics” / “data science” es con las parábolas. La parábola de “Big Letters” cubre el tema de la alfabetización , la voluntad de “subirse al carro” sin comprender o incluso ser consciente de algunos conceptos fundamentales, y el papel que los vendedores pueden desempeñar en la explotación y el mantenimiento de este estado de cosas. Aquí está:

En 1439, Johannes Gutenberg utilizó por primera vez la imprenta en Europa, desencadenando la era de la comunicación de masas. Un invento alteró la sociedad. Este fue un momento de revolución en las ciencias, la tecnología, la economía y las artes en Europa. Un “renacimiento”.

La noticia llegó a un exitoso vendedor de nabos en Europa. Vio suficientes presentaciones de conferencias y escuchó de suficientes colegas y otros que la impresión era la tecnología de la información que iba a cambiar el negocio, y nuestro agricultor estaba decidido a no quedarse atrás. Resulta que el vendedor de nabos, como muchos en ese momento, era apenas numerado y realmente analfabeto.

El vendedor de nabos, consultó con los vendedores de imprentas que le informaron sobre los diferentes modelos de máquinas de imprenta que podía considerar, y todo el valor adicional que podía ofrecerle. Los vendedores no estaban perturbados en absoluto por la innumeración del vendedor de nabos, y de hecho ni siquiera lo abordaron. Después de todo, aunque la impresión puede ser milagrosa, todavía se trataba de cosas “técnicas”, “académicas” como leer y escribir, y cosas de nivel superior como “ciencia” y “literatura” en la misma línea, difícilmente el dominio de negocios importantes. A la gente le gusta nuestro vendedor de nabos.

Los vendedores fueron muy claros en su discurso: el vendedor de nabos tenía que ser dueño de una imprenta, pero de ninguna manera dijeron que tenía que hacer otra cosa que no fuera poseerla, seguir las “mejores prácticas” prescritas y, presumiblemente, observar el rollo de dinero. ¿Aprender a leer? No mencionado, no relevante. En cambio, los proveedores presentaron algunos estudios de casos de mejores prácticas de la industria del nabo, en los cuales sus imprentas destacaron en una serie de métricas. Los estudios de caso se referían a aplicaciones comerciales clave, en las que se estaban metiendo todos los demás vendedores de nabos (¡competidores!). ¿Podría nuestro vendedor darse el lujo de perderse?

En consecuencia, se imprimió “Nabos: mejores prácticas”, producido en masa en varios idiomas. El vendedor observó a su nuevo equipo de impresión ocupados haciendo su trabajo y vio folletos, libros y diarios publicados. Naturalmente, no entendió una palabra, pero sabía que no era realmente su trabajo entenderlo. ¿Para qué eran todas esas palabras, letras, imágenes? No necesitaba preocuparse. Era demasiado importante, “centrado en los negocios”, “estratégico” para eso. Leer y escribir era para los nerds que trabajaban para él.

La vida activa de la prensa fue corta antes de que se olvidara por mucho tiempo. No está claro quién debía leerlo o qué valor generó. El vendedor encontró algo de valor en mostrar su brillante maravilla tecnológica a amigos, clientes y colegas, pero nunca entendió realmente para qué servía. Pronto, los tiempos difíciles cayeron sobre el vendedor después de un invierno particularmente duro, y la imprenta acumuló polvo.

A veces, ese invierno, el vendedor tuvo tiempo de preguntarse, qué diablos hacen todas esas personas que los vendedores citaron como “mejores profesionales” con sus imprentas de todos modos.

La historia se toma con permiso de Analyst First , un grupo de expertos internacional fundado por líderes de la industria para hacer que el análisis sea más barato, más relevante y más apropiado para los negocios.

Noté que muchas respuestas en el dominio de la ciencia de datos / análisis provienen de proveedores, consultores y estudiantes entusiastas. No tengo nada en contra de ninguna de estas tres partes (he sido las tres, ¡y el aprendizaje nunca se detiene!). Pero algunos contenidos en este espacio carecen de independencia o provienen de una porción de la amplia industria analítica y, por lo tanto, caen en el síndrome del “hombre ciego y el elefante”.

Espero que hayan disfrutado la lectura, pensé que también terminaría con algunos datos recientes para completar la parábola.

Big data es un área fascinante que promete mucho, pero la inversión en big data no es como invertir en una inversión financiera en la que invierte algo de dinero, tal vez le pague a un especialista financiero para que lo administre y espere a que crezca. Es mucho más como invertir en una membresía de gimnasio donde toda la organización necesita cambiar su estilo de vida para obtener los beneficios.