¿Big Data es una palabra de moda sobrevalorada o es realmente algo con sustancia? ¿Cuáles son las áreas donde los grandes datos han sido evidentemente disruptivos y transformadores?

Ambos. Definitivamente ha sido usado en exceso (si no exagerado). Dicho esto, hay suficientes innovaciones en diversas industrias que prueban que Big Data ha llegado y está aquí para quedarse. La declaración del profesor Dan Ariely es generalizada y cualquier declaración generalizada no puede ser 100% correcta. Hay varios individuos y organizaciones que están utilizando big data para su ventaja. Esta charla ted hace un trabajo decente al resumir puntos de vista sobre big data: Big data es mejor data

Pero al mismo tiempo, los grandes datos aún están en su etapa inicial (posiblemente) y debemos ser muy cuidadosos al tomar la información generada a partir de los grandes datos en su valor nominal. Las técnicas estadísticas generadas hace siglos no se desarrollaron necesariamente teniendo en cuenta los grandes datos. Por lo tanto, debemos ser más críticos con el análisis realizado en big data, para poder desarrollar nuevas y mejoradas técnicas estadísticas (algoritmos) que le sean aplicables. Solo para poner las cosas en perspectiva, se desarrollaron muchas técnicas estadísticas hace unos 350 años y los grandes datos solo han existido durante medio siglo (incluso desde la perspectiva de la persona más optimista). Esta entrevista de Michael Jordan aclara muchos conceptos erróneos sobre big data: el maestro de aprendizaje automático Michael Jordan sobre los delirios de Big Data y otros enormes esfuerzos de ingeniería

En lo que respecta a las áreas que tienen un impacto que cambia la vida, personalmente creo que la llegada de los grandes datos ha influido (positivamente) en la industria de la salud. En primer lugar, la promesa de big data mejoró la calidad del proceso de recopilación y almacenamiento de datos en la industria de la salud en la última década. Antes de eso, esta industria era infame por tener el tipo de datos más abusado. No es tan difícil convencer a alguien sobre la dificultad de almacenar y administrar datos médicos debido a su gran variedad, volumen y velocidad. Además, generar información a partir de datos médicos es aún más difícil e importante porque no solo reduciría los costos del tratamiento, sino que también podría mejorar la atención y salvar vidas. Hay varios artículos que resumen la relevancia de los grandes datos en la industria de la salud y este es uno de estos artículos: Análisis de grandes datos en la atención médica: promesa y potencial

La conclusión es que los grandes datos son una realidad, pero debemos dejar de abusar del término y centrarnos más en su desarrollo. Todavía estamos a décadas de descifrar los grandes datos por completo, pero estamos dando pequeños pasos en esa dirección cada día.

El método de aplicar información estadística y datos duros siempre ha sido crucial en la realización de encuestas, investigaciones y análisis para descubrir conocimiento y desarrollar ideas. Big Data es una nueva forma de hacerlo en la era digital.

La explosión de datos digitales en Internet y las herramientas, tecnologías y enfoques avanzados disponibles hoy en día han hecho que la tarea de descubrir el conocimiento y desarrollar ideas sea mucho más fácil. Ahora, aplica algoritmos y una variedad de herramientas de análisis de Big Data para hacer lo que solía hacer manualmente, gastando meses, si no años.

Con Big Data, ahora puede realizar gran parte de su tarea incluso sin moverse de su escritorio. Puede agregar todos los datos que necesita, aplicar los análisis que necesita y obtener el resultado deseado en tiempo real. Incluso puede hacer que las compañías de Big Data hagan los trabajos complicados por usted.

Las tecnologías y servicios de Big Data han ayudado a las empresas a tomar las decisiones correctas en el momento adecuado, desarrollar agilidad y eficiencia, reducir costos y mejorar los ingresos, optimizar los servicios al cliente y obtener una ventaja competitiva.

Si Big Data fuera solo un mito o una palabra de moda, no habríamos visto el surgimiento de nuevas empresas de Big Data en compañías de Big Data.

Aún queda por ver cuánto de Big Data es bombo (si es que hay alguno). Se necesita cierto lapso de tiempo para tener la ventaja de la retrospección. Una cosa es segura: Big Data no se va a evaporar como cualquier otra palabra de moda sobrevalorada porque no es simplemente una palabra de moda sobrevalorada.

Sí, Big Data no será un sustituto del juicio humano basado en intuiciones, inteligencia emocional, previsión. instintos, etc., que nos guían a considerar las cosas en varias dimensiones y tomar decisiones.

La siguiente infografía ofrece un breve resumen de las áreas que han sido transformadas por Big Data: Impulsado por datos: 7 áreas donde Big Data ha generado grandes transformaciones

¿Que dices ahora?
¡Big data es como el profesor de sexo adolescente!
Un montón de niños lo están haciendo, en sociedad o en soledad, y con indiferencia .

La mayoría de los niños mejoran día a día.

Se están visualizando, experimentando e implementando diferentes y salvajes posiciones mientras escribo. Se encuentra que algunas empresas son útiles, rentables y fructíferas y se conservan en sus manuales, y algunas se descartan.

Pronto, será lo que se debe hacer de facto los fines de semana y una carga de trabajo ligera los días de semana mientras se sienta al margen con su loción de manos quejándose ‘ nadie realmente sabe cómo hacerlo ‘.

He sido culpable de aludir a algunas de estas palabras de moda como big data (más recientemente, data lake) a los clientes. 🙂 Pero siempre los uso con la mayor precaución. No le crea a un consultor que recomienda soluciones de Big Data de manera improvisada. En mi experiencia, estas soluciones tienen un contexto o ajuste muy limitado para el propósito en el que el factor Beneficio / Costo es mayor que 1. Además, la organización necesita implementar cambios considerables en los procesos, la infraestructura y, lo más importante, la mentalidad de las personas en todos los niveles (especialmente gestión) para grandes datos para obtener grandes resultados. La mayoría de las veces, el análisis y la minería / análisis de datos estadísticos convencionales ofrecen resultados comparables o incluso mejores.

Con el debido respeto al Profesor, cualquiera que sugiera que “nadie realmente sabe cómo hacerlo” está un poco fuera de sintonía con la realidad, ya que hay muchas empresas (incluidas muchas de las compañías con las que tengo la suerte de trabajar) que son. Claro, parte de la exageración se ha terminado, pero también lo es parte de la negatividad. Cubrí esto aquí en una publicación neutral del proveedor: Analytics Hype: The Next Wave in Big Data Backlash

Tenga en cuenta que pensar en términos de tamaño de datos como el único criterio para usar estas tecnologías es un error fundamental, la mayoría de las veces es su flexibilidad lo que las hace atractivas cuando está comenzando. Cubro eso aquí también (también publicación neutral del proveedor):

¿Por qué es tan útil el esquema de lectura?

Big data se está haciendo más grande a través de un flujo constante y regular de datos entrantes. Estos datos están llegando a velocidades increíbles en entornos de alto volumen, y deben analizarse y almacenarse de manera efectiva.

Hace aproximadamente una década, era ciertamente imposible imaginar que los petabytes de datos históricos y en tiempo real pudieran analizarse utilizando hardware básico. Hoy en día, es común encontrar grandes grupos de Hadoop desarrollados a partir de miles de nodos; con tecnologías de código abierto que hacen posible que el hardware virtualizado y básico procese millones de gigabytes de big data, todo de manera asequible.

Aquí hay algunos artículos que ampliarán su conocimiento sobre el concepto de Big Data. Leer este artículo te será de gran ayuda.

5 predicciones de Big Data: qué buscar en 2015
Principales formas de utilizar Big Data en proyectos