La exageración de Big Data es el resultado de 3 tendencias convergentes que se han horneado en las últimas décadas:
1) datos
Los datos están en todas partes, más que nunca. La revolución de los teléfonos inteligentes, RFID, dispositivos portátiles significa que cada uno de nosotros está generando datos muy valiosos a tasas rápidas. Y esta tendencia solo se acelerará en el futuro. La revolución de Internet de las cosas acaba de comenzar. Muy pronto nuestras casas, autos y ropa tendrán docenas de sensores y actuadores listos para recopilar los datos, procesarlos y actuar sobre ellos.
- ¿Qué carrera debería intentar, ciencia de datos o aprendizaje automático?
- ¿Alguna vez hay una buena razón para cambiar los datos sin procesar al realizar análisis estadísticos o modelos?
- ¿Qué significa "casi todas las herramientas de software estadístico disponibles para los científicos alientan el modelado paramétrico y, por lo tanto, el diseño de experimentos basados en suposiciones sobre la distribución de datos que están equivocados"?
- ¿Cómo es ser un Data Science Manager?
- ¿Qué diferencia a una solución típica de Kaggle en algún lugar en el medio del paquete frente a alguien en, digamos, el 5-10% superior?
2) Almacenamiento y Computación
El almacenamiento y la computación nunca han sido tan baratos y accesibles como antes. La computación en la nube ha democratizado el análisis a gran escala: las empresas ya no necesitan alojar y mantener 10s de servidores para poder realizar análisis de datos de manera eficiente / escalable. Esto también significa que hay una ventanilla única donde puede almacenar sus datos, analizarlos y almacenar los resultados. Esto no era cierto hace solo unos años.
Al mismo tiempo, los avances en tecnologías como las GPU permiten que los algoritmos de análisis de datos escalen a varios órdenes de magnitud más datos que antes. Algoritmos que en el pasado eran demasiado lentos, ahora son factibles y pueden lograr excelentes resultados (por ejemplo, aprendizaje profundo).
3) La información es dinero
La verdad es que los datos son valiosos. Esto siempre ha sido cierto en campos más antiguos como los seguros y las finanzas. Pero una nueva generación de compañías como Uber, Facebook y Google tienen modelos comerciales muy exitosos basados en la extracción de datos personales. Y todos quieren ser el próximo Google.
