¿Qué ha contribuido en gran medida al lanzamiento de la era de Big Data?

¡Oye! Gracias por la pregunta, me permitió hacer mi propia investigación sobre los orígenes de los grandes datos, desde la palabra de moda hasta la práctica deseable.

La era de la información trajo avances rápidos y significativos en tecnología y poder de datos. De repente, grandes cantidades de datos se obtuvieron fácilmente y se democratizaron los métodos de recolección. Después de la expansión de la tecnología de computación en la nube, la capacidad de datos se hizo mayor que antes.

En 2013, el McKinsey Global Institute, publicó un informe que decía: “La ciencia de datos es el catalizador número uno para el crecimiento económico”. Después de hacer esta predicción, parecía haber un interés correlativo en los datos. Big data se ha convertido en una fuerza importante dentro de la publicidad y el marketing. De hecho, solo el semestre pasado, mi profesor periódicamente y con entusiasmo alentaba a mi clase a seguir el análisis de big data, nombrándolo el “camino del futuro”.

Todo esto para decir, comencé a trabajar con una aplicación de recolección de datos este verano, Conseris, y esencialmente comencé a identificar cuán lejos han llegado los datos. Ahora, al igual que la aplicación con la que trabajo, ¡puedo aplicar fácilmente la ciencia de datos yo mismo! Es bastante sorprendente

Para obtener más información, mira este video decente: ¿Qué lanzó la era de Big Data? El | Blog de Coursera

Hay dos tipos principales de datos.

Estructurado y no estructurado

Los datos en una base de datos relacional están estructurados. Definimos la tabla y definimos qué contendrá cada columna.

Eso ha existido por bastante tiempo.

Sin embargo, aproximadamente el 90% de todos los datos que se recopilan no están bien formateados para nosotros. A estos datos los llamamos datos no estructurados o grandes.

Por lo tanto, el tipo de datos no estructurados que se recopilan es un contribuyente.

Se estima que estamos recopilando varios zettabytes de datos en todo el mundo todos los días. No sé cuántos ceros son, pero sé que es un montón de datos.

Por lo tanto, el gran volumen de datos que estamos recopilando ha crecido enormemente en los últimos años. Este es otro contribuyente.

Las redes neuronales han existido desde los años 50 y durante la mayor parte de ese tiempo han apestado. Ya no apestan y, de hecho, superan a casi todo lo demás. Estos modelos funcionan bien con muchos datos.

Por lo tanto, el aumento del aprendizaje automático, pero específicamente las redes neuronales, ha contribuido al aumento de los grandes datos.

Esta no es una lista exhaustiva, sino algunos puntos centrales.

Si está pensando en la ingeniería de datos como una carrera, consulte mi serie de cursos para obtener el certificado de Ingeniería de datos certificada de Google.

Una introducción a Google Cloud Platform para ingenieros de datos

El ecosistema de código abierto disponible para implementar Map Reduce a través de Hadoop y los marcos circundantes en código abierto ha sido el mayor catalizador para democratizar Big Data, que de otro modo era muy costoso.