¿Cómo comenzó Big Data?

Big Data no tiene una era. Déjame decirte por qué.

  • La definición de Big Data es diferente para todos ¿Cómo? Veamos
  • Supongamos que tengo una computadora portátil con 1TB HDD y 4 núcleos. Digamos que quiero procesar 800 GB de datos que están almacenados en mi sistema. Y para hacer eso escribo un programa.
  • La salida intermedia de mi programa para procesar 800GB puede ser de alrededor de 200GB y mi salida final puede ser de alrededor de 400GB, por lo tanto, el espacio total requerido para almacenar y procesar los datos fue de 800GB (almacenamiento) + 200GB (Espacio intermedio) + 400GB (Salida final). Por lo tanto, el espacio requerido es de 1400 GB. Este tipo de datos con los que no puedo tratar se llama BigData.
  • Entonces, para alguien que tiene un disco duro de 2 TB y una máquina de 8 núcleos, el escenario anterior no será un problema de BigData.
  • Este es un escenario pequeño, hay muchos más casos que también debe considerar, como la velocidad de los datos, el tipo de fecha, etc.
  • Sin embargo, BigData ganó popularidad cuando Doug Cutting creó Hadoop en 2006. Hadoop nos dio una solución simple para resolver el problema de BigData. Por lo tanto, el nacimiento de Hadoop demostró ser un auge para las empresas porque pudieron procesar, almacenar y transformar BigData con hardware básico.

Espero que esto responda a su pregunta