¿Qué es un lago de datos en el contexto de big data?

Un lago de datos es un repositorio de datos sin procesar, sin esquemas ni estructurados.

Tenía algunas ventajas en 2008 cuando se inventó. En aquel entonces, los almacenes de datos eran rígidos y pesados. El proceso de carga fue complicado y cualquier cambio de esquema requirió horas de ingeniería.

Aquí hay una buena visualización (lago de datos = proceso ELT):

Hoy ya no es así: los almacenes de datos como Amazon Redshift, Google BigQuery y otros son flexibles y robustos.

Las ventajas de no tener que molestarse con la estructura de recopilación de datos y formar enanos en comparación con el dolor de cabeza masivo que tendrá cuando intente analizar sus datos. Te entristecerá descubrir que tu glorioso lago de datos es en realidad un pantano de datos.

Elegiría el almacén de datos sobre el lago de datos cualquier día de la semana.

La razón por la que soy tan inflexible es porque me encuentro con docenas de equipos de datos que luchan con este problema exacto. Para ser sincero, la migración de MongoDB a BigQuery es uno de los principales casos de uso que veo aquí en Alooma.

Buena suerte, elige bien: O)

Nuestro enfoque es un poco diferente. Construimos lagos de datos estructurados. Un lago de datos estructurados es como cualquier otro, toma todo tipo de datos en cualquier formato. Pero alimentamos al lago con programas especiales llamados ‘productores’. Estos productores trabajan de forma independiente, almacenan metadatos y están optimizados para agrupar los datos en el lago de datos con una comprensión básica de cómo se consumirá en el futuro. Siempre usamos fechas y convenciones de nomenclatura, pero podemos agregar arbitrariamente más metadatos.

El propósito de esto es hacer que el lago de datos sea más utilizable para los consumidores directos y los procesos posteriores.

El gran problema de un lago de datos estructurados es que amplía las capacidades de los almacenes de datos y BI. Puedo construir un DW con 6 meses de historia que esté optimizado para esa ventana de tiempo. Mientras tanto, mi lago de datos tiene un almacén de datos operativos de 36 meses a velocidades cercanas a la línea y 60 meses adicionales sin conexión. Por lo tanto, mi DW tiene capacidad para 102 meses de datos debido a la forma en que lo diseñé para consumir desde el lago de datos estructurados. Pero también puedo permitir que los consumidores directos consulten ese historial utilizando el lago de datos lento y barato.

MÁS

La recuperación ante desastres se vuelve obvia. Casi siempre es más rápido borrar una base de datos y simplemente recargar seis meses de historial que usar herramientas de recuperación de bases de datos de copias de seguridad incrementales. Ciertamente, siempre es más barato hacerlo. Tener un lago de datos te permite probarlo. Un lago de datos adecuado siempre será más rápido para este propósito que NFS y, ciertamente, Amazon S3 será más barato que un SAN de dimensiones similares, sin mencionar que es más confiable con un menor mantenimiento.

MÁS

Puedo usar mi lago de datos para alimentar varias instancias del almacén de datos para el intercambio en caliente o para la implementación global en diferentes regiones. También podría tener todo mi lago de datos replicado automáticamente. Aunque nunca hemos tenido un requisito tan paranoico, hace tres años los detractores gritaban cada vez que oían hablar de un corte de AWS.

Para obtener más información sobre el marco elástico ‘Pitbull’ para almacenamiento de datos y BI de ElasticBI, consulte este blog [1].

Para responder su pregunta directamente, nuestros lagos de datos estructurados realizarán transformaciones de limpieza en los productores. Esto se debe a que para la mayoría de los esquemas de ingesta basados ​​en archivos no tenemos problemas de latencia. Es decir, cuando extraemos datos de una fuente genérica que escupe archivos, los usuarios finales generalmente pueden esperar una hora antes de consultar esos datos. Para esquemas de ingesta basados ​​en API como colas de mensajes o consultas directas contra bases de datos ascendentes, los hacemos disponibles instantáneamente con una transformación mínima Y desechamos una copia para el lago de datos. Los productores bifurcados harán el resto de la limpieza y transformación necesarias.

Hay casos en que dejamos los datos en su estado bruto y los enviamos al lago sin transformación. Estos tienden a ser para consumidores de ciencia de datos y cuando la empresa realmente no tiene idea de lo que significan los datos, y no están necesariamente listos para presentarlos de una manera estructurada para el análisis. Este suele ser el caso con datos HDFS directos que se dejan nativos y ‘anexados’ al lago.

Notas al pie

[1] El marco de Pitbull: almacenamiento de datos de próxima generación en la nube

El lago de datos es el reino de los datos sin procesar , antes de la transformación y el modelado: se trata de un esquema de lectura .

James Dixon, el CTO de Pentaho, acuñó el término lago de datos y dijo esto: [1]

Si piensa en un datamart como una tienda de agua embotellada, limpia y empaquetada y estructurada para un consumo fácil, el lago de datos es un gran cuerpo de agua en un estado más natural. El contenido del lago de datos fluye desde una fuente para llenar el lago, y varios usuarios del lago pueden venir a examinar, sumergirse o tomar muestras.

Notas al pie

[1] Data Lake vs Data Warehouse: diferencias clave

Algunos puntos rápidos sobre el lago de datos en el contexto de big data.

1. Data Lake es probablemente la mejor manera de terminar con los silos de datos en el universo de Big Data no estructurado y en rápido crecimiento.
2. Data Lake, en esencia, es un repositorio de almacenamiento que contiene cargas de datos o Big Data en su formato nativo sin procesar.
3. El término lago de datos se ha convertido en sinónimo de las tecnologías de big data como Hadoop, mientras que los almacenes de datos continúan alineados con las plataformas de bases de datos relacionales.
4. Ahora que el almacenamiento de datos y la tecnología son baratos, la información es vasta y las nuevas tecnologías de bases de datos no requieren un esquema acordado por adelantado, finalmente es posible el análisis de big data en lagos de datos organizados.

Si desea saber cómo se pueden fusionar Big Data y Data Lakes para llegar a soluciones escalables a los complejos desafíos empresariales en diversas industrias, visite: Soluciones de Big Data para Advanced Business Analytics – Zaloni

Si lo digo brevemente, un ‘lago de datos’ es un almacenamiento de todos sus ‘datos’ tanto en su forma natural como potencialmente en un estado transformado frente a un ‘almacén de datos’ o ‘data mart’ que típicamente solo tendrá un subconjunto de datos transformados para análisis.
Un lago de datos puede contener o no ‘Big Bata’.
Sin embargo, los términos se pueden usar en conjunto, ya que Big Data se puede alimentar a lagos de datos o raspar para alimentar a un data mart / data warehouse. Pero un lago de datos no depende de Big Data y viceversa.