Bueno, comenzar con Big Data tiene que ver con Data y sus características, y ETL tiene que ver con lo que debe hacer con los datos, grandes o no. Entonces, ahora que lo sacamos del camino, si su pregunta es sobre ETL convencional versus procesamiento de datos en el paradigma de Big Data, entonces estamos buscando cierta relevancia.
Sobre eso, las nuevas técnicas de procesamiento de datos incluyen:
* ELT: Incorporación de datos a su lago de datos y aplicación de procesamiento de datos in situ respaldado por procesamiento distribuido (Hadoop y la banda de herramientas)
* Transmisión: uso de registros de transacciones o CDC o registros de eventos para indicar a una plataforma de transmisión de eventos que transmita el evento y aplique técnicas de procesamiento de transmisión
Un conjunto de arquitectura de referencia ha llegado a lime lite: lambda, kappa, zeta …
- ¿Cómo se implementan los algoritmos de aprendizaje automático en un entorno empresarial?
- ¿Cuál es la maldición de los grandes datos?
- ¿Es la ciencia de datos el fin de las estadísticas?
- Cómo ingresar al campo de la ciencia de datos
- ¿Es imprescindible para usted ser un programador ávido si su enfoque se centra principalmente en el aprendizaje automático / análisis de datos / análisis empresarial e inteligencia?
Aquí hay algunos enlaces que tienen la intención de explicar cada uno de ellos y compararlos / contrastarlos:
La arquitectura Lambda: principios para la arquitectura de sistemas de Big Data en tiempo real
Arquitectura Lambda
Arquitectura Kappa
Arquitecturas de procesamiento de datos: ejemplos de Lambda y Kappa | Blog de investigación de Ericsson
Arquitecturas de procesamiento de datos – Lambda y Kappa | Blog de investigación de Ericsson
Introducción al procesamiento de Big Data en tiempo real …
