Excepto la arquitectura Lambda, ¿qué otras arquitecturas de big data existen?

Sí, también podría considerar la Arquitectura Kappa (supongo que estamos trabajando a través del alfabeto griego).

Mientras que la arquitectura Lambda separa un flujo de datos en un feed de procesamiento por lotes y en tiempo real (lo que significa que debe duplicar la lógica ETL / Business en ambos lugares, casi con certeza en diferentes tecnologías), la arquitectura Kappa simplemente considera los datos como un flujo de datos, lo que evita duplicar la lógica.

Este artículo ofrece una descripción general, aunque dejaría de leer en el punto donde describe los métodos estadísticos bayesianos que realmente tratan sobre cómo se usa la arquitectura en una aplicación Telco.

https://www.oreilly.com/ideas/ap…

Personalmente evité implementar una arquitectura Lambda e implementé una única secuencia en tiempo real (dirigida por una solución de mensajería), para que ETL procese los datos y envíe los resultados a un almacén de datos persistente (también a través de una cola para evitar problemas de latencia), y lo real tiempo de alimentación. Esto evitó la duplicación lógica, pero probablemente no sea una solución Kappa Architected pura. No le di un nombre, quizás deberíamos llamarlo “iota”, ya que estamos trabajando hacia atrás a través del alfabeto griego.

Espero que esto ayude.
John

La arquitectura Kappa, la arquitectura Zeta y el iot-a. Todos ellos son manifestaciones del procesamiento Polyglot.

(Descargo de responsabilidad: se me ocurrió el término procesamiento políglota y sugerí el iot-a. Mi colega Jim sugirió la arquitectura Zeta).