¿Apache Flink https://flink.apache.org/ es el futuro de Big Data? ¿Es el sucesor de Apache Spark y Map Reduce?

Se supone que Flink supera el procesamiento de flujo de lotes con una latencia de chispa ajustable que puede ser importante para algún caso de procesamiento casi en tiempo real.

La situación como la latencia es la principal preocupación (banca, monitor de salud, etc.) Flink sería la mejor opción sobre la transmisión por chispa, pero hay proyectos de procesamiento de transmisión más similares (Storm Trident).

Creo que Spark sigue siendo el principal proyecto en desarrollo, no hay muchos problemas encontrados en el procesamiento de memoria en big data. Spark tiene una gran cobertura en la región de Big Data en un solo proyecto en comparación con otros que buscan la adición de MLlib, GraphX, SparkSQL y Streaming.

Fui a hablar de Doug Cutting la semana pasada en una reunión de Big Data en Malasia y no está seguro de qué reemplazará a Hadoop y Spark en la pila de Big Data en los próximos dos años: “Quién sabe qué será lo próximo, pero Una cosa segura es que veremos Spark en los próximos dos años, ya que parece ser el proyecto altamente desarrollado hasta ahora “.

Una forma de ver el éxito o el potencial de cualquier proyecto de código abierto es la comunidad vibrante que lo rodea, la tasa de adopción en la producción y su uso en muchas verticales. Spark ha demostrado ser prometedor (y continúa) en todas estas dimensiones. Un vistazo a la Encuesta Databricks Apache Spark del año pasado ofrece una fuerte indicación de su uso y crecimiento en muchos mercados verticales: los resultados de Apache Spark Survey 2016 ya están disponibles

Mira la cantidad de grupos de Meetup de Spark en todo el mundo. Verifique el número de miembros en estos grupos de reunión. Tome nota de la actividad en los usuarios de Apache Spark y el grupo de desarrollo. Tenga en cuenta la cantidad de seguidores y actividad en el Apache Spark StackOverflow. Y observe el número de asistentes crecientes de Spark Summit.

Todo esto indica que Spark tiene una ventaja favorable por ahora y el futuro cercano.

Día a día, el ecosistema de Big Data se está volviendo más maduro, se están introduciendo nuevas herramientas y marcos y algunos de los marcos comparten la misma pista. Spark y Flink son uno de ellos. Apache Flink, Apache Spark y Mapreduce, estas tecnologías son los pilares de la industria del big data. Hay arquitecturas y en todo son muy diferentes. Será realmente muy bueno entender primero la diferencia entre estas tecnologías.

Apache Flink está diseñado para mejorar la capacidad de procesamiento de datos en tiempo real, así como en el procesamiento por lotes, aunque ya lo ha dado Apache Spark pero con una arquitectura diferente. Apache Flink es la última tecnología y está haciendo el trabajo esperado según lo prometido por su comunidad. Encontré algunos artículos que le permitirán comprender mejor las diferencias entre Apache Spark y Apache Flink.

More Interesting

¿La tecnología moderna reemplazará a los libros?

¿Crees que el ritmo de vida ha aumentado con el desarrollo de las tecnologías?

¿El teléfono inteligente Google Pixel será una respuesta adecuada para otros competidores de teléfonos inteligentes?

¿Cómo están cambiando las nuevas tecnologías los costos de transacción?

¿Quiénes son los principales competidores de FireEye? Para aquellos en la industria, ¿qué piensa sobre cómo los productos y servicios de sus rivales se comparan con los de FireEye? ¿Qué piensa sobre la nube de inteligencia de amenazas dinámicas de FireEye?

¿Cuál es la tecnología de procesamiento de arroz con cáscara en los últimos años?

¿Cómo funciona el 911 cuando llamas desde tu teléfono celular?

Si los nazis obtuvieran la tecnología avanzada que tienen en Wolfenstein, ¿cómo se vería realmente el mundo después de ganar?

Si en el año 0 dC toda religión dejara de existir y todos se olvidaran de ella, ¿cuánto menos tiempo llevaría avanzar tecnológicamente a este punto?

¿Qué productos o tecnologías quedaron obsoletos solo para que vuelvan más tarde?

Hipotéticamente hablando, ¿podría una especie alienígena a 1000 años luz de distancia detectar la Tierra utilizando el método de tránsito, utilizando tecnología a la par con la nuestra?

¿El error 53 afecta a los usuarios que actualizan su iPhone por aire (OTA)?

¿Cómo tendrán los bufetes de abogados un enfoque más tecnológico para su futuro?

Audio digital: ¿Una tasa de bits más alta significa necesariamente una mayor calidad?

¿Qué piensan los quoranes de las gafas inteligentes metaPro?