¿Dónde encaja Java en una atmósfera de Big Data?

En cualquier lugar o en todas partes.

  • ¿Configurando Hadoop Env en su clúster? Hadoop y la mayoría de sus aplicaciones están escritas en Java .
  • ¿Transmisión de datos desde sus cintas o fuentes a la plataforma Hadoop? Puede usar Java pero no necesariamente. ¿ Usas Flume ? Escrito en Java. Kafka ? Scala (lenguaje de programación) . ¿Escribes tu marco personalizado? Puedes escribir en Python o Java.
  • Una vez que los datos están en HDFS, puede usar Java para escribir RecordReaders o Schema Readers, etc. para usar sus datos en Pig o Hive . Sí, Java también se puede usar aquí.
  • ¿Quieres correr Spark ? Escrito en Scala y mejor usar Scala.
  • No Spark? ¿Otras opciones para ejecutar algoritmos de Machine Learning ? Puedes usar Java ( Weka )
  • ¿Enviar resultados a alguna de las plataformas de visualización? Es bastante simple con el crecimiento en compañías como Tableau (producto) o Tibco Spotfire . No necesitas hacer mucho aquí. Todo está fuertemente construido para ti (90%)

Para que pueda usar Java en cualquier lugar que desee. Es solo preferencia, conveniencia y experiencia.

More Interesting

¿Qué papel puede desempeñar la ciencia de datos en el análisis de existencias fundamental?

¿Qué deben saber todos sobre el descenso de gradiente (estocástico)?

¿Qué se necesita para que un estudiante de matemáticas e informática se convierta en un científico de datos?

Cómo descubrir las características más importantes en un conjunto de datos con más de 500 predictores

¿Qué son la función de descenso de gradiente y costo en la regresión logística?

Cómo detectar generalmente un fraude usando análisis

¿Cuál es el mejor entre las redes, big data y tecnología en la nube?

¿Cuál es el mejor método para detectar valores atípicos en los datos de ventas anuales?

¿Cuáles son las habilidades ideales de un gerente de producto 'big data'?

¿Es GDS (Global Distribution Systems, donde se almacenan los datos de la aerolínea) una base de datos o un tipo de big data?

Hoy en día, ¿la ciencia de datos se trata más de saber cómo usar herramientas y bibliotecas preconstruidas (de Python / R) que otra cosa?

¿Qué significan para las personas las frases "desarrollo basado en datos" y "productos basados ​​en datos"?

¿A qué coaching / instituto debo unirme para un curso de aprendizaje de big data?

¿Existe alguna herramienta de inteligencia empresarial que aproveche algoritmos como "Edgerank" para controlar qué informes se muestran?

MATLAB: ¿Cómo utilizan realmente las compañías el código generado por Matlab / Statistica en la producción?