Cómo capturar datos del sensor en Hadoop

Los detalles dependen mucho de sus sensores y sus requisitos. En términos generales, su objetivo es obtener sus datos sin procesar en archivos en HDFS, y puede procesar desde allí.

La herramienta estándar para recopilar cosas como datos de registro en HDFS es Apache Flume (Bienvenido a Apache Flume). Es un agente basado en Java que es muy bueno para arrojar registros de manera confiable y eficiente a HDFS.

Si sus sensores son algo así como un servidor donde puede ejecutar Flume, entonces puede usarlo directamente. Pero supongo que esto podría ser algún tipo de dispositivo integrado.

La parte difícil será sacar los datos de un dispositivo y colocarlos en una máquina similar a un servidor. Eso depende de la situación particular y el dispositivo, creo. Pero Flume también puede ayudar allí, ya que puede escuchar los datos enviados por HTTP POST, por ejemplo, y enviarlos a HDFS.

More Interesting

¿Cómo funcionan los sensores infrarrojos?

¿Cuál es la diferencia entre el sensor de O2 aguas abajo y aguas arriba?

¿Cómo usar el sensor acelerómetro como sensor de vibración? Y cómo convertir la rabia de salida de v / g a Hz

¿Cuál es la mejor manera de diseñar una base de datos para el seguimiento GPS?

¿El Arri 65 necesita menos luz que el Arri Alexa, debido a su sensor más grande?

¿Por qué los estándares de red de sensores inalámbricos (Zigbee, Zwave) se basan principalmente en 802.15.04? ¿Qué características de 802.15.04 lo hacen un favorito para los sensores inalámbricos?

¿Qué sensores se usan en drones?

¿Existe la posibilidad de hacer un sensor que pueda detectar la presencia de animales de sangre fría mediante radiación térmica?

Si pudiera tener un sensor personalizado hecho para usted o su negocio, ¿qué le gustaría medir / saber?

¿Qué tan ancho es el ángulo del sensor de proximidad en el teléfono inteligente?

Dada la disponibilidad de sensores y rastreadores de automóviles, ¿por qué los semáforos todavía mantienen los automóviles en rojo para dar tiempo a los carriles vacíos?

Cómo saber el nivel de líquido en dos contenedores con un solo sensor

¿Por qué no podemos introducir un sensor de huellas digitales para automóviles que solo permitiría que una persona registrada lo conduzca? ¿Esto reduciría el número de accidentes?

¿Cómo mide el sensor de posición del cigüeñal la posición del cigüeñal?

¿Cuál es la forma de conectar múltiples sensores con la placa Arduino?