¿En qué se diferencia el desarrollador de SQL del análisis de big data? ¿Y qué es Hadoop?

En primer lugar, quiero aclarar en este paso que SQL y Hadoop son dos plataformas diferentes que se utilizan para servir a dos propósitos diferentes. existe una superposición entre ambos, pero técnicamente ambos tienen mucha diferencia en términos de función y estructura.

Ahora, comience con su primera pregunta (suponiendo que con el análisis de Big Data está refiriendo a un Analista de Big Data):

Como discutimos anteriormente, ambos tienen un propósito diferente. Un desarrollador SQL es responsable de desarrollar diferentes soluciones dentro del entorno de SQL Server con algunos componentes más (como SSRS, SSIS, etc.). Mientras que el rol de analista de Big Data consiste en el desarrollo de una solución utilizando el marco Hadoop o cualquier marco nativo. Un analista de big data utiliza componentes del ecosistema hadoop como Pig, Hive, Spark y otros para construir la solución.

Su segunda pregunta: ¿Qué es hadoop?

Hadoop es un marco basado en Linux que se utiliza para procesar grandes conjuntos de datos con una velocidad increíblemente rápida. Tiene un sistema central de archivos llamado HDFS que se utiliza para almacenar diferentes formatos de archivo. Otros componentes se utilizan para diferentes tareas como ETL, procesamiento de datos, almacenamiento, etc.

Espero eso ayude.

Comencé mi carrera como desarrollador-plsql-java-developer y luego pasé al desarrollo analítico de big data en una infraestructura hadoop, en la misma organización y en la misma cuenta del proyecto. Me encantó la forma en que ocurrió la transición.

Volviendo a su pregunta, en cuanto a datos, si los desarrolladores de sql son chef , los desarrolladores de análisis de big data son conserjes .

Un chef ha preparado cuidadosamente los datos que puede cortar y cortar en dados para preparar la delicadeza de los clientes, mientras que un conserje tiene que trabajar con una gran cantidad de datos “mierda” lo suficientemente desordenada como para deshacerse de ellos, pero puede ser procesada para generar un negocio de ganancias.

¿No sería divertido ver el gran montón de mierda de una persona y descifrar lo que la persona realmente comió anoche? O mejor, ¿podemos predecir cómo puede mejorar la salud de una persona al comer bien con solo mirar su mierda?

Bueno, ese es mi amigo de lo que se trata el análisis de bigdata . Aquí, la mierda son los datos, la persona es una organización empresarial.

Hadoop, es una caja de equipo de limpieza, para limpiar datos desordenados de mierda.

Es un ecosistema de engranajes como colmena, cerdo, oozie que se ejecutan utilizando un marco de reducción de mapas o un motor de chispa sobre un sistema de archivos distribuido (hdfs). (botella de vino vieja y nueva).

Hdfs es donde vuelcas la mierda de datos como archivos. No importa cuáles sean en su extensión, Hdfs es un buen cementerio con mucho espacio.

Adios ..

Tendré una reunión en línea muy pronto para explicar Big Data en detalle, por favor confirme su asistencia. Aquí está el enlace para reunirse – itversity