Big Data Engineer crea lo que el arquitecto de soluciones de big data ha diseñado. Los ingenieros de Big Data desarrollan, mantienen, prueban y evalúan soluciones de Big Data dentro de las organizaciones. La mayoría de las veces también están involucrados en el diseño de soluciones de big data, debido a la experiencia que tienen con tecnologías basadas en Hadoop como MapReduce, Hive MongoDB o Cassandra. Un ingeniero de big data construye sistemas de procesamiento de datos a gran escala, es un experto en soluciones de almacenamiento de datos y debería poder trabajar con las últimas tecnologías de bases de datos (NoSQL).
Además, un ingeniero senior de big data idealmente debería tener una experiencia suficiente de alrededor de 3/5 años en ingeniería de software antes de poder pasar a la posición senior. Debe haber experiencia con diseño orientado a objetos, codificación y patrones de prueba, así como experiencia en plataformas de software de ingeniería (comercial o de código abierto) e infraestructuras de datos a gran escala. Los ingenieros senior de big data también deben tener la capacidad de diseñar sistemas distribuidos altamente escalables, utilizando diferentes herramientas de código abierto. Debe comprender cómo funcionan los algoritmos y tener experiencia en la construcción de algoritmos de alto rendimiento.
Los rasgos mencionados anteriormente también deberían estar presentes en un ingeniero de big data, pero con la ausencia de la experiencia.
- ¿Por qué proceso decide si usar R o Python (Pandas) para leer y analizar grandes conjuntos de datos con formato CSV?
- ¿Se puede decir que la diferencia entre Data Science y Machine Learning es que Machine Learning es una técnica a través de la cual se realiza Data Science?
- ¿Es realista construir algoritmos de aprendizaje automático complejos a gran escala en la producción? (
- ¿Cómo son útiles Big Data y Hadoop?
- ¿Cuál es el escenario actual / las perspectivas futuras de la ciencia de datos en la India en comparación con Silicon Valley?
Un ingeniero de big data debería aceptar el desafío de lidiar con petabytes o incluso exabytes de datos a diario. Un ingeniero de big data comprende cómo aplicar tecnologías para resolver problemas de big data y desarrollar soluciones innovadoras de big data. Para poder hacer esto, el ingeniero de big data debe tener un amplio conocimiento en diferentes lenguajes de programación o scripting como Java, Linux, C ++, PHP, Ruby, Phyton y / o R. También debe haber conocimiento experto sobre diferentes (NoSQL o RDBMS) como MongoDB o Redis. Construir sistemas de procesamiento de datos con Hadoop y Hive usando Java o Python debería ser un conocimiento común para el ingeniero de big data.
Un ingeniero senior de big data generalmente trabaja en la implementación de proyectos complejos de big data con un enfoque en recopilar, analizar, administrar, analizar y visualizar grandes conjuntos de datos para convertir la información en información utilizando múltiples plataformas. Él o ella deberían poder decidir sobre las necesidades de diseño de hardware y software necesarias y actuar de acuerdo con las decisiones. El ingeniero de big data debería ser capaz de desarrollar prototipos y pruebas de conceptos para las soluciones seleccionadas.
Las calificaciones adicionales deben incluir:
Para disfrutar de ser desafiado y resolver problemas complejos diariamente;
Tener excelentes habilidades de comunicación oral y escrita;
Ser competente en el diseño de flujos de trabajo ETL eficientes y robustos;
Para poder trabajar con entornos de computación en la nube;
Tener una licenciatura o maestría en ciencias de la computación o ingeniería de software;
Poder trabajar en equipo y colaborar con otros para aclarar requisitos;
Para poder ayudar a documentar los requisitos, así como resolver conflictos o ambigüedades;
Para poder ajustar las soluciones de Hadoop para mejorar el rendimiento y la experiencia del usuario final;
Tener fuertes habilidades de coordinación y gestión de proyectos para manejar proyectos complejos.
El ingeniero de big data es un trabajo técnico que requiere una experiencia sustancial en una amplia gama de campos de programación y desarrollo de software. El ingeniero de big data debería tener un conocimiento suficiente de las soluciones de big data para poder implementarlas en las instalaciones o en la nube.
