Big Data Engineer crea lo que el arquitecto de soluciones de big data ha diseñado. Los ingenieros de Big Data desarrollan, mantienen, prueban y evalúan soluciones de Big Data dentro de las organizaciones.
La mayoría de las veces también están involucrados en el diseño de soluciones de big data, debido a la experiencia que tienen con tecnologías basadas en Hadoop como MapReduce, Hive MongoDB o Cassandra. Un ingeniero de big data construye sistemas de procesamiento de datos a gran escala, es un experto en soluciones de almacenamiento de datos y debería poder trabajar con las últimas tecnologías de bases de datos (NoSQL).
- ¿Cómo se protegen los datos sanitarios de los ciberataques?
- ¿Qué carreras significativas existen en la ciencia de datos (estadísticas / ML / optimización)?
- ¿Qué opciones de carrera hay para graduados no informáticos en Data Science?
- ¿Cómo uso el aprendizaje automático para datos espaciales?
- Cómo encontrar las publicaciones más populares en un sitio web
Un ingeniero de big data debe tener suficiente experiencia en ingeniería de software antes de que se pueda pasar al campo de big data. Debe haber experiencia con diseño orientado a objetos, codificación y patrones de prueba, así como experiencia en plataformas de software de ingeniería (comercial o de código abierto) e infraestructuras de datos a gran escala. Los ingenieros de Big Data también deberían tener la capacidad de diseñar sistemas distribuidos altamente escalables, utilizando diferentes herramientas de código abierto. Debe comprender cómo funcionan los algoritmos y tener experiencia en la construcción de algoritmos de alto rendimiento.
Un ingeniero de big data debería aceptar el desafío de lidiar con petabytes o incluso exabytes de datos a diario.
Un ingeniero de big data comprende cómo aplicar tecnologías para resolver problemas de big data y desarrollar soluciones innovadoras de big data. Para poder hacer esto, el ingeniero de big data debe tener un amplio conocimiento en diferentes lenguajes de programación o scripting como Java, Linux, C ++, PHP, Ruby, Phyton y / o R. También debe haber conocimiento experto sobre diferentes (NoSQL o RDBMS) como MongoDB o Redis. Construir sistemas de procesamiento de datos con Hadoop y Hive utilizando Java o Python debería ser un conocimiento común para el ingeniero de big data.
Un ingeniero de big data generalmente trabaja en la implementación de proyectos complejos de big data con un enfoque en recopilar, analizar, administrar, analizar y visualizar grandes conjuntos de datos para convertir la información en información utilizando múltiples plataformas. Él o ella deberían poder decidir sobre las necesidades de diseño de hardware y software necesarias y actuar de acuerdo con las decisiones. El ingeniero de big data debería ser capaz de desarrollar prototipos y pruebas de conceptos para las soluciones seleccionadas.
Las calificaciones adicionales deben incluir:
- Para disfrutar de ser desafiado y resolver problemas complejos diariamente;
- Tener excelentes habilidades de comunicación oral y escrita;
- Ser competente en el diseño de flujos de trabajo ETL eficientes y robustos;
- Para poder trabajar con entornos de computación en la nube;
- Tener una licenciatura o maestría en ciencias de la computación o ingeniería de software;
- Poder trabajar en equipo y colaborar con otros para aclarar requisitos;
- Para poder ayudar a documentar los requisitos, así como resolver conflictos o ambigüedades;
- Para poder ajustar las soluciones de Hadoop para mejorar el rendimiento y la experiencia del usuario final;
- Tener fuertes habilidades de coordinación y gestión de proyectos para manejar proyectos complejos.
El ingeniero de big data es un trabajo técnico que requiere una experiencia sustancial en una amplia gama de campos de programación y desarrollo de software. El ingeniero de big data debería tener un conocimiento suficiente de las soluciones de big data para poder implementarlas en las instalaciones o en la nube.
