¿Cuál es la mejor hoja de ruta para aprender Ingeniería de Datos?

A2A

Tenga en cuenta que algunas personas dicen que se necesitan 20,000 horas para convertirse en un verdadero maestro en una disciplina. También es la pregunta desde qué nivel comienzas?

Conocimientos básicos: antes de poder lidiar con Big Data, necesita una comprensión sólida de

  • Sistema operativo
  • Teoría de la base de datos
  • Programación

Entonces tiene sentido dividir en los siguientes campos

  • Operaciones

Comprender las plataformas de datos, como cómo funcionan Hadoop y otros sistemas

  • Ingeniería de datos

Motores de procesamiento de datos como Apache Spark

  • Analítica

Aplicaciones de aprendizaje automático

  • Negocio de Big Data

Gobierno de datos, cómo las personas ganan dinero con Big Data y más

La clave es que, como excelente ingeniero de datos, deberá conocer los cuatro campos. Aún más si te consideras un arquitecto.

Luego puede construir para cada campo un mapa de ruta. Específicamente con Data Engineering, recomiendo profundizar en los siguientes campos.

  • Dominar la línea de comando de Linux
  • Dominando Docker y Vagabundo
  • Entendiendo a Hadoop desde cero
  • Comprender el procesamiento de datos desde cero
  • Sistemas de mensajería como Kafka
  • Programacion Funcional

También recomendaría suscribirse a hadoop semanalmente e intentar comprender de qué se trata.

Divulgación completa, soy uno de los fundadores de Rokely.com , donde estamos construyendo un campamento de ingeniería de datos en línea.

Creo que lo realmente emocionante de Data Engineering en este momento es que es tan nuevo (en el sentido de big data), que aún no han surgido muchas rutas directas. Es realmente la vanguardia de los grandes datos en mi opinión y un momento increíble para saltar.

Dicho esto, el camino que más he visto (y el que tomé) se ve así, y puede tomar de 6 meses a varios años:

  1. Comience a hacer trabajo de desarrollo de backend en alguna parte. Esto es más complicado que el resumen de una oración, pero muchas otras personas han hablado sobre esto antes, así que pasaré por alto los detalles.
  2. Intente asumir tantos proyectos relacionados con la base de datos como sea posible. Familiarícese con cualquier tecnología RMDBS que utilice su empresa (MySQL, Postgres, lo que sea). Si su empresa mueve muchos datos, participe de alguna manera.
  3. Si su equipo de carga de datos trabaja con Hive, Spark, etc., ¡entonces es oro! Simplemente quédese con ellos y aprenda todo lo que pueda sobre su sistema de carga de datos
  4. Si sus cargas de datos utilizan tecnología más antigua que no aprovecha Map Reduce, comience a aprender sobre estas tecnologías.
  5. Una vez que haya desarrollado alguna competencia, ¡busque un nuevo trabajo como ingeniero de datos y auge! ¡Usted lo ha hecho!

Si está interesado en comenzar, le recomiendo que se familiarice con las herramientas de AWS, especialmente con sus tecnologías Elastic Map Reduce (EMR). ¡Hazme saber si tienes alguna pregunta!

Debido a que el rol es tan nuevo, le recomiendo que comience obteniendo el GCP: Data Engineering Cert.

Solo hay un certificado en este espacio o en todo el espacio de aprendizaje automático y es el ingeniero de datos certificado de Google.

Lo pones en un currículum y casi garantizas la entrevista. Ahora, obtener todo el conocimiento necesario para ese rol es mucho más difícil decirlo que hacerlo, pero hay que comenzar en alguna parte.

Comience aquí: Introducción a Google Cloud Platform para ingenieros de datos

Es mi curso y es gratis . Tendrá que terminarlo, comprenderlo y luego tomar los otros 6.

No es un examen fácil pero vale la pena.

More Interesting

Soy un desarrollador de mainframe con 4 años de experiencia, aspirando a ser un científico de datos. ¿Donde debería empezar?

¿Qué se necesita para que un antiguo agente de Wall Street consiga un trabajo en ciencia de datos? ¿Es un certificado de aprendizaje automático de Coursera más un proyecto de Kaggle?

¿Existe una oportunidad para una empresa de consultoría de datos que atiende específicamente a nuevas empresas en etapa inicial?

¿Qué es big data, análisis de negocios, análisis de datos y cómo uno puede convertirse en analista de datos o científico de datos? ¿Hay algún curso a corto plazo?

Tengo más de 4 años de experiencia en el desarrollo de .net, pero ahora quiero cambiar a Big Data. ¿Dónde puedo aprender big data y obtener trabajo?

¿Dónde puedo encontrar documentos de ciencia de datos?

¿Cuáles son las aplicaciones de la ciencia de datos y el aprendizaje automático en las industrias de petróleo y gas?

¿Cómo es un día para un científico de bioinformática?

¿Cuáles son los desafíos de la migración de datos?

¿Cuál es el mejor método para detectar valores atípicos en los datos de ventas anuales?

Cómo usar datos de encuestas para modelar dinámicas de sistemas

¿Qué deben saber los estudiantes graduados sobre los trabajos de la industria como científicos?

¿Tengo la oportunidad de trabajar en San Francisco como científico de datos?

¿Cuál es el tema de ciencia de datos Preguntas frecuentes?

¿Puedo trabajar como contratista / consultor independiente en el campo de la ciencia de datos?