¿Cómo es trabajar con Big Data?

Imagine volver a los años 70 cuando tomó horas compilar y ejecutar su programa y tuvo que ejecutarlo en un mainframe 🙂

Entonces, en algunos sentidos, es frustrante, pero también bastante gratificante, ya que tienes que pensar realmente en tu código para que sea rápido. La mayoría de la codificación en estos días no requiere demasiada comprensión algorítmica ya que las computadoras son muy rápidas. En Big Data, las computadoras aún no son lo suficientemente rápidas, por lo que los problemas se vuelven difíciles nuevamente.

Ahora el modelado (Ciencia de datos) en Big Data es aún más divertido porque el desafío es escribir un modelo donde NO necesite muestrear. El muestreo es muy peligroso en muchas situaciones porque pierde la señal, y si sus datos son escasos, puede obtener un rendimiento horrible. Escribir algoritmos eficientes que puedan escalar y no necesiten muestreo requiere experiencia, comprensión de la informática (diferencias de velocidad en el uso de diferentes recursos, cachés de CPU, etc.) y teoría de la complejidad.

Parte del trabajo más relevante que hice en la universidad para Big Data fue tomar un curso de matemática pura sobre la teoría formal de la computación: este curso definió las computadoras como máquinas de Turing y la complejidad formalmente definida. Tuvimos que escribir pruebas de que ciertos algoritmos tenían cierta complejidad. El resultado fue una comprensión muy profunda de cómo escribir código rápido. Por lo tanto, recomiende tomar un curso similar o comprar un libro que cubra la teoría de la complejidad desde una perspectiva matemática.

Solía ​​ser físico y tuve que cambiar a la programación porque no era tan fácil encontrar trabajo en ciencias.

Big Data para mí es como volver a la ciencia. En la programación no tienes que saber matemáticas, esencialmente terminas escribiendo una secuencia de comandos lógicos para barajar las cosas.

Big Data es como la ciencia porque usa muchas matemáticas, y porque el resultado no está garantizado: debes pensar mucho antes de probar un algoritmo, y puede que no funcione en absoluto. Así que Big Data es mucho más como enfrentarse a lo desconocido, mientras que la programación regular va del punto A al punto B.

No puedo responder a esto yo mismo, pero recomiendo revisar una serie que estoy produciendo llamada Donut Days que presenta entrevistas con científicos de datos de renombre en las principales compañías de datos (Intuit, Databricks, etc.). Cada episodio se enfoca en el día a día de la ciencia de datos: cómo construir un equipo, la mentalidad requerida, los tipos de problemas resueltos, etc.

Lanzaremos la serie a fines de abril, y puede suscribirse para recibir actualizaciones en el sitio web de la serie:

Donut Days – Radio

Uno trabaja con big data con la intención de darle sentido. Lo dividiría en dos partes. Primero está el algoritmo que aplica en los datos que vienen en la parte de ciencias de datos. Otra es la parte de ingeniería que explica cómo almacena y procesa paralelamente estos datos (suponiendo que los datos sean grandes).
Personalmente, creo que hasta que conozca la ciencia de los datos y la ingeniería relacionada para almacenar y procesar los datos de manera inteligente, no tendrá una idea de toda la historia. Si lo hace, es como descifrar un caso con pistas ocultas en datos enormes que no tiene sentido a simple vista.

Hay una cantidad sorprendente de conteo.