¿Qué tan necesario es una comprensión profunda de la computación paralela para un científico de datos?

Como muchas cosas en la vida, es útil para los científicos de datos tener una comprensión profunda de todo tipo de cosas informáticas, pero no es necesario para el 100% de los científicos de datos.

La mayoría de las plataformas paralelas que usan los científicos de datos son fáciles de usar hasta el punto de que no es necesaria una “comprensión profunda” de la computación paralela para operarlas de manera efectiva.

Hay algunos aspectos de la ciencia de datos que no tienen mucho que ver con el paralelismo. Por ejemplo, a menudo el problema principal es la cantidad de datos y cómo preservarlos. La solución aquí es puramente tecnológica: construir tuberías lo suficientemente grandes entre la producción y el almacenamiento de datos, y tener suficientes salvaguardas para la integridad de los datos.

Además, gran parte de la ciencia de datos se trata de análisis de datos . Por lo tanto, el conocimiento de las estadísticas y el aprendizaje automático es útil, pero los aspectos paralelos siguen siendo mínimos. Por ejemplo, lo que considero que las partes interesantes de la computación paralela implican combinar datos, por lo que debe preocuparse sobre dónde colocar los datos y cómo moverlos. En análisis, eso no parece ser un gran problema: muchos problemas son del tipo “rendimiento”, donde los elementos de datos se tocan una vez, y solo se conservan algunos resultados resumidos. Como ejemplo prototípico, existe, por supuesto, un mapa de reducción, que consiste en una etapa trivialmente paralela, seguida de una etapa de resumen.

Eso realmente depende del tipo de análisis que desee realizar. Hay muchas cosas muy interesantes que puede hacer sin computación paralela. Especialmente cuando no realiza análisis de datos en vivo.

Si usted es un científico de datos que puede llamar a la infraestructura para realizar su investigación, es imprescindible conocer las numerosas soluciones distribuidas / paralelas que ayudarán a su trabajo, de lo contrario, estará trabajando con soluciones compradas por su empresa. entonces el conocimiento específico de la herramienta se vuelve ideal. En ambos casos, teniendo en cuenta la magnitud de los datos con los que tratará, deberá conocer los conceptos de computación distribuida / paralela, incluido el funcionamiento de su herramienta.