¿Podría el aprendizaje automático avanzado sacar a los científicos de datos del negocio?

De lo contrario. Por el contrario, los avances en ML tienden a aumentar la demanda de científicos de datos, ya que aumenta el valor de su trabajo.

En general, resolver un problema de LD no es tan interesante, y las técnicas muy efectivas han existido durante décadas. Los avances recientes hacen posible muchas de estas técnicas en conjuntos de datos cada vez más grandes y, en algunos casos, mejoran el modelo en sí.

Pero entonces, como hoy, la parte difícil rara vez es resolver un problema bien formado. Más bien, el problema es formular su problema del mundo real como uno que pueda resolverse mediante un algoritmo conocido. Esto resulta ser bastante desafiante, y lo será por bastante tiempo.

Un solucionador de optimización general, que podría tomar un problema arbitrario y resolverlo utilizando las mejores técnicas posibles, sería realmente un logro. Por desgracia, esa tecnología no está cerca del mercado. Incluso entonces, dudo que haga más daño a las perspectivas profesionales de los científicos de datos que los lenguajes de programación para los programadores. Es decir, ninguno en absoluto.

Estoy de acuerdo con Shane y Jack

La idea de que hay un algoritmo de aprendizaje automático que se puede alimentar con datos no estructurados sin procesar y derivar un modelo predictivo es una falacia. En la actualidad, muchas empresas utilizan la palabra de moda de AI para llamar la atención. No hay un algoritmo de talla única que pueda resolver cualquier problema.

En cualquier problema de ciencia de datos, el sentido común y la intuición son clave para confrontar los resultados con lo que espera. Debe elegir los modelos correctos que se ajusten al problema.
Esta parte no es trivial en absoluto y requiere una comprensión profunda de los algoritmos de ML: la implementación, los resultados, la incertidumbre sobre estos resultados, las advertencias de los algoritmos.

La mayoría de los algoritmos de ML son similares a la combinatoria (inteligente) y es fácil terminar sobreajustando si no filtró y normalizó los datos que alimentó al algoritmo de ML.

Es importante hacer un análisis exploratorio primero para crear variables “limpias” (p. Ej., En el rendimiento de las finanzas en lugar del precio al contado). Luego, estas variables se pueden usar en un algoritmo ML para capturar interacciones complejas no lineales.

Por lo tanto, creo que, por el contrario, el aprendizaje automático avanzado aumentará la necesidad de científicos de datos.

Depende de un dominio, la disponibilidad de datos y la capacidad de productizar.

Veamos los motores de recomendación para el comercio electrónico. Hace 10-15 años, los científicos de datos inventaron sus propias “bicicletas” para eso. Se requirió cierta cantidad de recursos: un científico de datos para crear algoritmos y probar un concepto, desarrolladores para hacerlo en una producción, muchachos de productos para que sea útil para los usuarios, administradores para soportar una infraestructura.

Pero ahora esta es una tarea muy común y clara en este dominio. Qué es un sitio de comercio electrónico típico: un conjunto de eventos explícitos (vistas, adiciones al carrito, pagos, etc.) que está disponible a través de eventos de JavaScript y productos con algún conjunto de características (precio, nombre, imagen, descripción, etc.). Se conocen algoritmos de sistemas de recomendación. Nos lleva a la conclusión de que esta tarea puede resolverse mediante un sistema de recomendación general que comprende la recopilación de datos, algoritmos y widgets para un sitio de comercio electrónico. Es por eso que hay tantos servicios externos que proporcionan una pila completa de recomendaciones en línea. Las empresas medianas y pequeñas generalmente prefieren elegir dichos servicios en lugar de contratar científicos de datos para eso porque:

1. Es fácil probarlos debido a la existencia de productos “plug & play” en lugar de uno con resultados poco claros.
2. Es más barato por un período de tiempo a largo plazo.

Sé que algunos de los gerentes de sitios muy grandes también han tomado una decisión a favor de los sistemas de recomendación tercerizados.

Conclusión

Si la tarea de un científico de datos puede ser productiva, alguien creará un servicio externo para eso. Hace perder trabajos para algunos científicos de datos que se ocupan de estas tareas particulares si no cambian de opinión o no encuentran tareas alternativas.

Es como preguntar si los avances en las estadísticas aplicadas dejarán sin trabajo a los estadísticos, o si los avances en matemáticas dejarían a los matemáticos sin trabajo. En los años 80 hubo un impulso similar para la “programación automática”, herramientas que harían innecesarios a los programadores. No sucedió, nunca lo hará.

Si y no.

Las nuevas soluciones eliminarán las tareas en las que la mayoría de los científicos de datos se centran hoy. La respuesta es sí. La razón es que, aunque todos hablan sobre el algoritmo sexy en el que trabajaron. La realidad es que ETL, la normalización de datos, la reducción de mapas de programación, etc. son las tareas que la mayoría de los científicos de datos dedican la mayor parte de su día. Yo también los científicos de datos que solo ejecutamos algunos algoritmos básicos quedarán sin trabajo gracias a las soluciones que automatizarán estas tediosas actividades.

Sin embargo, si la pregunta es si una computadora puede sustituir a un científico de datos, entonces la respuesta no es por muchos años.