¿Se puede automatizar el análisis de datos?

Los analistas de datos responden preguntas. Cualquier respuesta específica es fácil de automatizar, pero eso significa que siempre hará nuevas preguntas.

Por ejemplo, una cosa que es fácil de automatizar es generar el mismo informe una y otra vez sobre nuevos datos. Cualquiera que pueda escribir cualquier cantidad de código puede hacer esto.

Algo que es un poco más difícil de automatizar es darse cuenta de que las ventas cayeron un 10% la semana pasada y descubrir por qué sucedió. Cada parte del código es fácil una vez que tiene esos detalles, pero las preguntas que aparecerán cambian por definición: solo le interesan las sorpresas. Aún así, puede hacer mucho para automatizar cosas como esta utilizando alertas y detección de anomalías.

Una pregunta mucho más difícil de automatizar es “dime qué tan bien está funcionando este producto / proceso / equipo”. Eso es porque necesitas conocer el contexto comercial, los objetivos del producto / proceso / equipo, qué datos tienes disponibles para medirlo. , etc. Luego debe averiguar qué métricas * podrían * incluso medir la salud de lo que está tratando de observar. También tendrá que hacer estimaciones basadas en conocimientos previos que no se encuentran en ninguna base de datos. Finalmente, calcula las métricas en sí, que generalmente es la parte fácil.

Entonces, lo que hace que el análisis de datos sea difícil de automatizar es lo mismo que hace que la programación sea difícil de automatizar: todo lo que es fácil ya está hecho, por lo que lo único que estás haciendo son las partes difíciles.

Se pueden automatizar muchos pasos: selección del modelo, análisis de sensibilidad, reciclaje, presentación del modelo.

Algunas áreas aún no he visto buenas soluciones automáticas: selección de características, validación de datos y generación heurística.

Todavía hay algo de arte en ciencia de datos.

Depende de lo que quieras decir. Partes del flujo de trabajo actual se pueden automatizar. Tal vez las empresas no tengan un verdadero rol de analista, pero alguien seguirá desarrollando la pregunta y la respuesta a esa pregunta probablemente producirá una pregunta más profunda. Para obtener la respuesta correcta, la pregunta no puede ser ambigua. En cierto sentido, sí, ya que la persona que solicita el análisis probablemente podría ser la persona que realiza el análisis. En cierto sentido, no, porque incluso si su rol no es técnicamente un analista de datos, estará haciendo análisis de datos.

Soy nuevo en ciencia de datos y análisis, pero déjame intentar responderlo lo mejor que pueda

Habrá algún tipo de automatización en el análisis de datos, la mayor parte de lo que usted haga será automatizado, pero hay una trampa que solicito que la computadora realice automáticamente el análisis requiere una consulta a la cual los humanos requieren una empresa o una máquina de investigación. Así que creo que el formato del trabajo cambiará, pero no voy a salir de la demanda, hay que seguir actualizando.