¿Cuántos científicos de datos empleados pueden resolver problemas de competencias en línea como la de Kaggle?

Soy un Data Scientist empleado, y he hecho Kaggle durante un par de años, ganando dos competiciones y luego retirándome definitivamente del competitivo aprendizaje automático.

A pesar del hecho de que el título de Data Scientist significa todo tipo de cosas, esperaría que cualquiera con ese título de trabajo pueda resolver un problema de Kaggle. Dejame explicar.

Para mí, resolver un problema de Kaggle realmente significa hacer una presentación basada en un modelo que entrenaste. Eso es todo. Presentó una solución (quizás débil) a un problema de aprendizaje automático.
No estoy hablando de hacer un top 10% o ser competitivo. Si eso es lo que quisiste decir, entonces mi respuesta sería no.

Con esa suposición en mente, ¿esperaría que alguien sea bueno en eso? No.
¿Esperaría que alguien supiera qué hacer en el momento en que vea el problema? No.

Pero si te llamas a ti mismo un Científico de Datos, deberías tener algunas habilidades analíticas mínimas que, incluso si nunca antes habías hecho Kaggle y no sabías nada sobre el aprendizaje automático, te permitirían arrastrarte hacia una presentación.

Espero que cualquier científico de datos pueda trabajar con datos. Y espero que cualquier Data Scientist sea capaz y tenga la curiosidad de usar Google y StackOverflow para descubrir cómo usar una API. Todo lo que digo es que un Científico de Datos debería poder importar algunos datos, usar una API para preparar los datos y alimentarlos en un algoritmo de ML, y realizar un envío.

Ahora, si resolver el problema significa hacer algo más y tal vez ser algo competitivo, entonces esperaría que solo una minoría de científicos de datos puedan hacerlo. Puede ser un gran científico de datos, tal vez trabajar en Google y ser el mejor que hay en las pruebas A / B y aportar un montón de valor, aunque puede saber muy poco sobre el aprendizaje automático. Eso está perfectamente bien. Para hacerlo bien en Kaggle, necesitas algunos antecedentes de ML.

Si equiparas “resolver” a ser competitivo en un nivel superior de 10, entonces esperaría que menos de 1 en 1,000 pueda hacerlo. Incluso si conoces muy bien el LD en un contexto empresarial, ser un actor de Kaggle requiere un conocimiento de las cosas que aportan muy poco valor a la mayoría de los problemas comerciales de ML, como el ensamblaje extremo, el aprendizaje semi supervisado y muchos otros trucos que suman 4to. Mejoras decimales, pero marcan la diferencia entre un top 10 y un rendimiento medio del paquete.

Trabajo como científico de datos durante varios años.

Siento que llegar al 10% superior es relativamente fácil: pocos días de trabajo.

Mi enfoque es implementar adecuadamente las técnicas estándar a veces incluso sin creatividad, y es útil si conoce el campo o conoce las dificultades comunes de la implementación de ML, como la corrección cruzada o la corrección correcta. Creo que las personas por debajo del 90% se deben principalmente a errores sutiles que puedes evitar si tienes experiencia en ML.

Además, nunca hago conjuntos extremos, ya que es muy conflictivo con mi comprensión de lo práctico, consume mucho tiempo y no me enseña cosas nuevas, por lo que no podría ser muy competitivo.

Entonces, mi opinión, muchos científicos de datos reales podrían fácilmente ubicarse en el 10% superior en su campo, y en cualquier otro campo de competencia con algún trabajo adicional.

Nunca hice Kaggle, nunca me metí en eso, ya que tengo muchos datos del trabajo para jugar y hay otros más fáciles para probar nuevos métodos en un trabajo académico.

Me aventuraría a que el 100% de las personas empleadas en el campo podrían crear un buen modelo predictivo en un conjunto de datos dado. Probablemente el 60-70% de ellos podría elegir el mejor método para satisfacer las necesidades del proyecto de manera confiable (la interpretabilidad, el tiempo de cálculo, los supuestos de los métodos / los datos recopilados, la ingeniería de software sin conocimientos matemáticos y otras personas sin muchos conocimientos matemáticos que se aventuran en el aprendizaje automático son probablemente los que podrían luchar).

En cuanto a ganar competiciones de Kaggle, en el mundo real, una diferencia del 0.1% con un esfuerzo adicional del 50% probablemente no valga la pena.