¿Vale la pena organizar un concurso de dinero de Kaggle?

El dinero no es un problema, el tiempo empleado puede serlo. Una formulación de un mal problema puede reducirlo, una respuesta sorprendente puede dar un retorno de diez veces.

Busqué en un concurso de Kaggle por un problema de aprendizaje automático en un proyecto que estaba planeando. Después de obtener una cotización de Kaggle, descubrí que su tarifa, el dinero del premio y el tiempo que me llevaría supervisar la competencia y responder las preguntas de los concursantes tendría un costo igual a 5-6 semanas hombre en mi propia compañía. Dado que mi propia estimación para atacar el problema era de 4 a 5 meses, Kaggle habría proporcionado una buena relación calidad-precio.

Una posible desventaja de una competencia de Kaggle es pasar mucho tiempo teniendo que explicar su campo en detalle a los recién llegados antes de que puedan hacer una contribución significativa al aprendizaje automático. Una buena solución puede ser inviable en la práctica si los concursantes no conocen los supuestos y las limitaciones de los datos. El concurso podría volverse inútil si no ha hecho suficientes iteraciones sobre la formulación del problema.

Una posible ventaja de una competencia es obtener una solución o información que usted o su empresa nunca podrían haber alcanzado por su cuenta. Tal creatividad puede ser más común en las competiciones de crowdsourcing que no corren contra una métrica establecida como lo hace Kaggle, pero Kaggle también puede aportar ideas.

El proyecto nunca tuvo éxito, por razones no relacionadas, pero si tuviera que retomarlo hoy, probablemente consideraría si una competencia contra un conjunto de pruebas como en las competencias de Kaggle era la mejor manera de seleccionar un ganador, o si yo debería ir por una lluvia de ideas más abierta al crowdsourcing en Innocentive. (Aunque creo que son más caros)