HackerRank nos contactó para diseñar y organizar un concurso de ML en su plataforma. También hemos trabajado con ellos / InterviewStreet antes para nuestros concursos anteriores.
Estás equivocado sobre el medio ambiente. Había bibliotecas ML preinstaladas y proporcionadas a los concursantes: por ejemplo, stanford-nlp, weka y java-ml para aquellos que usan Java, numpy, scipy, sklearn y nltk para Python, liblinear y libsvm para C / C ++. De hecho, le pedimos a cualquiera que quisiera bibliotecas específicas que nos avisara por correo electrónico o comentarios para que pudiéramos tenerlas preinstaladas antes del concurso. Hubo una solicitud tardía de pandas, y no se pudo instalar a tiempo para el concurso.
También hay varias razones por las que HackerRank era más adecuado para nosotros que Kaggle:
- ¿El libro de Neural Networks de James Freeman cubre todos los temas?
- ¿Se puede colocar un previo en el hiperparámetro de un modelo bayesiano jerárquico?
- ¿Necesito tener grupos similares en una regresión de diferencia en diferencia?
- ¿Es inevitable la multicolinealidad en los datos experimentales? Si no, ¿en qué condiciones podemos esperar multicolinealidad?
- ¿Qué son el aprendizaje profundo y el aprendizaje automático, sus diferencias, similitudes, relaciones y una línea de tiempo de su historia de invención?
1. Las predicciones enviadas no necesariamente muestran el trabajo y la ingeniería detrás de ellas. En realidad, nos gustaría evaluar el último en lugar de solo las predicciones. También es más difícil compartir a los demás.
2. Nos gustaría asegurarnos de que el enfoque utilizado por los participantes solo haga uso de la información limitada que proporcionamos en línea (o al menos debe asegurarnos de que todos los demás datos externos deben ser preprocesados y presentados juntos). Esto lo hace más justo para todos, pero también garantiza que también podamos replicar los resultados. por ejemplo, no queremos que las personas busquen la respuesta correcta en Quora usando un raspador o haciendo uso de alguna base de datos secreta / oráculo al que solo ellos tienen acceso.
3. Queremos asegurarnos de recompensar las soluciones que son eficientes, incluso si resultan en peores predicciones en comparación con la solución ideal que puede analizar todos los datos en supercomputadoras o grandes grupos de cómputo disponibles solo para algunos concursantes. Al menos todos tienen el mismo poder de cómputo en línea disponible con esto (que HackerRank puede aplicar), y también queremos sesgarnos hacia soluciones de las que podamos aprender y usar.
