¿Cómo eligen Kagglers el algoritmo de aprendizaje automático de mejor rendimiento para un conjunto de datos dado?

Si bien algunos otros profesionales de ML más experimentados pueden darle una breve guía práctica de CÓMO, quiero hacer un comentario acerca de “probar muchos algos”

Suponga que ya sabe sobre la división de trenes de prueba y la validación cruzada simple. Divide su conjunto de datos y evalúa el aumento, NN y el modelo lineal simple con hiperparámetros predeterminados, y ve que, por ejemplo, aumenta las ganancias. En este punto, volverá a tomar todo el conjunto de datos e intentará encontrar los mejores parámetros para aumentar y evaluar su algoritmo en los conjuntos de prueba. ¿Que esta mal aquí? ¡Está esencialmente usando los mismos datos varias veces y, por lo tanto, ya está sobreajustando! Entonces, para hacer una estimación imparcial de lo que es mejor algo / hiperparámetros, necesita tener una capa de datos que estaba completamente fuera de la muestra EN ESTE PUNTO DE ESTIMACIÓN. Por ejemplo, si desea elegir el mejor modelo iterativo y luego los hiperparámetros, ya necesita dividir los datos en 3 partes, luego, en la primera parte, haga k-fold para algo, luego en la siguiente parte k-fold para hiperparámetros, etc. si también agrega variables selección necesita 4 validación cruzada dividida anidada.

Incluso si solo está mirando las distribuciones de datos, ¡ya te está sesgando teóricamente hacia algo!

También mire el teorema de No hay almuerzo gratis – Wikipedia. Teniendo esto en cuenta, teóricamente no sabes de antemano qué funcionaría mejor con el tipo de datos presentado (aunque, por supuesto, los chicos con experiencia podrían identificar mejor algo, como NN para datos de texto / imagen y omitir uno de los pasos anidados). Por lo tanto, para tener el mejor rendimiento esperado (promediado en muchas competiciones / conjuntos de datos), debe realizar una estimación muy cuidadosa del error de prueba imparcial.