Seguir prácticas metodológicas sólidas es esencial en la investigación del aprendizaje automático (no hacerlo es una razón que a menudo cito para rechazar los documentos de investigación de minería de datos).
Éstos son algunos de ellos:
- Resultados con validación cruzada. Los experimentos de aprendizaje automático supervisados generalmente se realizan dividiendo su conjunto de datos en subconjuntos de entrenamiento / prueba y luego midiendo el rendimiento (por ejemplo, precisión de clasificación) del modelo en el conjunto de prueba después de entrenar el modelo en el conjunto de tren. Si solo hace esta división una vez, entonces no puede informar con seguridad las métricas de rendimiento, ya que no sabe cuánto dependen esas métricas de la división particular que utilizó. Es por eso que estos experimentos deben informar resultados con validación cruzada, utilizando, por ejemplo, los métodos k-fold o leave-N-out.
- Mediciones de referencia. Los resultados de un experimento de algoritmo de aprendizaje automático generalmente no tienen ningún sentido por sí mismos: tienen sentido al compararlos con una línea base adecuada. Por ejemplo, compare estos dos escenarios. En el primero, tiene un algoritmo de aprendizaje con una precisión del 99%, pero si simplemente hubiera seleccionado la clase / etiqueta más común, el resultado habría sido un 97% de precisión. En el segundo, tiene un algoritmo de aprendizaje que es 80% preciso, pero la línea de base de la clase más común es 50% precisa. Claramente, el segundo escenario es, en general, no tan preciso como el primero (80% vs 99%), pero el problema de aprendizaje, medido por la línea de base, también es mucho más difícil que el primero (50% vs 97%) y así ¡El algoritmo de aprendizaje ha logrado mucho más!
- Prevención de fugas de datos y aprendizaje del conjunto de pruebas. Cuando divide o prepara un conjunto de datos para llevar a cabo un experimento de aprendizaje automático, debe dividirlo de manera sólida; si no lo hace, distorsionará sus resultados y posiblemente capacitará a su modelo utilizando la información que se encuentra en su conjunto de pruebas (¡Qué es hacer trampa!). Un gran ejemplo de esto es el problema del viaje en el tiempo. La página de fugas de Kaggle también es muy informativa y tiene un gran ejemplo.
Además de estas sugerencias específicas de aprendizaje automático, el método científico (ciclo desde la generación de hipótesis hasta la prueba) aún se aplica: la diferencia típica es que otros campos incluyen un paso de “recopilación de datos”, mientras que muchos experimentos de datos tienen un conjunto de datos que ya está disponible.
- ¿Es común que un estudiante graduado descubra un nuevo teorema?
- ¿Cuál es la investigación informática más emocionante que se está llevando a cabo en Carnegie Mellon en 2016?
- ¿Me pueden ayudar a decidir si debo obtener un doctorado en informática teórica?
- ¿Quiénes son los mejores profesores de investigación en informática en la NYU?
- ¿Qué tipo de trabajo de investigación se realiza en informática en la Universidad Nacional de Singapur (NUS)?
