¿Cómo gestionar modelos de aprendizaje automático? ¿Cómo realiza un seguimiento de los modelos de aprendizaje automático mientras los itera? ¿Cómo se compara el rendimiento de diferentes modelos / conjuntos de datos? ¿Cuáles son algunos puntos débiles en su flujo de trabajo?

Se garantiza que la gestión de experimentos en investigación será un proceso complicado si no lo piensa de antemano. Por “experimento” me referiré a un par “modelo + conjunto de datos” donde el modelo incluye todos los hiperparámetros y configuraciones que afectan el resultado.

Una cosa que ayuda a hacer un seguimiento de muchas cosas es realizar experimentos a través de una superficie unificada. En mi caso, es una clase especial que recibe la configuración (cargador de datos y una clase de modelo que mantiene todos los hiperparámetros dentro) y algunas configuraciones específicas de rutina, como una serie de pasos para ejecutar.

El ciclo de vida de un experimento se ve así:

1. Carga de datos
2. Entrenamiento con la escritura de registros en una carpeta específica del experimento (para que no haya confusión sobre lo que vino de dónde)
3. Modelo de serialización
4. Reporte

Como cada experimento vive en su propio directorio, creo un método que almacena una descripción de texto de un modelo (generado) y un archivo con todos los hiperparámetros (que es solo un diccionario, por lo tanto, cuando quiero volver a reproducir algo, no es un problema )

Un conjunto de datos se procesa solo una vez (o, al menos, una vez para cada serie, no me meto con los datos durante el entrenamiento y entre los experimentos, es muy fácil romper algo sin siquiera notarlo). Una interfaz uniforme para cada conjunto de datos, con todas las transformaciones probadas y ocultas, hará que todo sea más claro y menos propenso a errores.

Otro pequeño truco es almacenar un archivo separado con métricas de prueba de entrenamiento: de esta manera, cuando desee hacer algunos gráficos, puede obtener una lista de directorios que contienen los modelos que le interesan y pasarlos a un pequeño método que lea esos archivos y agrega todo en un solo gráfico.

Este tipo de configuración nació de una simple observación: no recuerdas al día siguiente en qué estabas pensando cuando escribías ese guión de entrenamiento. Entonces, hay dos reglas:

1. Escribe todo
2. Hacer que la computadora escriba todo

Esto se trata principalmente de la claridad y la reproducibilidad. No tengo muchos modelos para ejecutar, así que no me molesto con la automatización. Si lo hace o si desea escribir todos los modelos, póngalos en una fila y vaya a ver Netflix, puede llevarlo un poco más allá y aún así estar bien, siempre que haya guardado todo lo que necesitaba para guardar.

Una razón por la cual algunas personas consideran doloroso un artículo es que, cuando obtienen los resultados, todavía necesitan recordar lo que hicieron para producirlos. Si toma algunas medidas simples para evitar esto, disfrutará mucho más del proceso.

Una forma de hacerlo es utilizando la herramienta de experiencia de ciencia de datos de IBM.

Obtenga más información en https://datascience.ibm.com

Una herramienta ordenada de código abierto que he encontrado que es muy útil para rastrear modelos ML es modelDB: ModelDB by mitdbg

Además, otra consideración al administrar un modelo de aprendizaje automático debería ser: ¿Con qué frecuencia se debe actualizar un modelo? Es necesario actualizar un modelo si sus datos no son estacionarios o si los datos sobre los que se construyó el modelo están cambiando. Depende mucho de qué tan rápido necesite que sus nuevos ejemplos de capacitación formen parte de su modelo. Además, depende de si los nuevos ejemplos de capacitación son más relevantes que los ejemplos anteriores, o ¿cuándo pierden su relevancia los ejemplos anteriores?