¿Cuál es la mejor manera de crear un conjunto de capacitación para el aprendizaje automático?

En mi humilde opinión, la creación del conjunto de entrenamiento (TS) está muy poco apreciada en el art. Con demasiada frecuencia para un proyecto de Machine Learning (ML), los costos de tiempo, dinero y esfuerzo para recopilar y etiquetar los datos se consideran más importantes que el valor de tener un TS “bueno”.

Si eres Google, entonces tienes los recursos para guardarlo todo y la potencia de cálculo para usar ML para entrenar en todo (menos el conjunto de prueba y validación).

De lo contrario, tienes que hacer algunas compensaciones.

He tenido éxito en la práctica, aunque creo que algunos pueden palidecer por las consecuencias teóricas …

Para ser sincero, soy el primero en admitir que mi enfoque es un completo fracaso con las técnicas bayesianas porque destruye las probabilidades anteriores.

Un descubrimiento que hice fue que las etiquetas incorrectas tienen un efecto negativo en el modelo: se necesitan entre 5 y 10 etiquetas correctas para deshacer los efectos de una etiqueta incorrecta. Para mí, la precisión de la etiqueta es primordial, aunque muchos algoritmos de ML pueden tratar hasta cierto punto con etiquetas incorrectas.

En primer lugar, trato de hacer que el etiquetado de los datos sea lo más preciso y coherente posible. Desafortunadamente, eso significaba que tenía que juzgar la mayor parte de mí mismo hasta tener una buena idea de cómo deberían establecerse mis criterios. Luego tuve que explicárselo a los trabajadores dispuestos y competentes. Además, tendría sesiones de retroalimentación para revisar las pautas en caso de que me haya perdido algo. Subcontratar a los jueces es una idea terrible, ya que pierdes el control de este proceso.

En segundo lugar, después de construir un modelo, escaneé las predicciones incorrectas en el TS original e intenté ver si esto era el resultado de una mala etiqueta. Si no, entonces trataría de ver el ejemplo mal predicho para ver si había algo inusual al respecto. A menudo, me encontré con nuevas ideas de características. Más importante aún, encontraría ejemplos de adición que son similares pero diferentes.

Tercero, siempre ejecuto un modelo Tree porque la importancia variable se extrae fácilmente. Miro las variables más importantes y trato de entender cómo funcionan. Luego busco activamente encontrar ejemplos adicionales que funcionen en contra de la función. Esto ayuda a evitar que ML confíe demasiado en una función. Es bueno hacer esto con frecuencia porque los modelos Tree son inestables, lo que ayuda a descubrir nuevas características y ejemplos de TS. Por supuesto, este enfoque supone un grupo cada vez mayor de datos para construir su TS, lo que podría no ser el caso.

Cuarto, arrojo ejemplos que están en el límite. Es decir, si no puedo determinar claramente en qué clase cae un ejemplo, entonces creo que un algoritmo ML también tendrá problemas con él. Por otro lado, si da un ejemplo ambiguo, una etiqueta definitiva, está “creando” información para que ML aprenda que realmente no existe. Creo que un buen algoritmo de ML hará una buena estimación de dónde está el límite de decisión, incluso si no hay puntos en el límite de decisión.

La justificación de mi enfoque es que está estratificando los datos para asegurarse de tener un TS representativo en lugar de uno bien muestreado. Le brinda cobertura para casos raros, que algunos casos de LA tienden a ignorar, ya que hay muy poca información.

Parte de la razón por la que voy a hacer muchos problemas, es que ML no es mágico. No creará un modelo basado en características que no tiene con datos que no tiene.