Cómo manejar los valores atípicos y el ruido de etiquetas al entrenar una red neuronal profunda

• Entrene con el suavizado de etiquetas. Consulte “Repensar la arquitectura de inicio”. Esto es como incorporar un previo que hay ruido de etiqueta.
• Inspeccione manualmente los ejemplos de entrenamiento que tienen la mayor pérdida. Por lo general, no son valores atípicos per se, sino ejemplos que se preprocesaron mal de alguna manera, por lo que puede corregir un gran número de ejemplos mejorando su canalización de preprocesamiento.

Para mí, la calidad del conjunto de entrenamiento es una de las partes más importantes para construir un buen modelo con Machine Learning (ML).

No es razonable esperar que un algoritmo aprenda algo de la nada . Tampoco es útil esperar que ML mejore sus capacidades dándole más ejemplos de conjuntos de entrenamiento que ya “entiende”. Es particularmente absurdo esperar que ML aprenda la respuesta correcta de un ejemplo incorrecto.

Es difícil para cualquier técnica de ML “desvelar” una mala etiqueta. En mi experiencia, probablemente se necesitan entre 5 y 10 buenos ejemplos de conjuntos de entrenamiento para deshacer los efectos de una mala etiqueta. ¡Así que arreglar una mala etiqueta es como obtener 9 buenos ejemplos de conjunto de entrenamiento gratis!

En mi humilde opinión, los valores atípicos no deben ser ignorados. Necesitan ser investigados. Si la etiqueta es mala, debe ser reparada. Si la etiqueta es buena, entonces encontrar ejemplos adicionales de conjuntos de entrenamiento es similar pero no lo mismo ayudará a concretar esa parte del conjunto de entrenamiento. Si los datos subyacentes son simplemente incorrectos, tírelos del conjunto de entrenamiento

Otra área donde mi enfoque es diferente, es con casos límite. En mi humilde opinión, si no puede decidir sobre una etiqueta, debe eliminar el ejemplo del conjunto de entrenamiento. Esto se debe a que si es realmente confuso para usted pero lo coloca en el conjunto de entrenamiento de todos modos, le está dando al ML una información “falsa” sobre dónde está realmente la superficie de decisión.

Por otro lado, me encanta explorar el espacio donde ML se “confunde” donde el modelo ha dado una clasificación en el rango de 0.4 a 0.6. Miro estas partes del conjunto de entrenamiento o incluso mejores datos nuevos en los que el clasificador tiene problemas para decidir. En otras palabras, si los datos pertenecen claramente a una clase u otra, intento encontrar más ejemplos de conjuntos de entrenamiento que sean similares y etiquetarlos correctamente. Para las redes no neuronales (NN), miro estos casos extraños hasta que se me ocurre una nueva característica adicional y luego escribo un código para extraer esa característica y agregarla al sistema. Desafortunadamente con los sistemas NN, los datos son a menudo demasiado complejos para que yo pueda verlos.

Todo esto, no es diferente a desmalezar un jardín. Es un trabajo minucioso, pero ningún algoritmo inteligente de ML puede superar los datos erróneos.

Espero que eso ayude.

En el caso de las redes neuronales, la clasificación es solo una regresión con una interpretación especial. Las técnicas de regresión generalmente se pueden adaptar para la clasificación.

En particular, podría considerar una función de pérdida más robusta. Sí, la entropía cruzada es teóricamente óptima, pero esa teoría tiene ciertos supuestos que en realidad no se cumplen en la práctica. Uno de esos supuestos son las etiquetas precisas.

Más allá de eso, también puede buscar valores atípicos claros (alta pérdida) después del entrenamiento inicial e inspeccionarlos. Incluso podría tomar todas las observaciones de una clase determinada y visualizar una proyección en 3D de una capa interna de la red. Tal vez incluso intente algunos grupos semi-supervisados.

Puedes consultar estos papeles,

Hacer que las redes neuronales sean robustas para etiquetar el ruido: un enfoque de corrección de pérdidas

Funciones de pérdida robusta bajo ruido de etiqueta para redes neuronales profundas.

Entrenamiento de redes neuronales profundas en etiquetas ruidosas con bootstrapping

¡Espero que ayude!