Definición de anomalías
Las anomalías son muestras raras que generalmente se ven como muestras no anómalas. Se pueden distinguir a veces fácilmente con solo mirar muestras a simple vista. Por ejemplo, imágenes de rayos X cancerosas e imágenes de rayos X no cancerosas. Este es un verdadero problema de detección de anomalías. Encontrará muchas piezas de literatura sobre detección de anomalías en las que las anomalías se definen libremente. Por ejemplo, encontrar imágenes de ‘entrenamiento’ en un grupo de imágenes de ‘perro’. Sí, este es un problema de detección atípico que se puede usar para limpiar un gran conjunto de datos, pero no es una verdadera detección de anomalías requerida para aplicaciones de la vida real (por ejemplo, en ciencias médicas o incluso para detectar baches de un conjunto de imágenes de carreteras).
Detección de anomalías:
- ¿De qué sirve el aprendizaje automático en la predicción de resultados de cricket?
- Cómo explicar el aprendizaje automático y la minería de datos a personas no informáticas
- ¿Qué son los vectores en el contexto del procesamiento del lenguaje natural?
- ¿Por qué el aumento de gradiente funciona tan bien para tantos problemas de Kaggle?
- ¿Cómo debo elegir entre convertirme en un desarrollador de JavaScript de pila completa o un ingeniero de aprendizaje automático?
- Una clase SVM
Una cosa natural para la detección de anomalías es una clase SVM. Utilizando solo datos de una sola clase o sin anomalías, construya un límite de probabilidad de todas las muestras buenas. Durante la prueba, verifique si las muestras están dentro del límite; de lo contrario, es probable que sean anómalos. Pero para imágenes de mayor resolución, es difícil construir esta representación y no puede diferenciar entre muestras con anomalías y sin anomalías.
- Autoencoders
Los autoencoders (AE) son una buena herramienta de creación de representación para imágenes. Se puede aprender una representación no anómala entrenando AE para reconstruir solo imágenes no corrompidas y durante la prueba se espera un mayor error de reconstrucción para imágenes anómalas no vistas. Pero el problema con AE es que solo aprende a comprimir y descomprimir cosas, y es capaz de reconstruir imágenes con bajos errores residuales. Por lo tanto, los AE no son buenos indicadores para la detección de anomalías.
- Autoencoders de incrustación
Al pintar AE, puede enmascarar una parte de una imagen y pedirle al AE que extrapole y complete la máscara durante la reconstrucción. Ahora imagine que ha entrenado un AE de pintura solo en imágenes no anómalas y, en el momento de la prueba, si la parte enmascarada se asienta exactamente en los píxeles anómalos, entonces la reconstrucción sería más parecida al entrenamiento o a las muestras no anómalas. Esto daría como resultado un error de reconstrucción residual mayor y, por lo tanto, puede usarse como un detector de anomalías. Si piensa detenidamente, estas porciones enmascaradas actúan como detectores de anomalías locales independientes, lo que implica que también puede localizar dónde están las anomalías en la imagen. El siguiente es un ejemplo que muestra la detección de caras anómalas o extremas de un grupo de caras no anómalas o naturales. Puede encontrar los detalles en el documento “Detección de rostros anómalos con autoencoders” que no miran a escondidas “[1].
Nuevamente, no son perfectos, pero son mucho más fáciles de usar y construir en comparación con otros métodos como las Redes Adversarias Generativas.
Figura: Las dos filas superiores son caras de anomalía y la fila inferior no es anomalía. Las imágenes en negro en el segundo conjunto y el tercer conjunto son la diferencia residual entre el codificador automático y los codificadores automáticos incrustados. Puede ver que si el enmascaramiento se encuentra en la porción anómala, entonces hay un error residual alto.
¡Gracias por leer!
Referencias
[1] Bhattad, Anand, Jason Rock y David Forsyth. “Detectando rostros anómalos con codificadores automáticos sin mirar”. preimpresión de arXiv arXiv: 1802.05798 (2018).
Descargo de responsabilidad: soy uno de los autores del artículo anterior.
