¿Cómo evalúa el rendimiento de un algoritmo de aprendizaje no supervisado?

Depende de lo que intentes hacer. He trabajado con varios tipos de algoritmos sin supervisión a lo largo de los años. La visualización, como señaló Jason Kuen, a menudo es útil, pero también hay otras posibilidades.

La agrupación puede considerarse un tipo de aprendizaje no supervisado y se pueden definir medidas de calidad de la agrupación, como la proporción promedio del diámetro de la agrupación en comparación con la distancia entre las agrupaciones (definidas adecuadamente).

Si está utilizando un modelo generativo como una máquina Boltzmann, el objetivo es minimizar la diferencia entre la distribución de salidas cuando el sistema está “soñando” en comparación con la distribución de entrada. Como el método es estocástico, el valor real alcanzado después de una cantidad dada de entrenamiento puede depender de semillas aleatorias. Por lo tanto, se pueden variar y comparar varias ejecuciones para ver si hay un rendimiento significativamente diferente. Este tipo de comparación se puede probar con cualquier algoritmo estocástico.

Si su objetivo es el descubrimiento de características, puede usar esas características para generar una agrupación o reconstrucción y evaluar las características de esa manera.

Cuando tratamos con imágenes, tendemos a visualizar las características aprendidas para evaluar el rendimiento.

Una buena (en orden topográfico)

Una mala

En general. La evaluación de los algoritmos de agrupamiento es difícil porque es subjetivo lo que es el éxito. No hay una métrica bien definida para la agrupación en clúster: “hacer que esto sea más fácil de entender” es difícil de definir matemáticamente.

Una forma común de evaluar los algoritmos de agrupación desde una perspectiva de investigación (“es un buen algoritmo de agrupación en general” y no “es un buen algoritmo de agrupación para esta aplicación”) es la siguiente:

  • Tome un conjunto de datos etiquetado (por ejemplo, MNIST).
  • Retirar las etiquetas.
  • Aplica el algoritmo de agrupamiento en cuestión.
  • Vea si los grupos están correlacionados con las etiquetas conocidas (por ejemplo, los 10 dígitos). Una solución ideal encontraría exactamente 10 conglomerados, pero puede ser aceptable un exceso de conglomerados (p. Ej., 1 y 7 que terminan en el mismo conglomerado) o subgrupos (p. Ej., “7” y “7 con tachado”).

Esto no es muy satisfactorio, pero es lo mejor que se usa comúnmente.

Puede dividir sus datos en pruebas de datos de entrenamiento y medir de la misma manera. Puede aplicar esto de manera iterativa mediante el uso de validación cruzada, dividir sus datos en k fragmentos y entrenarlos k veces, cada vez guardando un fragmento diferente como el conjunto de retención / validación.

Para problemas de clasificación, puede determinar la tasa de error mediante una “matriz de confusión”. Para problemas de tipo de estimación de punto de regresión, puede usar varias diferencias de las estadísticas medias; MAPE, MAE, MSE etc.
Por supuesto, siempre puede reenviar la prueba en nuevos datos también.

More Interesting

¿Debo elegir PHP para el aprendizaje automático?

¿Cuál es la mejor manera de combinar filtrado colaborativo y recomendaciones basadas en contenido?

¿Hay algún otro enfoque para resolver el sobreajuste además de la deserción y la normalización por lotes en el aprendizaje profundo?

¿Qué medida de evaluación fuera de línea para los sistemas de recomendación se correlaciona mejor con los resultados de la prueba AB en línea?

¿Cómo debe prepararse para un programa de maestría / doctorado centrado en la inteligencia artificial?

¿Qué tipos de trabajos están disponibles en la industria financiera para un máster en ML / AI graduado?

¿Cuál es el papel de un neurocientífico en el desarrollo de inteligencia artificial?

¿Cómo realizo la selección de funciones?

¿Cómo se puede interpretar el teorema de Bayes en términos de inferir relaciones causales en los datos?

¿Qué es la plataforma World Modeler y cómo se compara con plataformas similares?

¿En qué se diferencia un autoencoder (apilado) de un MLP, aparte de que los autoencoders aprenden funciones de identidad aproximadas?

¿Cuál es la diferencia entre el análisis factorial y el análisis de conglomerados?

¿Cuál es la relación entre el análisis sentimental y el aprendizaje automático?

¿Cuál es la relación de la función objetivo de muestreo negativo con la función objetivo original en word2vec?

¿Las redes de confrontación generativas funcionan para la detección de valores atípicos?