¿Qué se sabe sobre la eficiencia de la agrupación espectral en caso de que los datos no estén completamente conectados?

En el caso ideal, espera que sus datos no estén completamente conectados, es decir, le gustaría tener diferentes componentes conectados, uno para cada clúster.

En el caso real, esto generalmente no sucede: puede depender de muchos factores diferentes, por ejemplo, los datos en sí (piense en grupos superpuestos) o cómo define su gráfico de adyacencia (consulte, por ejemplo, la Figura 3 en [1]). El artículo “clásico” sobre el agrupamiento espectral de Andrew Ng et Al muestra diferentes ejemplos (ver Figura 1 en [2]): (a) por ejemplo tiene 8 componentes conectados, (d) tiene 4, mientras que (e) y (f) tener dos (incluso si ve que puede dividir un componente conectado libremente en dos, eso es todo magia de K-Means ;-)).

En lo que respecta a la eficiencia, desde mi experiencia, cuanto mejores grupos estén separados, más agrupamiento espectral se comportará de una manera predecible: el gráfico tendrá más de un componente conectado (idealmente K, el número de grupos en el conjunto de datos), el primero Los valores propios de K serán cero, y ejecutar K-Means en el espacio construido tomando los primeros vectores propios de K del gráfico Laplaciano le dará resultados bastante satisfactorios. Cuanto más cerca estén los grupos, más lejos estarán los valores propios de 0 (ver Figura 4 en [1]), los puntos más cercanos de los diferentes grupos estarán en el espacio propio, y será más difícil para K-Means encontrar “buenos “racimos.

Por cierto, si desea tener una mejor idea de cómo funciona la agrupación espectral, además de los documentos de referencia, le sugiero que consulte la siguiente demostración de agrupación espectral de Octave que construí para mis alumnos: Demostración de agrupación de octavas parte 3: agrupación espectral. La demostración viene con algunos conjuntos de datos simples con los que puede jugar, como cúmulos globulares bien desconectados, círculos concéntricos, etc. En otra demostración (demostración de agrupación de octavas parte 6: (más) evaluación), en su lugar, jugamos con el mismo algoritmo en un conjunto de datos real (un subconjunto de caras de Olivetti).

[1] http: //www.informatik.uni-hambur…
[2] http://ai.stanford.edu/~ang/pape…

Si entiendo la pregunta correctamente, debería poder simplemente ejecutar el agrupamiento espectral en las partes desconectadas y luego combinar los resultados.

More Interesting

Cómo comenzar la investigación en Machine Learning

¿Por qué el preentrenamiento no supervisado actúa como un regularizador en arquitecturas profundas?

¿Cuánto del aprendizaje automático es en realidad solo optimización?

Si la IA de aprendizaje automático no puede explicar una respuesta, ¿se puede 'confiar' en un diagnóstico médico?

¿Cuáles son las funcionalidades clave que debe tener una biblioteca NLP mínima?

¿Cuáles son las mejores marcas de CPU y GPU para el aprendizaje automático?

¿Cómo se explica el algoritmo de propagación de creencias en las redes bayesianas?

Cómo configurar una instancia de AWS GPU para aprender el aprendizaje automático

¿Qué es una explicación intuitiva de los modelos de proceso gaussianos?

¿Es esta tabla Hoja de trucos de Machine Learning (para scikit-learn) una descripción precisa de cuándo se deben aplicar diferentes técnicas de aprendizaje automático?

¿Cómo se determina el rango de posibles valores lambda cuando se realiza la validación cruzada en una regresión de lazo?

Deseo obtener un doctorado en Ciencias de la Computación de la India y no de ninguna universidad de los Estados Unidos. ¿Será esta una buena decisión?

¿Cuál es la razón para mapear datos de dos idiomas diferentes en un espacio de incrustación de palabras común y no usar dictonarios y asignarle el idioma b a los vectores del idioma a para entrenar un modelo de manera multilingüe?

¿Qué biblioteca de PNL cubre la mayoría de los idiomas para un proyecto de análisis de sentimientos?

¿Existe algún modelo de aprendizaje profundo o algún otro método que ingrese como una colección de documentos y pueda predecir la probabilidad de un nuevo documento?