¿Cómo se usa el análisis de componentes principales en el procesamiento del lenguaje natural?

Creo que puedo dar una respuesta a esta pregunta no porque sea un experto en PNL (que definitivamente no lo soy) sino porque sé algo sobre PCA. El modelo PCA (o más formalmente PPCA) supone que los datos tienen una distribución continua sobre +/- infinito (una suposición gaussiana conduce a PPCA). Los datos de PNL, por otro lado, generalmente tienen una distribución discreta (para un vector 1-hot) o una distribución multinomial (para vectores 1-hot acumulados) porque los datos se basan en recuentos discretos de eventos o símbolos léxicos. PCA hará un trabajo muy pobre de reconstrucción de datos discretos porque los valores pueden ser negativos. Hay una familia de soluciones para esto que incluye la “factorización matricial no negativa” (NMF), el “análisis semántico latente probabilístico” (PLSA) y el “análisis Dirichlet latente probabilístico” (PLDA). Estoy seguro de que también hay muchos más: estos tres son los primeros que se hicieron populares. El punto es que todos estos modelos transformarán datos basados ​​en recuentos discretos en una forma de dimensión inferior (que para estos modelos también es multinomial).

Puedo pensar en dos aplicaciones.

El primero que es muy clásico es el análisis semántico latente, que es el uso de la SVD sobre la matriz de términos y documentos. Esto se usa cuando ayuda a resolver consultas en un sistema de recuperación de información. La ayuda puede significar que hace que el resultado de las consultas sea mejor o más rápido o ambos.

La relación con la PNL es que cuando se consulta algo como “automóvil”, el sistema podrá dar relevancia a los documentos que contienen “automóvil” porque después de la SVD es probable que ambos términos se combinen en el mismo concepto latente. Entonces, la SVD aquí ayuda a resolver el problema de sinónimos de PNL.

Si se pregunta por qué estoy hablando de SVD cuando la pregunta es sobre PCA, asegúrese de que ambas cosas sean exactamente iguales. (Ver: ¿Cuál es una explicación intuitiva de la relación entre PCA y SVD?)

La segunda aplicación de PCA es construir vectores de palabras. Estos se están volviendo muy populares después de Word2vec. La idea es representar cada palabra como un vector y luego hacer todo tipo de cosas interesantes con esos vectores. El problema de la PNL es cómo obtener los vectores.

Si bien Word2Vec y GloVe son los algoritmos más populares, el enfoque más simple es construir una matriz de correspondencia palabra por palabra y luego simplemente aplicar PCA sobre esa matriz para obtener las incrustaciones de palabras. Se ha demostrado que Word2Vec o GloVe son mejores que esto. Pero hay un algoritmo muy bueno de Lebret y Collobret que usa la distancia Hellinger para construir una matriz de correspondencia de word2word y luego solo aplica PCA sobre esa matriz para obtener las incrustaciones en la cantidad de dimensiones que se necesitan. Ver: [1312.5542] Word Emdeddings a través de Hellinger PCA. El truco de usar la distancia Hellinger para la matriz mejora los resultados y parece que los resultados pueden ser comparables con Word2Vec o GloVe sin la necesidad de redes neuronales.

Estoy seguro de que puede haber aplicaciones más específicas, pero esas dos son las que me vienen a la mente en este momento.