¿Por qué maximizar las expectativas? ¿Por qué distinguir entre variables latentes y parámetros del modelo?

Las variables latentes no son parámetros del modelo. Son esencialmente como errores en un modelo de regresión lineal. Puede tratarlos como si fueran parámetros, que es una estrategia llamada máxima verosimilitud conjunta (JML). Esto sufre problemas de consistencia porque el número de parámetros del modelo crece linealmente con el número de observaciones. JML puede estar muy sesgado en muchas aplicaciones prácticas.

EM es un truco que le permite escribir una probabilidad en términos de información que tiene e información que desearía tener. Por ejemplo, en un análisis de clase latente, a las variables latentes les faltan variables discretas del lado derecho en una regresión logística. Si los tuviera, podría usar la regresión logística. Afortunadamente, es posible generar predicciones para las variables latentes. Entonces genera predicciones para la parte faltante, maximiza los parámetros, actualiza las predicciones, de un lado a otro. Por lo general, es más estable que Newton-Raphson cuando está lejos de la solución, pero tiene una convergencia lenta cerca de la solución. Por lo tanto, la utilidad principal de EM es obtener valores iniciales, que se refinan al final de la optimización utilizando Newton-Raphson.

También podría maximizar las variables latentes: esta es la diferencia entre el agrupamiento duro y el agrupamiento suave . En el caso de la agrupación, si la variable latente es la etiqueta que identifica de qué grupo proviene la observación, maximizando la probabilidad sobre las variables y parámetros latentes resulta en una agrupación dura en la que cada observación se asigna a un grupo. Usando EM, las variables latentes no se estiman, por lo que las etiquetas permanecen indeterminadas. Sin embargo, los parámetros estimados le permiten calcular la probabilidad de que una etiqueta pertenezca a cualquier grupo. Puede pensar en estas probabilidades como indicando “pertenencia parcial” en un grupo, por lo tanto, EM crea un grupo suave en el que una observación no se asigna a un solo grupo sino que se considera que pertenece parcialmente a todos los grupos en diferentes grados.

En configuraciones más generales, maximizar sobre variables latentes le permite “imputar” esas variables, mientras que maximizar solo sobre los parámetros (por ejemplo, EM) le permite obtener una distribución de probabilidad para cada variable latente.

Cada uno de los dos enfoques tiene sus propias ventajas.

Para mí, el algoritmo es el resultado combinado de 1. la probabilidad es generalmente cóncava (unimodal implícito) 2. la probabilidad logarítmica lo hace aún más cóncavo. 3. La desigualdad de Jensen vincula la expectativa y la concavidad. 4. La llamada idea de función sustituta (algoritmo MM de Lange et al 2000) 5. la probabilidad es una función (medible) de datos, admite expectativas.

El arte radica en construir la variable latente: el llamado paso de imputación (a veces también se puede llamar el paso de aumento de datos)

En mi opinión, es una versión del enfoque de divide y vencerás. A veces, su problema se puede resolver fácilmente como la función continua y puede optimizarlo con LBFGS. Pero a veces implica la combinación de variables discretas y continuas como LDA (probabilidades de palabras – continuo y tema – discreto). Existen muy pocos métodos para resolver sistemas con variables discretas y continuas, en LDA, por ejemplo, podría ser la optimización normal de las probabilidades tema-palabra sobre todas las asignaciones de temas posibles, que es complejo NP. Al dividirlo en el paso EM, descompone la complejidad. Digamos que tiene parámetros A * B con enfoque directo, después de EM tiene parámetros A + B pero ahora tiene que repetir N veces, pero A + B generalmente es algo que es posible resolver con los métodos existentes.

La variable latente es diferente para diferentes muestras, mientras que los parámetros del modelo son los mismos para todas las muestras. Consulte el Tutorial de EM (Maximización de expectativas) para obtener más detalles.