Para fines prácticos, vale la pena pensar en la configuración estándar de Expectation-Maximization (EM) como una línea de ataque para el análisis teórico / algorítmico. La versión más práctica es el algoritmo de maximización de expectativas generalizadas (GEM). Ambas versiones aparecieron por primera vez en el artículo de 1977 de Dempster, Laird y Rubin.
GEM difiere de EM solo en la especificación del paso M: GEM requiere un ascenso de gradiente en la función Q, mientras que EM exige la maximización completa de la función Q. Esto significa que puede implementar GEM M-step encontrando un nuevo theta que solo aumente (en lugar de maximizar) el valor de la función Q. Este es a menudo un paso M computacionalmente más fácil que el paso M de maximización completa de EM. Puede hacer la maximización parcial de la forma que desee, numérica, analíticamente, búsqueda de línea, etc. Las ecuaciones exactas y el mejor procedimiento dependerán de manera crucial de la formulación de su función Q, como con todo lo relacionado con EM.
Te alegrará saber que GEM conserva todas las maravillosas garantías de convergencia teórica del algoritmo EM normal.
- ¿Son los modelos de n-gramas, la codificación de uno en caliente y word2vec diferentes tipos de representaciones de palabras y vectores de palabras?
- ¿Estamos presenciando las primeras etapas del uso de ML en la industria o cree que la aplicación de ML hacia la industria ya está muy extendida?
- ¿Qué piensa Yoshua Bengio sobre los Algoritmos de aprendizaje de Alineación de retroalimentación?
- ¿Ha publicado Factual.com algún trabajo de investigación (o algún asunto técnico importante) sobre las técnicas de aprendizaje automático que utilizan para rastrear y extraer de la web?
- ¿Cómo debo aprender el aprendizaje automático? ¿Puede proporcionar una hoja de ruta específica desde un principiante hasta un experto?
