¿Cómo se aplica el análisis tensorial al aprendizaje automático, en términos de contexto específico de aplicación?

Hemos obtenido varios resultados interesantes sobre el uso de la descomposición del tensor para el aprendizaje no supervisado de modelos variables latentes. La idea clave es considerar los tensores que se derivan de momentos multivariados de los datos observados. Mostramos que la descomposición de estos tensores nos permite aprender constantemente los parámetros de una amplia gama de modelos de variables latentes, como los modelos de temas (como la popular asignación de Dirichlet latente), modelos ocultos de Markov, modelos de comunidad de red, mezclas gaussianas, etc. Es crucial utilizar momentos de orden superior (y, por lo tanto, análisis de tensor), ya que se puede demostrar que para muchos de estos modelos, solo los momentos por pares (y, por lo tanto, el análisis matricial) no son suficientes para aprender los parámetros del modelo. Desde entonces, muchos otros investigadores han seguido y demostrado que estos métodos se pueden aplicar a muchos otros modelos, como mezclas de modelos de clasificación.
Hemos implementado estos métodos en la práctica en una serie de conjuntos de datos a gran escala que incluyen datos de texto y gráficos, y obtenemos un rendimiento altamente competitivo en comparación con los métodos tradicionales, como la maximización de expectativas o Bayes variacional. Tenemos una mejora en los órdenes de magnitud en los tiempos de ejecución mientras obtenemos puntajes de perplejidad similares (o mejores) en comparación con los métodos variacionales estocásticos de última generación. Puede consultar mi sitio web para más detalles.