Lo que está buscando es lo que se llama un modelo generativo , un modelo que le dice qué tan probable es la salida dada. Tenga en cuenta que esto también significa que los modelos generativos podrían usarse para generar aleatoriamente nuevos ejemplos de documentos, de ahí el nombre.
Por lo general, en el aprendizaje profundo, hay más interés en los modelos discriminatorios , cosas que le dicen a la clase algo.
Los enfoques bayesianos son típicamente generativos. Por lo tanto, cosas como n-gramos se pueden usar para estimar la probabilidad de un documento, si se entrena en la entrada.
- ¿Las startups prefieren alojar o licenciar software de aprendizaje automático?
- ¿Se pueden usar los árboles de decisión para encontrar atributos de variables latentes de una muestra?
- ¿Hay algún lugar donde los métodos tradicionales de aprendizaje automático puedan vencer el aprendizaje profundo o las redes neuronales?
- ¿Por qué utilizamos el CDF de distribución logística para calcular las probabilidades en la regresión logística?
- ¿Cómo puede una red neuronal ser capaz de razonamiento simbólico? ¿Cómo puede unir variables?
En el mundo del aprendizaje profundo, recientemente ha habido un aumento de los modelos generativos. Quizás el más conocido de estos es el trabajo sobre autoencoders variacionales de Kingma et al.
Pero para manejar el texto necesitaríamos tener codificadores automáticos que funcionen en secuencias, por lo que necesitamos algo como codificadores automáticos recurrentes variacionales. Puedo encontrar uno o dos documentos sobre el tema (por ejemplo, [1412.6581] Codificadores automáticos recurrentes variacionales) pero no conozco el campo lo suficientemente bien.
