¡Si!
MuProp (https://arxiv.org/pdf/1511.05176) es el primer artículo (que yo sepa) que comparó varias técnicas para muestrear variables categóricas en redes neuronales y entrenarlas usando una versión modificada del algoritmo de retropropagación estándar. Un trabajo mucho anterior considera el entrenamiento de unidades binarias estocásticas (es decir, un caso especial de categóricos). Todos estos son un subconjunto de las llamadas “redes neuronales estocásticas”.
Algunos trabajos recientes ([1611.01144] ¡Reparametrización categórica con Gumbel-Softmax por colegas de Google Brain y los suyos verdaderamente!), Junto con el trabajo concurrente de colegas de DeepMind (Relajación continua de variables aleatorias discretas) desarrollaron métodos para entrenar específicamente capas de muestreo de categorías categóricas variables
- ¿Cuáles son los trabajos más interesantes de CVPR 2016 y por qué?
- ¿Podrían probarse los conceptos de la medicina tradicional china mediante el aprendizaje profundo?
- ¿Crees que los algoritmos de aprendizaje automático pueden cambiar la forma en que hacemos simulaciones numéricas?
- Cómo hacer que un estudiante de pre-varsity entienda la diferencia entre estadística paramétrica y no paramétrica
- ¿Cómo funcionan los aceleradores de procesador?
Tengo una publicación de blog aquí al respecto: Tutorial: Autoencoders Variacionales Categóricos usando Gumbel-Softmax
Algunos trabajos de seguimiento: https://arxiv.org/pdf/1703.07370
Lo discreto es la parte difícil; es bastante sencillo mezclar muestras discretas y continuas, calcular muestras continuas condicionalmente en muestras discretas, o viceversa.
