Una distribución de Bernoulli modela un proceso donde cada muestra tiene probabilidad q de salir como 1 y probabilidad 1-q de salir como 0.
Un modelo de mezcla es un modelo estadístico que asume que sus muestras provienen de diferentes subpoblaciones. Cada subpoblación tiene una distribución de probabilidad [matemática] p_i [/ matemática]. Cada una de estas poblaciones es responsable de una fracción de las muestras [math] w_i [/ math], de modo que [math] \ sum_i w_i = 1 [/ math]
El modelo de mezcla proporciona una distribución de probabilidad para toda la población igual a:
- ¿Cuál es el mejor foro de red neuronal en Internet?
- La IA ha existido por décadas. ¿Qué condujo a toda la publicidad reciente de AI / Deep Learning?
- ¿Qué es una explicación intuitiva de los modelos de proceso gaussianos?
- ¿Puede el preprocesamiento de datos en redes neuronales de IA (aprendizaje profundo) ser dinámico y automatizado (en lugar de estático y manual)?
- ¿Cuáles son los mejores libros de aprendizaje automático para principiantes?
[matemáticas] p (X = x) = \ sum_i w_i \ cdot p_i (X = x) [/ matemáticas]
Por lo general, uno tiene observaciones de toda la población y quiere determinar los parámetros del modelo (es decir, las distribuciones y los pesos de cada subpoblación).
En el caso de un modelo de mezcla de Bernoulli, se supone que cada una de las poblaciones está representada por una distribución de Bernoulli, por lo que
[matemáticas] p_i (X = x) = q_i ^ x \ cdot (1-q_i) ^ {(1-x)} [/ matemáticas]
[matemáticas] x \ in \ {0,1 \}, q_i \ in [0,1] [/ matemáticas]
Si quieres intuir lo que esto representa, imagina que tienes N juegos de suerte (jugar dados, ruleta, etc.) en un casino. Este casino tiene mesas [math] t_i [/ math] para jugar el juego i y en este juego tienes una probabilidad [math] q_i [/ math] de ganar. Si quieres divertirte al azar, puedes repetir estos pasos indefinidamente:
-> Elige una mesa aleatoria de manera uniforme
-> Juega el juego en esa mesa una vez
La probabilidad de que ganes una ronda viene dada por un modelo de mezcla de Bernoulli con pesos [math] w_i = \ frac {t_i} {\ sum_i t_i} [/ math] y la probabilidad de éxito [math] q_i [/ math] para cada uno Las subpoblaciones.
Si hace un poco de matemática, puede ver que esto no es muy interesante porque la probabilidad de éxito del modelo de mezcla es simplemente:
[matemáticas] p (X = 1) = \ sum_i w_i \ cdot q_i [/ matemáticas]
que es equivalente a una sola variable aleatoria de Bernoulli cuya probabilidad de éxito es el promedio ponderado de las probabilidades de éxito de cada subpoblación.
En otras palabras, jugar en este emocionante casino o en un casino que tiene una sola mesa te da el mismo resultado. Puede decir que el modelo de mezcla de Bernoulli y una sola variable aleatoria de Bernoulli son indistinguibles.
Si en lugar de considerar una sola variable aleatoria de Bernoulli, considera un vector de Bernoulli (es decir, un vector aleatorio con dimensión M, donde cada uno de los componentes se distribuye como Bernoulli), el modelo de mezcla se vuelve más interesante. Aunque cada uno de los componentes del vector sigue siendo un Bernoulli, el modelo de mezcla puede codificar interacciones entre los diferentes componentes. Vea este artículo para un ejemplo.
