¿La asignación de Dirichlet latente es un modelo paramétrico o no paramétrico? La tecnología cambia la vida futura

Su confusión es consecuencia de un hecho de que no existe una definición universalmente aceptada de “no paramétrico” en las estadísticas. Y “no paramétrico” puede referirse a diferentes cosas dependiendo de si estamos hablando de datos o de un modelo. Su pregunta se refiere al aspecto del modelo no paramétrico, para lo cual en la práctica hay dos interpretaciones comunes:

Un modelo no paramétrico es aquel en el que no se asume la distribución de probabilidad particular de los datos que se generan. Una forma más precisa de decir esto es que un modelo no paramétrico es aquel en el que la dimensión del espacio de parámetros es infinita. Por ejemplo, se necesita un parámetro para especificar una distribución de Poisson: [math] \ textrm {Poisson} (\ lambda) [/ math]; se necesitan dos parámetros para especificar una distribución normal: [math] \ textrm {Normal} (\ mu, \ sigma ^ {2}) [/ math]; y se requieren tres parámetros para especificar una distribución hipergeométrica: [math] \ textrm {Hypergeometric} (N, K, n) [/ math]. Pero se necesitaría un número infinito de parámetros para especificar una distribución no paramétrica. (Aunque esta definición parece clara y convincente, a algunos estadísticos les resulta insatisfactorio porque de hecho podría parametrizar (pensar “indexar”) a cada miembro en el conjunto de todas las posibles distribuciones de probabilidad por un valor en el intervalo [matemáticas] (0 , 1) [/ matemáticas].)
Un modelo no paramétrico es aquel en el que hay parámetros, pero el número de parámetros y los tipos de parámetros no se deciden hasta que se miran los datos. Por ejemplo, una vez que se han observado, el número de parámetros puede crecer dinámicamente con alguna medida de la complejidad de los datos. Consideremos por un momento un modelo como un cuadro negro que toma datos como entrada y proporciona estimaciones de parámetros como salida. Si el modelo es paramétrico, no sabe de antemano cuáles serán esas estimaciones de parámetros, pero sí sabe de antemano cuántos de ellos obtendrá y qué significarán. (Si está ajustando un modelo normal, sabe que obtendrá dos parámetros como salida, y que uno de ellos será una estimación de la media y el otro será una estimación de la varianza). Si el modelo no es paramétrico , usted sabe de antemano ni cuáles serán las estimaciones de los parámetros ni cuántos de ellos obtendrá y qué significarán. (Pasar el modelo de un conjunto de datos puede generar dos parámetros, donde uno es una estimación de ubicación y otro es una estimación de escala; pasar el mismo modelo a un conjunto de datos diferente podría generar tres parámetros, donde uno es una estimación de ubicación, uno es una estimación de forma y uno es una estimación de curtosis).

El modelo LDA clásico es un modelo paramétrico bajo ambas definiciones, ya que (1) los datos se extraen de un modelo bayesiano jerárquico que puede especificar completamente como una lista de parámetros, y (2) el número de parámetros se conoce de antemano (en en particular, el investigador elige el número de temas [matemáticas] k [/ matemáticas] por adelantado).

Sin embargo, existen numerosas variantes de LDA en las que la cantidad de temas [matemática] k [/ matemática] se puede aprender de los datos y, por lo tanto, no es necesario elegirla con anticipación. Estos modelos siguen siendo paramétricos según la definición (1), ya que una vez que se elige el número de temas, puede especificar completamente el modelo mediante una lista de parámetros; pero no es paramétrico según la definición (2), ya que el número de parámetros no se conoce de antemano.