¿Los modelos no paramétricos bayesianos funcionan bien en la práctica?

Si y no. Realmente depende de su dominio / datos / tarea / etc. ‘…

Abordaré su pregunta como una acerca de la inferencia bayesiana en general, ya que creo que muchos modelos de hoy (por ejemplo, redes neuronales bayesianas) son lo suficientemente grandes como para ser básicamente indistinguibles de los modelos no paramétricos ‘verdaderos’, por lo que la verdadera diferencia es si quiere ser Bayesiano sobre inferencia. Voy a hacerlo de esta manera porque la pregunta dice “en la práctica”. Hay otra discusión interesante (pero más filosófica) sobre la naturaleza de los modelos no paramétricos.

Como probablemente sepa, el mayor inconveniente de la inferencia bayesiana en general es la carga computacional. A menudo, los BNP son los mejores modelos para una tarea, pero simplemente no se pueden usar debido a la falta de potencia de cálculo (o los métodos de aproximación eficientes, depende de cómo se mire). Esto se agrava cuando tenemos en cuenta los hiperparámetros: la mayoría de los modelos vienen con un conjunto de parámetros que necesitan ajuste, y un algoritmo mejor ajustado pero simple puede superar a un modelo más sofisticado que es demasiado costoso para encontrar valores de parámetros adecuados.

Además, debo decir que, aparte de los procesos gaussianos y (posiblemente) los modelos de mezcla de procesos de Dirichlet, la mayoría de los modelos BNP carecen de implementaciones buenas, robustas y listas para usar, y a menudo son delicados y difíciles de administrar y poner a trabajar. A menudo, se necesita una gran cantidad de experiencia y comprensión del modelo subyacente para “hacer que funcionen”.

Dicho esto, hay muchas instancias interesantes e importantes donde la inferencia bayesiana (en general) y el BNP (en particular) tienen ventajas significativas sobre otros modelos. Dos ejemplos clave son los regímenes de datos pequeños (‘pequeño’ es relativo a la complejidad de la tarea), y cuando la incertidumbre es importante.

En ambos casos, los modelos no bayesianos tienden a ser demasiado confiados en sus predicciones y pueden funcionar muy mal. En tales casos, optaría por enfoques bayesianos cada vez. Un gran ejemplo es el uso de procesos gaussianos en problemas difíciles como los sistemas de diálogo [1] aprendizaje robótico [2], o el ajuste de otros modelos [3]. Los recientes avances en las técnicas de inferencia (inferencia variacional estocástica, redes de reconocimiento, etc.) también están haciendo que los métodos bayesianos sean cada vez más útiles en la práctica para los regímenes de datos grandes.

Creo que a medida que la inteligencia artificial impulsada por el aprendizaje automático avanza hacia dominios de toma de decisiones cada vez más complejos, la incertidumbre desempeñará un papel cada vez más importante en los modelos que usamos y desarrollamos. Para muchas tareas de reconocimiento o únicas (p. Ej., Competiciones de Kaggle), no hay necesidad de buenas estimaciones calibradas de incertidumbre. Sin embargo, cuando las predicciones alimentan los sistemas que toman decisiones basadas en esas estimaciones, la incertidumbre se vuelve crucial, y ahí es donde los sistemas bayesianos se vuelven muy importantes ‘en la práctica’.

[1] – http://mi.eng.cam.ac.uk/~mg436/p…

[2] – https://spiral.imperial.ac.uk/bi…

[3] – https://arxiv.org/pdf/1206.2944.pdf

Como no matemático y hombre de probabilidades, lo intentaré.

Baysean – Thomas Bayes que lo originó.

No, no, no, etc.

para – dos o más

métrico – distancia

modelo: réplica, copia, facsímil

Bayesiano – Ofertas, como se recuerda, con la probabilidad de que el conocimiento conocido altere, expanda, la información conocida

Esto significa que puedo aumentar mis habilidades a través de la práctica, que en la Ley de Atracción, el mundo es verdadero.

Consulte con una especialidad matemática real.