¿Cuál es la diferencia entre estadísticos bayesianos y frecuentistas?

La diferencia esencial entre los estadísticos bayesianos y frequentistas está en cómo se usa la probabilidad. Los frecuentes usan la probabilidad solo para modelar ciertos procesos ampliamente descritos como “muestreo”. Los bayesianos usan la probabilidad más ampliamente para modelar tanto el muestreo como otros tipos de incertidumbre. Para usar el mismo ejemplo que en mi respuesta a ¿Qué es un intervalo de confianza en términos simples? Supongamos que estamos interesados ​​en la altura promedio h en pulgadas de todos los hombres adultos en los EE. UU.

Un estadístico bayesiano comenzaría con una “distribución previa”, es decir, una distribución de probabilidad que refleje el estado del conocimiento sobre h antes de recopilar datos. Claramente tenemos alguna información previa: h es ciertamente entre 60 y 84 pulgadas, y más probablemente cerca de la mitad de este rango. Después de recopilar algunos datos (por ejemplo, una muestra aleatoria de los EE. UU. De hombres adultos), el Bayesiano actualizaría la distribución anterior a la luz de los datos para obtener una nueva distribución de probabilidad para h llamada distribución posterior. La distribución posterior refleja nuestro estado de conocimiento sobre h después de recopilar datos. Usando la distribución posterior, el Bayesiano puede hacer una declaración como:

[matemáticas] P (70 \ leq h \ leq 74) = 95 \% [/ matemáticas]

Los frecuentes no se permiten hacer tales declaraciones. Para un frequentista, h es simplemente una constante desconocida que se encuentra en el rango [70, 74] o no. Para el Frecuentista, la afirmación de probabilidad anterior no tiene sentido. Los frecuentes solo permiten declaraciones de probabilidad sobre el muestreo. Un ejemplo de una declaración de probabilidad legal para un Frequentista es:

[matemáticas] P (70 \ leq H \ leq 74) = 95 \% [/ matemáticas]

donde H es un sorteo aleatorio de la población de varones adultos en las técnicas frequentistas de EE. UU., como los intervalos de confianza y las pruebas de hipótesis, proporcionan formas de hacer declaraciones que se asemejan a las declaraciones de probabilidad bayesianas pero que solo usan la probabilidad de la manera frequentista. En la respuesta de Michael Hochster a ¿Qué es un intervalo de confianza en términos simples?

Cuanto más reflexiono sobre la división entre las estadísticas bayesianas y frecuentistas, menos me convenzo de que haya una división seria entre los dos. Sí, indudablemente hay diferencias conceptuales, pero no suficientes para despertar la cantidad de animosidad existente entre ambos “campos”, y estas diferencias parecen de menor magnitud en comparación con las diferencias entre un diseño o un modelo o un enfoque paramétrico o no paramétrico. Además, la mayoría de los marcos estadísticos modernos parecen combinar los dos de alguna manera, como se discutirá.

Permítanme comenzar resumiendo cómo las estadísticas bayesianas y frecuentistas (paramétricas) son similares. En cualquier caso, uno especifica una distribución para los datos observados dado un conjunto de parámetros que pueden clasificarse en dos categorías: i) parámetros sobre los que nos interesan hacer declaraciones inferenciales y ii) parámetros que existen por el bien de las matemáticas del modelo, típicamente denominados parámetros “molestos”. Vista como una función de los parámetros, esto se denomina función de probabilidad y es típicamente común tanto para el punto de vista bayesiano como para el frecuentista, aunque existen algunos marcos de referencia que ignoran la probabilidad por completo.

Sin embargo, los parámetros de interés se interpretan de manera diferente en cualquiera de los campos. Desde un punto de vista frecuentista, estas son cantidades fijas pero desconocidas. Desde el punto de vista bayesiano, estas son variables aleatorias. Por lo tanto, a los bayesianos se les brinda la conveniencia de cálculos probabilísticos básicos al derivar cantidades como “intervalos de credibilidad” y eliminar parámetros molestos, pero deben especificar una distribución de probabilidad previa. Lo más importante, un Bayesiano hace que las inferencias sean condicionales a los datos observados, pero (típicamente) no considera conjuntos de datos hipotéticos que no se observaron. Por el contrario, un frecuentista puede evaluar un estimador particular al considerar la distribución subyacente al proceso de generación de datos. Por ejemplo, el resultado clásico de Fisher postula que la distribución de la MLE es aproximadamente normal con la varianza prescrita por el inverso de la información de Fisher, la curvatura promedio de la función log-verosimilitud. Alguien que cree en el principio de probabilidad (es decir, un bayesiano) probablemente solo se preocuparía por la información de Fisher observada: la curvatura de la probabilidad logarítmica en el experimento, no un promedio de todos los experimentos. Para otro ejemplo, un intervalo de confianza atrapa o no el parámetro “verdadero” una vez que se han recopilado los datos, pero puede tener una cierta cobertura a largo plazo si el procedimiento se lleva a cabo bajo un proceso estacionario de generación de datos. En contraste, matemáticamente un intervalo de credibilidad contiene el parámetro inferencial de interés con una probabilidad prescrita, pero esto no implica nada sobre cómo se comporta el procedimiento en el “largo plazo”.

La teoría de la decisión parece fusionar los dos de alguna manera. El riesgo de Bayes de un estimador es el riesgo promedio sobre la distribución anterior, que es equivalente al promedio de la pérdida posterior promedio sobre los datos. En condiciones bastante generales, los estimadores bayesianos son admisibles, y en muchas situaciones existe un estimador bayesiano generalizado correspondiente para un estimador admisible.

También hay algunos resultados asintóticos sobre la distribución posterior. Asintóticamente, la distribución posterior puede aproximarse mediante una distribución normal con el MAP como la media y la inversa de la información de Fisher observada como la varianza. Además, si se postula la existencia de un theta “verdadero” y se supone que los datos recopilados son muestras del modelo de probabilidad correspondiente a la probabilidad, entonces la distribución posterior se contrae exponencialmente rápido a la “verdad” con condiciones muy débiles en la distribución previa se elige.

En cierto sentido, creo que la distinción entre los puntos de vista bayesiano y frecuentista puede entenderse con una analogía con la interpretación de Copenhague de la mecánica cuántica, donde uno cree que el verdadero estado de la naturaleza es inherentemente probabilístico. Sin embargo, en la mecánica cuántica es posible hacer un experimento que sea consistente con esta afirmación, como el experimento de la doble rendija. En tal experimento, se observa un patrón de difracción incluso cuando solo un fotón pasa a través de la doble rendija a la vez, de acuerdo con la visión de que la onda del fotón está interfiriendo consigo misma. No estoy seguro de si se podría realizar un experimento análogo para determinar si un parámetro estadístico es inherentemente probabilístico, pero es una pregunta interesante para reflexionar.

Acabo de publicar una respuesta larga en forma de diálogo ficticio.

Respuesta de Jason Eisner a Para un no experto, ¿cuál es la diferencia entre los enfoques bayesiano y frecuentista?

He oído decir que “los analistas de datos clásicos deben ser inteligentes para hacer el trabajo, pero los bayesianos solo necesitan el mismo truco una y otra vez” (o algo por el estilo).


Más en serio, la validez del Teorema de Bayes en sí no está en disputa, como otras respuestas han mencionado.

Creo que Laplace sería considerado como el primer verdadero bayesiano. En esta etapa temprana de su desarrollo, la probabilidad era un sustituto de la plausibilidad : ¿cuánto creemos que la afirmación [matemáticas] X [/ matemáticas] es verdadera, dada la evidencia a nuestra disposición.

Un ejemplo clásico: la masa de Saturno fue estimada por Laplace utilizando el (pequeño número) de puntos de datos orbitales disponibles para él y su conocimiento de las leyes de la mecánica. Usando el teorema de Bayes, encontró un posterior para la masa de Saturno [matemáticas] M [/ matemáticas], que se muestra esquemáticamente a continuación:

El área rayada es una indicación del grado de creencia de Laplace de que la verdadera masa se encuentra entre [matemáticas] m_1 \ leq M \ leq m_2 [/ matemáticas]. En este contexto, el Teorema de Bayes establece que

[matemáticas] \ text {prob} (M | \ {\ text {data} \}, I) \ propto \ text {prob} (\ {\ text {data} \} | M, I) \ times \ text { prob} (M | I), [/ matemáticas]

es decir, el posterior es proporcional al producto de la probabilidad y el anterior . La probabilidad que obtuvo de las leyes de la mecánica celeste, pero la anterior … bueno, tenía que adivinar.

Para el registro, la suposición de Laplace fue bastante buena: su estimación es 0.6% de descuento del valor actualmente aceptado para [matemáticas] M [/ matemáticas].

Adivinar en un previo razonable es a menudo uno de los problemas que las personas tienen con el razonamiento bayesiano. Las personas con antecedentes diferentes necesariamente obtendrían posteriores diferentes. Hay una clara falta de rigor. La definición de probabilidad como la frecuencia relativa (de donde el término frecuentista ) en una secuencia infinita de experimentos se introdujo para combatir esta falta de rigor.

Desafortunadamente, con esta definición, la teoría de probabilidad no se puede usar para encontrar la masa de Saturno porque [matemática] M [/ matemática] no es una variable aleatoria: no tenemos acceso a un conjunto infinito de experimentos para los que diversas mediciones de [matemática] ] M [/ math] podría tomarse, ni siquiera conceptualmente.

De hecho, las observaciones representan datos orbitales, no mediciones de masa. El vínculo entre la masa y los puntos orbitales es el estadístico : la aleatoriedad en las observaciones se transmite al estadístico, que, como variable aleatoria, es susceptible de tratamiento probabilístico. ¡Problema resuelto!

Excepto que no hay una forma natural frecuentista de elegir la estadística … los enfoques competitivos conducen a tesoros masivos de pruebas y hacks, que conviven en grandes libros de texto sin una pista de una estructura unificadora subyacente.


Las deficiencias bayesianas son más fácilmente identificables (¿y quizás más fáciles de remediar, como consecuencia?), Pero el enfoque frecuentista también tiene una serie de dificultades conceptuales implícitas (y al estar ocultas, a menudo se pasan por alto).

No creo que pueda plantear una clara afirmación del bayesianismo, pero estoy de acuerdo con la opinión de DSSivia de que, si bien la idea de incertidumbre en la que el concepto bayesiano carece de rigor, el concepto frecuentista central de aleatoriedad también está mal definido en la práctica. En última instancia, la aleatoriedad en un sistema es simplemente una declaración sobre nuestra incapacidad para hacer predicciones a prueba de fallas sobre el sistema (por cualquier razón), que a menudo es una consecuencia de nuestra falta de conocimiento sobre el sistema *, una posición inherentemente coherente con el Bayesiano ver.


[*] No estoy seguro de cómo se aplica eso a la incertidumbre cuántica. Siento que todo el asunto “No hay variables ocultas” podría ser problemático.

En primer lugar, realmente no hay estadísticos frecuentistas. Hay bayesianos, que tienen una filosofía consistente de probabilidad y piensan que es importante; y hay un grupo más grande de estadísticos que no se preocupan mucho por las filosofías consistentes, y usan cualquier método bayesiano y no bayesiano que parezca hacer el trabajo. Y, por cierto, todos los estadísticos aceptan el Teorema de Bayes, ese no es el problema.

Hay estadísticos que se preocupan por la filosofía y no son bayesianos, pero agruparlos a todos bajo “frecuentista” es engañoso. Nunca escuché a nadie llamarse a sí mismo como frecuentista, pero muchos estadísticos están orgullosos de ser bayesianos. Además, hay tanto desacuerdo dentro de este campo “frecuentista” como entre sectas individuales y bayesianos.

Para ver la diferencia, supongamos que estamos probando el fármaco A versus el fármaco B. Damos cada fármaco a una muestra coincidente de 200 pacientes en un experimento controlado doble ciego. 60 de los 100 pacientes que recibieron el medicamento A están curados y 50 de los pacientes que recibieron el medicamento B.

Un bayesiano le preguntará qué pensó antes del experimento de las tasas de curación probables. Quizás diga que pensó que la tasa de curación con el medicamento A sería del 40%, con una distribución Beta (40,100) (no se preocupe por lo que significa la distribución Beta, es solo una forma de describir su incertidumbre sobre el medicamento A), mientras creía que el medicamento B tendría una tasa de curación del 60%, con una distribución Beta (60,100). El Bayesiano le dirá que ahora debe creer que el medicamento A tiene una tasa de curación del 50%, con una distribución Beta (100,200), y que el medicamento B tiene una tasa de curación del 55%, con una distribución de Beta (110,200). Debido a que tenía más confianza en el medicamento B antes del ensayo, aún cree que es mejor a pesar de que el medicamento A funcionó mejor.

Un no bayesiano probablemente ignorará la información previa, ya que es diferente para diferentes personas y puede estar basada en información o juicio deficientes. En cambio, dirá algo así, si el medicamento A y el medicamento B son igualmente efectivos, la probabilidad de que uno cure a 10 pacientes más que el otro podría ser tan alta como 18%. Por lo tanto, no puedo rechazar la hipótesis nula de que las dos drogas son igualmente efectivas al nivel del 5%, y el experimento no es concluyente.

Observe que los dos estadísticos están respondiendo preguntas diferentes. Ambos estarían de acuerdo con el cálculo del otro. El Bayesiano diría que el cálculo del no Bayesiano utiliza una definición incoherente de probabilidad que puede conducir a errores inferenciales, pero que el no Bayesiano ha calculado la respuesta a su pregunta correctamente. El no bayesiano diría que el cálculo bayesiano es perfectamente correcto, pero solo le informa sobre la creencia subjetiva constante de una persona. Como sabemos que las personas no son consistentes, no significa mucho. Además, no debería ser la base de las decisiones médicas porque varía demasiado según el investigador.

Hay circunstancias en las que cada estadístico usaría los métodos del otro. Si hubiera una base objetiva firme para la creencia previa, o incluso un amplio consenso racional, los no bayesianos aceptarían el enfoque bayesiano. Si el problema es diseñar un estándar regulatorio que no dependa de un juicio subjetivo, y no haya una razón sólida para pensar de manera diferente sobre los medicamentos A y B, el Bayesiano podría aceptar que la solución no Bayesiana es un criterio razonable pero arbitrario.

Wow … estas respuestas están muy bien pensadas. Mi asesor de doctorado ahora es un acérrimo Bayesiano después de comenzar frecuentista. Jim Berger, uno de nuestros estadísticos actuales más influyentes es el mismo: comenzó frecuentista y luego cambió al “lado oscuro”. Jajaja

Soy principalmente bayesiano por dos razones: (1) es más fácil adaptar modelos complejos que involucran parámetros latentes que tienen estructura espacio-temporal u otros tipos de dependencias complejas (por ejemplo, tiempo para caries en los dientes en la boca; los dientes pueden estar uno al lado del otro en dos maneras), y (2) a menudo hay expertos que tienen información valiosa para agregar a los datos / modelo, encapsulados por la probabilidad.

Una vez que se ha seleccionado un modelo paramétrico para inferencia, tanto los bayesianos como los frecistas utilizan la probabilidad implícita en los datos / modelo. Somos más parecidos que diferentes. En realidad, asintóticamente somos exactamente iguales excepto en situaciones patológicas.

La diferencia esencial está en qué es la teoría de probabilidad y qué no se usa para modelar. En un marco bayesiano, modelamos los datos probabilísticamente, así como los parámetros que rigen la distribución de los datos. En un marco frecuentista, los datos se modelan probabilísticamente, pero los parámetros no.

Como resultado de estas opciones de modelado, los enfoques bayesianos a menudo conducen a una respuesta que es una declaración de probabilidad. Algo así como, por ejemplo, hay un 95% de probabilidad de que la media de la población esté entre 2.3 y 4.2 (dados los datos que observé). Un enfoque frecuentista del mismo problema deja una respuesta que es una declaración de “confianza” en lugar de probabilidad. Algo así como, por ejemplo, con un 95% de confianza basada en los datos que observé, la media de la población está entre 2.3 y 4.2.

No sería apropiado que un frecuentador hiciera una declaración de probabilidad sobre un parámetro ya que tomó la decisión explícita de NO usar la probabilidad para modelar el parámetro (sino que eligió solo modelar los datos). En cambio, se le deja declarar un cierto grado de certeza sobre si la afirmación hecha es o no verdadera. Por otro lado, debido a que el Bayesiano tomó la decisión de modelar el parámetro probabilísticamente, se ve obligado a tomar una decisión de modelado subjetiva que influye en la respuesta. Es posible estar en desacuerdo con sus conclusiones porque usted no está de acuerdo con su elección de modelo.

Los bayesianos permiten que las frecuencias observadas (“información objetiva”) se actualicen o modifiquen con información a priori (“subjetiva”), lo que aumenta la información a posteriori . Los frecuentes no lo hacen, argumentando que los antecedentes suficientemente fuertes pueden abrumar e invalidar datos que de otra manera serían válidos; y los antecedentes fuertes a menudo están equivocados, moldeados por la ideología. Los bayesianos responden que los datos observados a menudo sufren errores aleatorios y sistemáticos; que los datos subjetivos pueden ser más válidos y más confiables; y que se sabe que los frecuentistas permiten que la ideología dé forma a sus elecciones de conjuntos de datos para analizar y cómo analizarlos.

Dos historias reales que ilustran la guerra civil en Statistics Land:

  1. En una conferencia, un bayesiano da una charla, usando la palabra “creencia” muchas veces. Un miembro de la audiencia (presumiblemente frecuente) levanta la mano: “¡Creencia, mi trasero! ¡Esta es una conferencia científica, no teológica! ¡Deberías dejar que los datos cuenten su propia historia! ”. El orador respondió: “¡Si escuchas datos hablando contigo, necesitas ver a un psiquiatra!”
  2. Cuando redacté mi Ph.D. tesis, tuve que (según las costumbres holandesas) prefacio con algunas declaraciones semi serias. Una de mis declaraciones fue: “En un mundo ideal, todos estaríamos hablando esperanto, bebiendo leche de soja y practicando estadísticas bayesianas”. Mi supervisor escribió en sus comentarios: “En un mundo ideal, todos seríamos racistas racistas, sexistas y homofóbicos”. . ”

Los bayesianos piensan que las probabilidades están en la mente. Son estados de conocimiento o confianza en lugar de hechos objetivos sobre el mundo (estadísticas / frecuencias).

Una forma de ver eso es el siguiente experimento:
Puse algunas bolas negras y rojas en una urna, y le pido que asigne una probabilidad de recoger una bola roja. Su respuesta debe ser del 50% (no hay razón para favorecer el rojo sobre el negro). Esto no tiene nada que ver con las estadísticas, solo con lo que sabes y no sabes.
Luego te digo que hay 10 bolas rojas y 90 bolas negras. Actualizas tu probabilidad al 10%. Sin embargo, nada ha cambiado realmente sobre la urna.
Luego te digo que las 10 bolas rojas están organizadas en la parte superior de la urna. Actualiza su probabilidad al 90% (o algún otro valor alto).

En todos los casos, debe asignar una probabilidad con conocimiento limitado sobre un evento que no se le permite probar (es un evento único en el futuro) y la urna no ha cambiado físicamente mientras tuvimos la discusión.

El término estadística “bayesiana” ha captado tantos significados que debe ser desambiguado antes de responder a esa pregunta.
El término podría usarse siempre que se condicione utilizando el teorema de Bayes. Esto podría deberse a varias motivaciones: (a) Capturar nuestras creencias subjetivas. (b) Capturar un esquema de muestreo jerárquico. Obviamente se pueden combinar, como en “Bayes jerárquicos”.
Cuando el “previo” representa una población (física), se trata de una configuración frecuentista. Por lo tanto, no hay diferencia entre un “bayesiano” y un frecuentista.
La diferencia surge cuando lo anterior (por lo tanto, lo posterior) representa creencias subjetivas. Para distinguir a los dos, se han sugerido muchos nombres como “Bayes puro”, “De-Finetti Bayes”, “Bayes epistémicos”, …

Aquí un intento de desambiguación del término con algunos ejemplos:
https://docs.google.com/a/udobu… .

Algunos comentarios adicionales La estadística bayesiana es muy similar a las técnicas en física teórica y química para modelar variables de “ movimiento lento ” (procesos adiabáticos semiestacionarios o adiabáticos) o más, generalmente variables, usted siente que puede tratar implícitamente en lugar de explícitamente.

Al tratar implícitamente ciertas variables en un problema, está diciendo que tiene la confianza suficiente sobre su comportamiento para poder aproximarse a lo que está sucediendo con conocimiento previo.

Un buen ejemplo de esto es el color de los polienos (tintes y pigmentos). Sabemos por la química que son los electrones de valencia los que impulsan el color, en particular los electrones pi. Por lo tanto, podemos construir un modelo de color (teoría de la estructura electrónica cuántica) para decir que es el movimiento de los electrones pi que interactúa con la luz, y los otros electrones (el núcleo del signo) pueden tratarse como movimiento lento / estacionario variables En realidad, esto puede formalizarse usando algo similar a la estadística bayesiana / aprendizaje automático (una especie de teoría de procesos gaussiana para problemas de valor propio). Sin embargo, la solución no es perfecta, y llevó mucho tiempo descubrir por qué un modelo tan simple funcionó tan bien y los modelos estadísticos simples no funcionaron.

La parte difícil es encontrar el “derecho anterior”

Tenga en cuenta que las estadísticas frecuentistas en realidad se desarrollaron aproximadamente al mismo tiempo (o probablemente después) del desarrollo de la mecánica estadística clásica y cuántica (ala Boltzman, Gibbs, etc.). En estos sistemas tiene 10 ^ 23 partículas, por lo que realmente puede aplicar el Teorema del límite central (aunque hay otros problemas).

A medida que avanzamos hacia sistemas más pequeños en química y física, siempre ha quedado claro que el uso de enfoques estadísticos puros (frecuentas) se rompería.

Como referencia, Jaynes tiene una gran discusión sobre la relación entre la mecánica estadística (cuántica) y la teoría de la información

http://bayes.wustl.edu/etj/artic

Me sorprende ver que nadie explica que la diferencia fundamental entre las concepciones frecuentista y bayesiana de la probabilidad se basa realmente en la mera definición de probabilidad.

Por un lado, al principio, los bayesianos (por ejemplo, Jakob Bernoulli, Leibniz, Laplace, Poincaré …) solían definir la probabilidad como la relación entre el número de resultados favorables y el número de resultados posibles … siempre que dichos resultados sean equiprobables. Este es el conocido principio de razón insuficiente o principio de indiferencia (Keynes) de la teoría de la probabilidad clásica : “la probabilidad es con certeza cuál es la parte del todo ” (Jakob Bernoulli, Ars Conjectandi , 1723). Esta definición fue la gran debilidad de la teoría de probabilidad clásica, ya que solo permite distribuciones de probabilidad discretas y uniformes. Se necesitaron 200 años para generalizar esta definición a distribuciones de probabilidad continuas no uniformes y no discretas: este es el principio de Jaynes de máxima entropía (1957).

Por otro lado, como su nombre lo indica, los frecuentistas definen, más o menos conscientemente, la probabilidad más o menos explícita de la frecuencia relativa. Para este propósito, confían en varios resultados fundamentales, incluida la Ley de los Números grandes y débiles, el teorema de Bernoulli o el Teorema del límite central. Pero, a pesar de muchas posibilidades (frecuencia real, límite, frecuencia contrafáctica …) y a pesar de muchos esfuerzos (por ejemplo, von Mises-Kolmogorov Kollectiv … destruido por Ville) esto es, de hecho, un callejón sin salida. Por ejemplo, confiar en el teorema de Bernoulli para definir la probabilidad no es más que una estafa lógica simplemente porque en el teorema de Bernoulli la probabilidad viene antes que la frecuencia relativa, no al contrario. Esta es la razón por la cual no encontrará una definición clara y clara de probabilidad de frecuencia relativa en la literatura frecuentista. Esta es también la razón por la cual el propio Kolmogorov (el padre de la teoría de la probabilidad moderna, Grundbegriffe , 1933 y uno de los frecuentadores más fuertes de la historia) finalmente se rindió: en términos generales, no hay fundamento para creer que un fenómeno aleatorio debería poseer una probabilidad definida ( Sobre fundamentos lógicos de la teoría de la probabilidad , 1983).

De todos modos, mi punto es que, si desea comprender la diferencia entre las concepciones frecuentista y bayesiana de la probabilidad, no necesita preocuparse por ningún tema filosófico ni considerar ninguna aplicación práctica: solo debe preguntarse cómo es la probabilidad o debe ser definido.

Matemáticamente hablando, los métodos frecuentistas y bayesianos difieren en lo que les importa y en el tipo de errores que están dispuestos a aceptar.

En términos generales, los enfoques frecuentistas postulan que …
Léelo en la web.

Lógicamente, los frecuentistas son un subconjunto de bayesianos. Los bayesianos están totalmente felices de adoptar el modelo frecuentista cuando el problema que se enfrenta permite métodos tales como sondeo, conteo, muestreo, etc., todos los cuales están involucrados en el enfoque frecuentista. Pero hay situaciones en las que el enfoque frecuentista no es aplicable, y sin embargo, los juicios defendibles sobre la probabilidad de algún evento o resultado deben hacerse en presencia de incertidumbre, y luego el teorema de Bayes entra en juego (y salva el día).

Encontré esta tira xkcd que explica sutilmente la diferencia entre los dos enfoques.


Fuente: Frequentistas vs. Bayesianos

Un bayesiano es aquel que, vagamente esperando un caballo y vislumbrando un burro, cree firmemente que ha visto una mula.

Fuente: Bayesian Fun

Gelman tiene un artículo interesante sobre esta diferencia (advertencia justa, está sesgado hacia Bayesian 😉 en http://arxiv.org/pdf/1012.1423v1&nbsp ; Cita de dinero: el “frecuentaismo” alienta absolutamente a las personas a usar estimaciones horribles y ruidosas por miedo de “sesgo”. (Este documento definitivamente molestará a sus conocidos frecuentes).

La diferencia más pragmática que veo personalmente es que, con la inferencia bayesiana, cualquier simulación de política tiene en cuenta explícitamente la distribución de los parámetros reales en torno a las estimaciones (es decir, debe integrarlos fuera del simulador de política final, en lugar de conectar una estimación puntual en la ubicación apropiada en la simulación). Por supuesto, esto hace que la simulación de políticas sea computacionalmente intensiva (lo que lleva a varios métodos numéricos para la integración).

[Ligeramente irónico]

Frecuente: “Lancé este dado dos veces y salió 5 dos veces. Así que concluyo que este dado siempre saldrá 5”.

Bayesiano: “Tiré este dado quinientas veces y salió 5 cada vez. Empecé con un sesgo muy fuerte hacia que el dado fuera justo, sin embargo, mi expectativa es que el dado salga 5 si lo tiro de nuevo es un poco más de 1/6 “.

Los frecuentes se centran en los datos. Bayesiano requiere un previo apropiado. Ninguno de ellos es perfecto. Personalmente, prefiero los métodos bayesianos, pero admitiré fácilmente las limitaciones.

Grandes respuestas han sido dadas. Sin embargo, escribí un poema sobre cada tipo de persona, que podría iluminar o divertir

Oda bayesiana a un bayesiano

Frequentistas Una Oda a un Frequentista