Dados los datos, ¿qué pasos se toman para elegir qué distribución (poisson, normal, gamma, beta, etc.) deben representar los datos?

Es sorprendente que nadie haya citado pruebas de bondad de ajuste. Dos ejemplos de tales pruebas son la prueba de chi-cuadrado y la prueba de Kolmogorov-Smirnov (KS). Usted prueba si se puede suponer que los datos siguen una distribución de probabilidad particular. La hipótesis nula es que los datos son una muestra de la distribución probada, y la hipótesis alternativa es que no se puede suponer que los datos son una muestra de la distribución probada. Las estadísticas de prueba son algunas “medidas de distancia” entre los valores observados y los valores teóricos. Por ejemplo, la estadística de prueba KS es la diferencia máxima entre la distribución acumulativa empírica (es decir, de los datos) y la distribución acumulativa teórica (es decir, del modelo de probabilidad asumido). KS es una prueba muy confiable.

En general, estas pruebas rechazarán la hipótesis nula si tiene muestras pequeñas, incluso si su muestra se origina en la distribución probada. Esto es, tienen una alta tasa de error tipo II en el caso de muestras pequeñas. La razón es que las muestras pequeñas en general no se parecen a su distribución de población. Puede hacer el experimento de simular muestras pequeñas (n <20) a partir de la distribución normal y trazar el histograma, no se verán como una forma de campana. Esto también muestra el riesgo de asumir una distribución particular al observar pequeñas muestras. En otras palabras, estas pruebas son más potentes para muestras grandes (quizás muy grandes, como n> 500). En esta era de “grandes datos”, las muestras grandes no serían un problema en algunos contextos, por lo que es aconsejable utilizar una prueba de bondad de ajuste y puede enriquecer el análisis de datos.

La respuesta simple es hacer histogramas y diagramas de dispersión y observarlos. Utilice las características de los datos (variable discreta? Variable continua? ¿Variable continua no negativa?) Para limitar la elección de las distribuciones. Finalmente, encuentre una distribución que se ajuste mejor a los datos o que maximice la probabilidad de los datos. Tenga cuidado de no sobreajustar los datos, utilice el buen juicio: el objetivo de la distribución es simplificar los datos en su mente. Las medidas como AIC, BIC y DIC tolerarán más parámetros de los que su mente permitiría.

Si desea comprender cómo surgieron las distribuciones, siga leyendo.

La mayoría de las distribuciones surgen cuando corrige restricciones y maximiza la entropía. El desafío de las distribuciones es cómo ser máximamente incierto mientras está restringido, cómo ser reacio al riesgo cuando su utilidad es pérdida de registro.

Por ejemplo:

• La distribución uniforme surge cuando fija el mínimo y el máximo y luego maximiza la entropía.
• distribución normal: media fija y norma L2 (varianza o desviación estándar)
• Distribución de Laplace: media fija y norma L1
• Distribución t o distribución Cauchy: media fija y (1 + log L2) norma – permitiendo la “cola pesada”

La lista continúa, y puedes ver más sobre esto en la página de Taneja http://www.mtm.ufsc.br/~taneja/b … El arte de construir distribuciones parece haberse olvidado, pero la mecánica subyacente es simple, y con computadoras poderosas que ejecutan MCMC ya no tenemos que preocuparnos si es analítico o no.
Entonces, para responder a su pregunta, debe pensar qué restricciones podrían gobernar el fenómeno que está estudiando y cómo expresarlas.