Así que creo que estás buscando calibración e información. Tomé un curso interesante sobre este tema exacto para mi licenciatura en Ingeniería de Sistemas.
Aquí hay dos documentos útiles sobre el tema:
1. Calibración y combinación de pronósticos: un enfoque bayesiano simple: http://bit.ly/cdEAlK
- ¿Qué métricas deberían usarse para crear una puntuación de confiabilidad automática para los artículos de Wikipedia?
- ¿Cuál es el tipo de algoritmo utilizado para resolver el problema de 8 reinas?
- ¿Cuál es el valor de la suma k ^ 2 * C (n, k) 0 a n?
- ¿Cuáles son las características de un algoritmo codicioso?
- Cómo resolver un problema después de unos días si no pude encontrar la más mínima idea de cómo resolver ese problema
2. Calibración de pronósticos probabilísticos de precipitación cuantitativa: http://bit.ly/czWeEL
Primero, las definiciones.
W: la variante que desea predecir. w = 0 significa que el evento no sucedió. w = 1 significa que el evento sucedió.
Y: las probabilidades que predice su sistema. Esto está en el espacio biomédico, por lo que voy a suponer que su sistema puede hacer una predicción de valor flotante y decir que P (W = 1) está en algún lugar entre 0 y 1. Para casos básicos, puede forzar su sistema utilizar probabilidades {.01, .1, .3, .6. .9, .99}. Esto significa que su sistema dirá que la probabilidad de que ocurra cierto evento es una de esas probabilidades.
A continuación, dos funciones.
k (y) = P (Y = y). Esencialmente, esta es la probabilidad de que su sistema adivine una probabilidad y. k (.1) es la frecuencia relativa de veces que su sistema usa la probabilidad y = .1. (con qué frecuencia su sistema dice que la probabilidad de que ocurra un evento es .1).
n (y) = P (W = 1 | Y = y). Esta es la probabilidad de que ocurra el evento (ya que w = 1), dado que su sistema predijo con probabilidad y, que es un miembro de nuestras probabilidades de pronóstico (.01, .1, .3, .6, .9, .99 )
n (y) es un poco difícil de entender. “Cuando el pronosticador emite probabilidad Y = y, ¿cuál es la probabilidad real del evento W = 1?” (p 10)
Entonces ahora podemos pasar a las funciones de calibración. Desea comparar qué tan cerca está n (y) de y. El algoritmo de pronóstico perfecto dirá tener n (y) = y para todo y. Al graficar estas dos líneas juntas, puede ver visualmente qué tan calibrado está su sistema. Para convertirlo en un número, puede sumar | n (y) – y | sobre sus probabilidades de pronóstico {.01, .1. .}.
Espero que esto ayude.
