La entropía cruzada mide el error de codificar un conjunto de símbolos usando una longitud no óptima.
Digamos que nuestro universo de posibles caracteres es (A, B, C, D) y tenemos un texto: (A, B) la codificación óptima es 1 bit para A y 1 bit para B. Si usamos una codificación ingenua suponiendo que todos los caracteres son igualmente probables que nuestras probabilidades son (1 / 4,1 / 4,1 / 4,1 / 4) y usamos 2 bits por cada carácter. Entonces podemos calcular la entropía cruzada como:
P (A) * largo (A) + P (B) * largo (B) + P (C) * largo (C) + P (D) * largo (D)
- ¿Cómo funciona el aprendizaje profundo en tiempo real?
- Al entrenar y probar conjuntos de datos, ¿es posible probar un conjunto de datos completamente diferente del conjunto de entrenamiento?
- ¿Cuánta experiencia ML necesita uno para las competiciones ML de Kaggle?
- Cómo desarrollar una aplicación que reproduzca música de acuerdo a tu estado de ánimo
- ¿Hay un grupo de investigadores trabajando en la síntesis de texto EEG (conversión de pensamiento a texto)?
1/2 * 2 + 1/2 * 2 + 0 * 2+ 0 * 2 = 2 bits
Podemos comparar esto con la entropía óptima que es
1/2 * 1 + 1/2 * 1 = 1 bit
La entropía cruzada siempre está por encima de la entropía, por lo que puede usarse como una medida de error.
Espero que esto esté claro, si no, aquí hay un segundo intento:
La entropía cruzada es el cálculo de la entropía utilizando las probabilidades de los símbolos de acuerdo con su distribución, pero la longitud óptima de los símbolos en otra distribución.
De ahí la fórmula:
[matemáticas] Hx = – \ sum p_i * log_2 (q_i) [/ matemáticas]
En nuestro caso, p es (1 / 2,1 / 2,0,0) y q es (1 / 4,1 / 4,1 / 4,1 / 4) cuando q = p, entonces tiene la fórmula regular para la entropía y por lo tanto Hx es siempre más alto que H.
Luis
[matemáticas] [/ matemáticas]
