Sin ser demasiado técnico, en resumen:
La ganancia de información puede entenderse como una disminución en la “incertidumbre” del resultado.
En el aprendizaje automático, especialmente cuando se usan árboles de decisión a medida que avanzamos en cada paso para resolver un problema o predecir el resultado, el nivel de incertidumbre disminuye a medida que el algoritmo se vuelve más preciso en el nivel de cada hoja progresiva. Esto puede tratarse como el conocimiento adquirido por el algoritmo para resolver un problema de clasificación particular.
- ¿Pueden las redes neuronales convolucionales entrenarse para jugar al ajedrez realmente bien?
- ¿Qué tipo de trabajo, como ingeniero de software, me apoyaría más para convertirme en Ingeniero / Investigador de Aprendizaje Automático más adelante en mi carrera?
- ¿Cómo se ve afectada la propagación hacia atrás en NN recurrentes?
- ¿Cuándo debo usar inferencia variacional versus maximización de expectativas para ajustar un modelo de mezcla gaussiana?
- Cómo probar y depurar código, código de optimización numérica y / o modelos de aprendizaje automático
Un ejemplo de libro de texto de ganancia de información predice el género de un bebé nonato.
- En el primer paso, cuando la madre queda embarazada, el género del feto puede ser masculino o femenino y la incertidumbre es alta o, en el mejor de los casos, tiene un 50% de certeza o incertidumbre sobre la predicción.
- Sin embargo, en el momento de la primera prueba de ultrasonido en el primer trimestre, la certeza de la predicción mejora, digamos que llega al 75%. La caída de la incertidumbre es la pérdida de entropía y esa también es su Ganancia de Información o Conocimiento , porque la pérdida de entropía ha resultado en una ganancia igual de certeza.
- Ahora, después de la ecografía en el tercer trimestre del embarazo, no hay incertidumbre y la predicción puede estar cerca del 100% de certeza.
Para calcular matemáticamente, consideremos un ejemplo de un árbol de decisión para predecir si habrá un juego de golf hoy o no.
El resultado aquí depende del pronóstico o pronóstico del tiempo.
Entonces, la ganancia aquí al predecir PlayGolf en presencia de Outlook será la diferencia entre
“Entropía cuando se trata de predecir PlayGolf solo”
y
“Entropía al intentar predecir PlayGolf con conocimiento de Outlook” para el día.
Desde aquí puede profundizar en el algoritmo y las matemáticas sobre ganancia y entropía.
Espero que lo anterior haya ayudado.
¡Aclamaciones!
