Esta afirmación (que una mayor probabilidad está asociada con menor información) no es necesariamente cierta (o al menos no precisa).
Es útil pensar en la entropía como la cantidad de incertidumbre en el sistema. En otras palabras, cuántos bits de información necesita comunicar para especificar el estado de su sistema. Si solo tiene 2 estados, no necesita más de 1 bit (estado uno o estado dos).
Considere el caso más simple y famoso: lanzar una moneda con sesgo b (en la gráfica el eje x) donde el sesgo representa la probabilidad de caras. H (X) representa la entropía (o ignorancia / incertidumbre).
- ¿Alguien ha usado ML para hacer un diseño * no trivial * de algoritmos CS de bajo nivel (ver comentarios)?
- ¿Cómo se puede utilizar el aprendizaje automático para construir un sistema de predicción del comportamiento del cliente?
- ¿Cuáles son los poderes de clasificación sobre la agrupación? ¿Por qué elegiría una clasificación?
- ¿Qué es el aprendizaje automático?
- ¿Hay alguna conexión entre el aprendizaje de kernel múltiple (MLK) y el aprendizaje profundo?
Ahora, volviendo a tu pregunta. Como puede ver en el gráfico, la cantidad de información que necesita para eliminar la incertidumbre en el sistema es máxima cuando la moneda es justa. Esto tiene sentido porque ese es el caso en el que es menos capaz de predecir qué estado asume el sistema. A medida que avanza desde un sesgo alto hacia una cola (donde está casi seguro de que siempre obtiene colas), hacia una moneda justa (donde no está seguro de qué lado aparecerá), aumenta su incertidumbre . Desde allí hasta el otro extremo del espectro, aumentar la probabilidad disminuye la información que necesita comunicar (como puede estar sugiriendo). La razón es simple, cuanto más probable (en relación con otros) sea un evento, menos incierto es sobre el estado del sistema. En el caso más extremo, cuando la probabilidad de un estado particular es 1 (y recuerde que la suma de probabilidades no puede ser mayor que 1), entonces no hay incertidumbre en el sistema y no necesita información para comunicar el estado del sistema.
