La desigualdad de Hoeffding (HI) es un límite de probabilidad de cola general para variables aleatorias limitadas. Los profesionales del aprendizaje automático lo asocian con la teoría del aprendizaje, los matemáticos con concentración de medida, los estadísticos con la ley de los grandes números. Además de la limitación, HI no hace suposiciones sobre las variables aleatorias.
El VC, o la desigualdad de Vapnik-Chervonenkis, es un resultado en la teoría del aprendizaje que nos permite controlar el error de generalización. Es más simple escribir en el caso de la clasificación binaria y usa HI para derivar un límite que es informativo (es decir, no trivial) incluso si el conjunto de hipótesis tiene un número infinito de elementos.
La principal diferencia entre la aplicación ingenua de HI versus el uso de VC es que la ingenua HI puede llevar a limitar una probabilidad por [math] \ infty [/ math]. Esto sucede porque la aplicación ingenua de HI supone que no hay superposiciones entre los eventos. VC aprovecha las superposiciones para proporcionar un límite finito.
- Big data es mucho que aprender. ¿Cómo comienzo de una manera simple?
- ¿Cuál es la diferencia entre ETL y Data Warehouse / Data Warehousing?
- ¿Cómo afectan los big data, el aprendizaje automático y la ciencia de datos al campo de la educación?
- ¿Cuál es, en su opinión, la mejor medida de disimilitud para el análisis de imágenes en otras áreas del análisis de datos topológicos?
- ¿Por qué mi CNN proporciona una buena precisión en los datos de entrenamiento y prueba (división 80-20 del total de datos de entrenamiento) pero falla miserablemente en los datos de validación (no vistos)?
Muchas cosas están ocultas debajo del trapo en esta respuesta. Puedo mejorarlo, pero realmente sugiero ver la siguiente conferencia de un curso de CaltechX: Aprender de los datos.
