¿Cómo se justifica el uso de la desigualdad de Hoeffding para demostrar que el aprendizaje es factible?

* A2A *

1. No. La hipótesis h se corrige antes de generar el conjunto de datos porque está tomando expectativas sobre las [matemáticas] X_i [/ ​​matemáticas] pero no sobre las h. La expectativa se toma con una h fija.
2. En lugar de pensar si la hipótesis se genera antes o después del conjunto de datos, es más simple pensar que las expectativas se están tomando con una hipótesis fija. Si ayuda, puede imaginar que todas las hipótesis [matemáticas] h_i [/ ​​matemáticas] son ​​fijas antes de generar un único conjunto de datos D.
3. Aquí, g no es fijo sino que proviene de algún algoritmo. Sin embargo, siempre es uno de los [math] h_i [/ ​​math]. Entonces, aquí, a diferencia de [math] h_i [/ ​​math] en las ecuaciones anteriores, [math] g [/ math] es una variable aleatoria (con alguna distribución sobre h_i).
4. Si. La distribución de probabilidad es inherente a los datos y no tiene nada que ver con la hipótesis.