¿Cuál es una explicación intuitiva de las expectativas de la correlación Radamacher?

Considere la clasificación binaria.

[math] H [/ math] es un conjunto de límites de decisión para hacer una clasificación binaria. Consideremos dos conjuntos [math] H_1 [/ math] y [math] H_2 [/ math]. [math] H_1 [/ math] es un conjunto con funciones simples, digamos todas las funciones lineales. [math] H_2 [/ math] es un conjunto con funciones complejas, digamos el conjunto de todas las funciones polinómicas. Es decir, dado un conjunto de puntos etiquetados [matemática] +1 [/ matemática] o [matemática] -1 [/ matemática], con [matemática] H_1 [/ matemática], desea encontrar una línea que separe mejor el [ matemáticas] +1 [/ matemáticas] puntos de [matemáticas] -1 [/ matemáticas] puntos. Con [math] H_2 [/ math], puede usar polinomios arbitrarios para separar los puntos.

Ahora, se le da un conjunto de datos [matemática] x_1, \ ldots, x_ {m} [/ matemática].

Usted asigna una etiqueta aleatoria [matemática] \ sigma_ {i} [/ matemática] a cada punto [matemática] x_ {i} [/ matemática], y luego para cada [matemática] H [/ matemática], encuentre la mejor función en [[math] max_ {h} [/ math]] tal que [math] h (x_ {i}) [/ math] y [math] \ sigma_ {i} [/ math] son ​​ambos [math] + 1 [/ math] o ambos [math] -1 [/ math] [para el producto máximo [math] \ sigma_ {i} h (x_ {i}) [/ math]].

Repite este proceso para muchas asignaciones diferentes de las etiquetas y toma un promedio [[math] E _ {\ sigma} [/ math]]. Eso le da una medida de cuán complejo es el conjunto de funciones [matemáticas] H [/ matemáticas]. En nuestro ejemplo, dado que [math] H_1 [/ math] solo tiene funciones simples, no funcionará bien en la mayoría de las tareas. Sin embargo, [math] H_2 [/ math] podrá hacerlo mucho mejor.

Entonces, [matemáticas] H_2 [/ matemáticas] es un conjunto de hipótesis más complejo. Esto significa que puede ajustarse mejor al patrón en los datos, pero también es más vulnerable al sobreajuste.