Entonces, tienes un clasificador binario que denotaré [math] \ mathcal {F} [/ math]. La dimensión VC de [math] \ mathcal {F} [/ math] es el mayor número de puntos distintos, colocados en las posiciones que elija, de modo que cada posible etiquetado de los puntos pueda clasificarse de manera factible con cero errores de entrenamiento.
La dimensión VC es, por lo tanto, un método para describir cuán complejo es un modelo. Un mayor número de puntos distintos crea más combinaciones de etiquetado y, por lo tanto, prueba un mayor número de límites de decisión potenciales. Clasificar correctamente todas las combinaciones de etiquetado (o romper el conjunto de puntos como se conoce formalmente) nos informa que el clasificador es capaz de formar todas estas configuraciones potenciales de límites de decisión.
Esto nos lleva al famoso teorema de VC:
Error de prueba [matemática] \ leq [/ matemática] Error de entrenamiento + [matemática] \ frac {1} {\ sqrt {n}} \ cdot \ sqrt {v \ log (2n / v) + v – \ log (\ delta / 4)} [/ matemáticas]
con probabilidad 1 – [matemática] \ delta [/ matemática], donde v es la complejidad de VC, n el tamaño de la muestra.
- ¿Cuál es la tecnología detrás de la aplicación Summly recién adquirida por Yahoo?
- ¿Cuál es la mejor manera de aprender el aprendizaje automático, en línea o sin conexión?
- Aprendizaje automático: Alex Casalboni: ¿Cuál es la mejor herramienta de ML para desenfocar caras (los tres tipos de visión izquierda, derecha y frontal) y placas en las imágenes?
- ¿Podemos usar un algoritmo no supervisado para realizar análisis de sentimientos?
- ¿Existe una relación entre el aprendizaje automático y los procesos estocásticos?
La interpretación aquí es solo el equilibrio de sesgo-varianza estándar. Si tiene un modelo más complejo, es decir, una mayor complejidad de VC, entonces espera que tenga más variación. El error de prueba es análogo al riesgo del modelo, el error de entrenamiento es análogo al sesgo del modelo y la varianza está relacionada con la dimensión VC.
Para comprender realmente la complejidad de VC necesita hacer algunos ejercicios. En realidad hay mucha sutileza. Recomiendo tratar de:
- Demuestre que si K es el número entero más pequeño de modo que ningún clasificador pueda romper los arreglos de los puntos K, entonces K-1 es la dimensión VC. Esta no es una reformulación trivial de la definición.
- Encuentre y pruebe la dimensión VC de un clasificador lineal en 2 dimensiones.
- Demuestre que el vecino 1 más cercano tiene una dimensión de VC infinita.
También tenga en cuenta que la dimensión VC es solo una forma de caracterizar la complejidad de un modelo y no siempre hace un buen trabajo, por ejemplo 1-NN. Algunos otros métodos:
- Grados de libertad (estadísticas)
- Complejidad de Rademacher
