¿Cuál es la dimensión VC de una red neuronal?

  • Una dimensión VC en una red neuronal es una medida de la capacidad de la red neuronal.
  • Una capacidad es la cardinalidad (número de elementos en un conjunto) del conjunto de elementos más grande que puede romperse .
  • La ruptura se refiere al proceso de disección de dos clases de elementos de tal manera que la red neuronal siempre clasifique las etiquetas y los elementos con precisión. Eso significa que todos los datos con las mismas características o características similares estarían en sus respectivas clases o grupos.
  • Por ejemplo, suponga que está realizando una clasificación en 3 puntos de datos.
    • Deje que dos de ellos sean positivos y otro negativo. Hay 2 ^ 3 = 8 formas posibles de separarlos con precisión utilizando una línea de regresión. Los dos puntos de datos positivos se encuentran en un lado de la línea y los negativos en el otro lado, lo que significa que los 3 puntos pueden romperse . Entonces la dimensión VC de la red neuronal sería 3.

    • Pero para un conjunto con 4 puntos de datos, la ruptura no es posible de acuerdo con el Teorema de Radon, ya que no hay forma de clasificar con éxito dos puntos de datos que pertenecen a una clase y los otros dos que pertenecen a otra completamente. Por lo tanto, la dimensión VC de una sola unidad oculta es inferior a 4.

Un conjunto de 4 puntos de datos no se puede dispersar

En la teoría de Vapnik-Chervonenkis, la dimensión VC (para la dimensión Vapnik-Chervonenkis ) es una medida de la capacidad (complejidad, poder expresivo, riqueza o flexibilidad) de un espacio de funciones que se puede aprender mediante un algoritmo de clasificación estadística. Se define como la cardinalidad del mayor conjunto de puntos que el algoritmo puede destruir. Originalmente fue definido por Vladimir Vapnik y Alexey Chervonenkis.

Formalmente, la capacidad de un modelo de clasificación está relacionada con lo complicado que puede ser. Por ejemplo, considere el umbral de un polinomio de alto grado: si el polinomio evalúa por encima de cero, ese punto se clasifica como positivo, de lo contrario, como negativo. Un polinomio de alto grado puede ser ondulado, por lo que puede adaptarse bien a un conjunto de puntos de entrenamiento. Pero uno puede esperar que el clasificador cometa errores en otros puntos, porque es demasiado ondulante. Tal polinomio tiene una alta capacidad. Una alternativa mucho más simple es poner en umbral una función lineal. Es posible que esta función no se ajuste bien al conjunto de entrenamiento porque tiene una capacidad baja. Esta noción de capacidad se hace rigurosa a continuación.

fuente: Wikipidia.

Para más información lea este documento:

https://pdfs.semanticscholar.org

De http://www.mit.edu/~esontag/FTP_ …:

Teorema 5. La clase de funciones calculadas por redes neuronales multicapa con activaciones binarias y lineales y pesos ρ tiene la dimensión VC O (ρ ^ 2).

Para una red neuronal ordinaria, la dimensión VC es aproximadamente igual al número de pesos.

Editar: ¿o es así? Ver comentarios

Depende de la arquitectura de la red, por lo que no hay una respuesta única.

EDITAR: Aclaración sobre el tema planteado en los comentarios:
Me refiero a la arquitectura de la unidad (funciones de activación para todas las capas).
Página en fertigungstechnik.tugraz.at

More Interesting

¿Qué puedo hacer para oponerme al desarrollo de la inteligencia artificial y la pérdida de empleos humanos que la acompañarán?

Tecnología: ¿Por qué la gente teme a un escenario de Skynet?

¿Deep Learning conducirá a un avance en la aplicación ML fuera del reconocimiento de voz y la visión por computadora?

¿Qué campo será bueno para elegir, inteligencia artificial, análisis de big data o piratería?

¿Cuánto le costó a Google construir un prototipo completamente funcional del automóvil autónomo?

¿Cuál es el mejor chatbot basado en preguntas frecuentes?

¿Cómo funciona la teoría de la información integrada y cuáles son las matemáticas detrás de ella?

¿Cuáles son los buenos tutoriales sobre cómo hacer chatbots con machine learning?

¿Cuál es el estado del arte del sistema de recomendación para 2016?

¿Cuáles son algunos ejemplos de juegos de computadora que usan aprendizaje automático? ¿Los juegos como FIFA 2013 de EA Sports aprenden de un usuario? ¿La computadora cambia sus tácticas de acuerdo con el estilo de juego del oponente? Si no, ¿es esto posible de implementar?

¿La Inteligencia Artificial hará que el mundo sea más igualitario o más desigual?

¿Cuáles serán los recursos por los que competirá la verdadera inteligencia artificial?

¿Las personas eventualmente evolucionarán en robots mediante la carga de conciencia digitalizada?

¿Cuáles son las expectativas equivocadas comunes sobre los chatbots?

¿Cuál es la relación entre inferencia y transmisión de mensajes en el contexto del aprendizaje automático?