¿Cuáles son los fundamentos teóricos del aprendizaje profundo?

Considere el trabajo realizado por Hinton alrededor de 2006 en relación con la capacitación previa sin supervisión. Lanzar redes neuronales profundas como pilas de Máquinas de Boltzmann restringidas coloca este estilo de aprendizaje profundo dentro de los reinos de los modelos gráficos bayesianos. Estos tienen una interpretación generativa que se puede utilizar para simular datos del modelo. En este caso, el aprendizaje profundo tiene una noción muy concreta de “proceso de generación de datos” y “modelo”. Puedes jugar con un modelo generativo para dígitos escritos a mano.

Dejando a un lado ese marco, dependería particularmente de la función de costos. Usando el costo de MSE, estaría tomando alguna entrada [matemática] x [/ matemática] y modelando la media de una variable de respuesta, es decir, [matemática] E [[/ matemática] [matemática] Y] = f (x) [/ matemática ] Para la probabilidad de registro estaría modelando [matemática] p (Y) = f (x) [/ matemática]. La medida en que tales soluciones son buenas es una cuestión para la teoría de la optimización.

En cierto sentido, el “proceso de generación de datos” que aborda el aprendizaje profundo es difícil de detectar porque es muy general. Tome el enfoque ligeramente quisquilloso del modelado tradicional de series de tiempo 1D usando ARIMA (p, d, q), etc., donde podría escribir ecuaciones explícitas. Es sorprendente que para las imágenes en 2D haya un enfoque que, entre otras cosas, pueda modelar con éxito el “proceso de generación de datos” que consiste en “cosas de las que las personas toman fotos y se pegan en Internet”. Al menos en el sentido de modelar la distribución de las etiquetas de clase condicionadas a los datos de entrada.

Una prueba fantástica en el aprendizaje automático es el avance de algoritmos computacionales que igualan o superan a las personas en los mandados de derivación perceptiva que están confusos por la variedad de perturbaciones. Por ejemplo, el reconocimiento visual del artículo incluye la posición oscura del ítem, la introducción y la escala en el reconocimiento del artículo, mientras que el reconocimiento del discurso incluye la oscura articulación de voz, tono y velocidad. Últimamente, se ha desarrollado otro tipo de algoritmos de aprendizaje profundo para asignaciones de deducciones de alta molestia que rutinariamente producen sistemas de reconocimiento de diseño con capacidades cercanas o superhumanas. Los instintos proliferan, sin embargo, un sistema de sonido para la comprensión, la ruptura y la combinación de estructuras de aprendizaje profundo se ha mantenido complicado. Respondemos a esta pregunta construyendo otra estructura probabilística para el aprendizaje profundo en vista del Modelo de renderizado profundo: un modelo probabilístico generativo que atrapa inequívocamente una variedad de molestias inactivas. Al desenrollar el modelo generativo a uno discriminatorio, podemos recuperar dos de los actuales sistemas de aprendizaje profundo, redes neuronales convolucionales profundas y bosques de elección irregular, brindando experiencias sobre sus triunfos e insuficiencias, y además un curso de principios para su cambio.

Este es un buen lugar para comenzar:

Motivaciones teóricas para el aprendizaje profundo