Bueno, la retropropagación, backprop en resumen, es un algoritmo para el cálculo rápido de gradientes de una función de costo wrt a cualquier parámetro de peso en el espacio de parámetros de la red neural. El algoritmo de backprop también se puede usar en otros modelos de gráficos para calcular gradientes rápidamente.
La idea es propagar la señal en una fase de propagación directa y verificar el error entre la salida real y la salida deseada. La medida de cercanía se calcula utilizando una función de costo, por lo tanto, cuando todo está bien, el costo debe ser lo más mínimo posible.
Por cálculo sabemos que la regla de la cadena puede ayudarnos a evaluar las derivadas de funciones complejas al encadenar derivadas más simples. Esta es la misma idea detrás de la propagación hacia atrás, la complejidad de calcular los derivados es más alta en la capa de entrada y más baja en la capa de salida, por lo tanto, tiene sentido comenzar desde la capa de salida y trabajar hacia la capa de entrada, un proceso llamado fase de propagación hacia atrás o propagación hacia atrás.
- ¿Cuál es la capacidad del aprendizaje automático? Quiero decir, ¿cuánto puede 'aprender' una máquina?
- ¿Cuál es el mejor software de reconocimiento facial en el mercado?
- ¿Cómo se usan los árboles BSP (partición de espacio binario) en los algoritmos de aprendizaje automático?
- ¿Cuáles son las probabilidades de ingresar a un programa de posgrado de aprendizaje automático en una escuela superior si mi experiencia en investigación es en bioinformática y algo de experiencia en investigación en PNL?
- ¿Cuáles son algunas buenas charlas sobre fragmentación?
Por lo tanto, primero es la fase de propagación hacia adelante y luego una fase de propagación hacia atrás para calcular las derivadas de los pesos y sesgos, esto es muy eficiente y colectivamente se llama algoritmo de backprop.
La implementación de este enfoque es realmente simple, requiere que represente las redes neuronales como matrices de pesos y sesgos, y esto depende en gran medida de la biblioteca de álgebra lineal con la que esté trabajando.
Espero que esto ayude.
