El momento es una variación del descenso de gradiente estocástico utilizado para una convergencia más rápida de la función de pérdida.
Si su función objetivo parece un barranco largo hacia el mínimo óptimo con paredes empinadas a ambos lados, su actualización de los pesos será muy lenta. El descenso de gradiente estocástico simple se moverá oscilando muy lentamente a ambos lados de las paredes cada vez que actualice los pesos como se muestra a continuación.
- Cómo realizar análisis de opinión sobre noticias del mercado de valores
- ¿Qué tan difícil es entrenar idiomas indios con CMUSphinx?
- Cómo optimizar una red neuronal convolucional para hacer una clasificación de imágenes
- ¿Cuáles son las principales debilidades de la estadística de brecha para evaluar el número de clústeres presentes en un conjunto de datos?
- ¿Las imágenes captcha perderían su importancia si las técnicas de procesamiento de imágenes pudieran reconocer a los personajes automáticamente?
Sin embargo, si agrega una fracción de la actualización anterior a la actualización actual, la convergencia es más rápida. Debe tener cuidado para asegurarse de que disminuye la tasa de aprendizaje con un término de alto impulso.
El movimiento en la superficie de error ahora se verá de la siguiente manera.
Si usa mucho impulso y una gran tasa de aprendizaje, entonces, como puede imaginar, pasará el óptimo con grandes pasos.
