¿Qué es una explicación intuitiva del impulso en el entrenamiento de redes neuronales?

Imagina un cohete en el espacio.
Cada ubicación en el espacio es una posible combinación de valores de peso (si asume un espacio 3D, significa que su red tiene solo 3 pesos).
La ubicación del cohete es la configuración de su red, y cuando procesa sus muestras de entrenamiento, en realidad se pregunta qué tan buena es esta ubicación para adivinar el resultado esperado.

Sin impulso : el cohete está inmóvil y solo puede teletransportarse. Si el gradiente de los pesos es (0; 1; 0) significa que el cohete se teletransportará 1 metro más en la dimensión y . El cohete no tiene inercia.

Con impulso : el cohete se mueve suavemente y no puede teletransportarse. Si el gradiente de los pesos es (0; 1; 0) significa que la velocidad del cohete en la dimensión y aumentará en 1 m / s. El cohete tiene algo de inercia.

Digamos que la ubicación perfecta (es decir, el mínimo global) en el espacio está muy lejos de la ubicación actual del cohete.
Sin impulso, el cohete no puede ir más rápido que 1 teletransportación de corto alcance por paso.
Con el impulso, el cohete no tiene limitación en su velocidad, porque los gradientes se suman sobre los pasos. Sin embargo, tiene una limitación. Si su gradiente es demasiado grande, significa que su cohete será demasiado rápido cuando llegue a la ubicación ideal, y su inercia evitará que se detenga a tiempo.

A principios de los noventa, el impulso en realidad se consideraba no útil, o incluso dañino. Usted puede preguntarse por qué?

Los conjuntos de datos eran bastante pequeños y la mayoría de los enfoques usaban un descenso de gradiente de lote completo. En el descenso de gradiente de lote completo, tiene una estimación exacta de los gradientes para actualizar los pesos.

Ahora, no puede hacer un descenso de gradiente de lote completo en conjuntos de datos modernos. Tardaría demasiado en converger, va a ser muy lento y no es adecuado para una arquitectura profunda. Por lo tanto, debe usar el descenso de gradiente estocástico mini-lote. En lugar de calcular gradientes exactos para las actualizaciones en todo el conjunto de datos, los estima en pocas muestras, por ejemplo , 64, el mini lote. Entonces, tiene gradientes aproximados para su actualización de pesos.
Esto tiene algunas ventajas, en conjuntos de datos redundantes conducirá a una convergencia más rápida.

Sin embargo, a la inversa de lo que mucha gente piensa, en la convergencia del descenso de gradiente estocástico mini-lote de la arquitectura profunda, la fase crítica es la inicial corta, unos pocos cientos de iteraciones, y no la fase de régimen largo que conduce a resultados de mayor precisión, incluso si esta fase domina en términos de tiempo de entrenamiento.

¿Por qué?

Porque en la fase inicial, lejos de la convergencia, la ruidosa estimación de gradientes de algunos mini lotes puede borrar el camino hacia un mínimo local, haciendo difícil la convergencia, si no imposible.

Entonces, ¿por qué necesitarías impulso?
Debido a que su actualización actual no dependerá solo de la estimación de gradiente de su lote actual, sino que dependerá en una pequeña parte de eso y en una mayor parte de las estimaciones que se realizaron en el lote anterior, como en Un sistema autorregresivo.

Por lo tanto, su proceso de convergencia tomará una “velocidad de inercia”, que lo hará resistente al ruido que encontrará en el “lodo” de la fase transitoria inicial.

Esa es también la razón por la cual el impulso debería ser más fuerte en la fase inicial en comparación con cuando el entrenamiento está cerca de la convergencia.

El momento es una propiedad física que permite que un objeto particular con masa continúe en su trayectoria incluso cuando se aplica una fuerza externa opuesta, esto significa un sobreimpulso. Por ejemplo, uno acelera un automóvil y luego, de repente, acciona los frenos, el automóvil se deslizará y se detendrá después de una corta distancia sobrepasando la marca en el suelo.

El mismo concepto se aplica a las redes neuronales, durante el entrenamiento, la dirección de actualización tiende a resistir el cambio cuando se agrega impulso al esquema de actualización. Cuando la red neuronal se acerca a un mínimo local poco profundo, es como aplicar frenos, pero no es suficiente para afectar instantáneamente la dirección y magnitud de la actualización. Por lo tanto, las redes neuronales entrenadas de esta manera superarán los puntos mínimos locales más pequeños y solo se detendrán en un mínimo global más profundo.

Por lo tanto, el impulso en las redes neuronales les ayuda a salir de los puntos mínimos locales para encontrar un mínimo global más importante. Demasiado impulso puede crear problemas, así como los sistemas que no son estables pueden crear oscilaciones que crecen en magnitud, en tales casos uno necesita agregar términos de descomposición, etc. Es solo física aplicada al entrenamiento de redes neuronales u optimizaciones numéricas.

Espero que esto ayude.