Intuitivamente, ¿cómo afecta el tamaño del mini lote al rendimiento del descenso de gradiente (estocástico)?

Facebook acaba de lanzar un artículo que aboga por tamaños de mini lotes más grandes. Es una lectura obligada: Precisión, gran minibatch SGD: capacitación de ImageNet en 1 hora

“En este documento, mostramos empíricamente que en el conjunto de datos de ImageNet, los minibatches grandes causan dificultades de optimización, pero cuando se abordan, las redes capacitadas muestran una buena generalización. Específicamente, no mostramos pérdida de precisión al entrenar con minibatch de gran tamaño de hasta 8192 imágenes. Para lograr este resultado, adoptamos una regla de escala lineal para ajustar las tasas de aprendizaje en función del tamaño del minibatch y desarrollamos un nuevo esquema de calentamiento que supera los desafíos de optimización al inicio de la capacitación. Con estas técnicas simples, nuestro sistema basado en Caffe2 entrena a ResNet-50 con un tamaño de minibatch de 8192 en 256 GPU en una hora, al tiempo que combina la precisión del minibatch pequeño ”.

Como Alberto señala, un mini lote más grande requiere una tasa de aprendizaje más pequeña.

Para ver por qué, considere la siguiente figura (del artículo de mi revista en Neural Networks ). La figura a continuación muestra gradientes curvos en un espacio de peso en 2-D. Suponiendo un pequeño conjunto de entrenamiento de tamaño 15, podríamos evaluar las 15 instancias en el punto inicial en el espacio de peso, sumarlas, y esto apuntaría en la dirección del gradiente verdadero para el conjunto de entrenamiento (que se muestra a través de la línea discontinua) . Pero si te das cuenta, el verdadero gradiente es una línea tangente . No sigue el gradiente subyacente. Si el gradiente se curva demasiado para la tasa de aprendizaje dada, el entrenamiento “desaprende” las cosas y salta las curvas pasadas como se muestra en (b).

Con la capacitación en línea, por otro lado, los pesos se actualizan después de cada instancia. Sí, esto significa que algunos pasos están en una dirección “incorrecta”. Pero incluso cuando lo están, la próxima instancia puede dar un paso desde ese nuevo lugar, en lugar de tener que dar un paso a ciegas desde el lugar de inicio. En (b), con el entrenamiento por lotes, los pasos se realizan en una dirección “errónea”, pero con la desventaja adicional de que cada gradiente local se calcula en función de los pesos antiguos y desactualizados.

El entrenamiento en línea permite que cada instancia se evalúe en función de la nueva ubicación en el espacio de peso, por lo tanto, siga ruidosamente a lo largo de la curva de gradiente subyacente real en lugar de seguir ruidosamente a lo largo de la línea tangente que era solo la dirección correcta al principio.

Mini-lote tiene los mismos problemas, pero está entre estos dos extremos. Se puede esperar, por lo tanto, que cuanto más grande sea el mini lote, menor será la tasa de aprendizaje necesaria para entrenar con la misma precisión (como se demuestra en el documento mencionado anteriormente).

¿Qué significa esto para la paralelización? Significa que no aprenderá N veces más rápido con N máquinas si usa un mini lote de tamaño B, en comparación con una máquina que actualiza los pesos después de cada ejemplo de entrenamiento. Sin embargo, si puede pagar las máquinas adicionales, entonces podría aprender entre 1 y N veces más rápido con N máquinas (por ejemplo, sqrt (N) o algo así). Esto no quiere decir que las GPU no puedan acelerar un poco las cosas localmente. Pero sí significa que cuanto más espere para actualizar sus pesos, más probabilidades tendrá de seguir una tangente en lugar del verdadero gradiente curvo.

Basado en mi propia experiencia práctica, dos cosas:

1. Utilizo lotes pequeños (16 – 64 muestras, generalmente 32 es el mejor) para comer rápidamente la mayor parte de la pérdida. Eso es generalmente alrededor del 95% – 99% de la disminución de la pérdida total posible. Entreno mi red hasta que la pérdida de validación claramente no muestre más mejoras en el conjunto de datos de validación. Elimine todo el progreso del entrenamiento que se realizó después de que se encontró la mejor precisión de validación, ya que es un ajuste excesivo. Tome este mejor modelo y vaya al paso 2.
2. Una vez que la pérdida de validación deja de disminuir con un tamaño de lote pequeño, aumento el tamaño del lote al valor máximo posible que se puede ajustar a la memoria de la GPU. El entrenamiento de esta manera es mucho más lento, pero me da una ganancia adicional en los datos de validación.

Usualmente uso el optimizador Adam con una tasa de aprendizaje predeterminada de 0.001, una vez que la pérdida deja de disminuir, disminuyo la tasa de aprendizaje en un factor de 0.1. Solo avance al paso 2 una vez que la disminución de la tasa de aprendizaje no brinde más mejoras y continúo entrenando con esa tasa de aprendizaje más baja que estaba dando mejoras en los tamaños de lotes pequeños.

Las dos cosas principales a tener en cuenta al optimizar el tamaño del mini lote son la eficiencia en el tiempo del entrenamiento y el ruido de la estimación del gradiente.

Digamos que tenemos un conjunto de datos con 100,000 ejemplos de capacitación, y estamos considerando un tamaño de mini lote de 100 y 10,000. Calcular el gradiente de un lote generalmente implica calcular alguna función sobre cada ejemplo de entrenamiento en el lote y sumar las funciones. En particular, el cálculo de gradiente es aproximadamente lineal en el tamaño del lote. Por lo tanto, tomará aproximadamente 100 veces más para calcular el gradiente de un lote de 10,000 que de un lote de 100.

Esto significa que la versión de 100 lotes de nuestro modelo realizará 100 actualizaciones de parámetros en el tiempo que le toma al modelo de 10,000 lotes realizar 1 actualización. El gradiente de los 100 lotes no será tan preciso como el gradiente de un lote de 10,000, por lo que las 100 actualizaciones probablemente no serán 100 veces más productivas que la actualización individual del lote de 10,000 más grande. Pero podrían ser 10 veces más productivos, lo que reduce drásticamente el tiempo total de entrenamiento.

A la parte ruidosa de la ecuación. Cuando calculamos el gradiente de un mini lote, lo que realmente estamos haciendo es aproximar el gradiente de todo el conjunto de entrenamiento. Obviamente, el gradiente de un único punto de datos será mucho más ruidoso que el gradiente de un lote de 100 lotes. Esto significa que no necesariamente estaremos bajando la función de error en la dirección del descenso más pronunciado.

Pero el ruido no es del todo malo. En particular, suponga que nuestra función de error es particularmente perniciosa y tiene un montón de pequeños valles. Si utilizamos todo el conjunto de entrenamiento para calcular cada gradiente, nuestro modelo se quedaría atascado en el primer valle en el que cayó (ya que registraría un gradiente de 0 en este punto). Si usamos mini lotes pequeños, por otro lado, obtendremos más ruido en nuestra estimación del gradiente. Este ruido podría ser suficiente para sacarnos de algunos de los valles poco profundos en la función de error.

Por lo tanto, hay una importante compensación a tener en cuenta entre poder saltar de mínimos poco profundos y asegurarse de que eventualmente converja en un mínimo en lugar de rebotar.

En la práctica, generalmente se usan mini lotes de pequeños a moderados (10-500), combinados con una tasa de aprendizaje en descomposición, lo que garantiza la convergencia a largo plazo al tiempo que mantiene el poder de saltar de los mínimos superficiales que se encuentran al principio.

Además de las muy buenas respuestas, que son correctas, pero se centran principalmente en la eficiencia computacional, quiero agregar otra perspectiva a esta pregunta:

Imagine que usa el conjunto de datos completo para el que desea entrenar como tamaño de lote. Entonces opera en la verdadera superficie de error del problema. En este caso, se moverá desde un punto de partida específico de manera bastante determinista en un mínimo local.

¡Esto en realidad no es lo que queremos! Por lo tanto, agregamos alguna variación estadística mediante el uso de mini lotes mezclados. Con esto podemos saltar de los mínimos locales tempranos de la verdadera superficie de error, ya que solo operamos en una aproximación local (el lote) de la misma.

Con esta intuición, tiene sentido utilizar al principio un tamaño de lote bastante pequeño para evitar todos los mínimos locales cercanos. Una vez que el aprendizaje progresó y está cerca de un buen mínimo, ¡ aumenta el tamaño del lote para converger!

Esta intuición obtiene algo de respaldo de un artículo reciente de Smith et al. de Google Brain.
[1711.00489] No disminuya la tasa de aprendizaje, aumente el tamaño del lote

Hicimos un estudio muy detallado de la formación de redes convolucionales con grandes lotes. Usando la Escala de Frecuencia Adaptativa por Capa (LARS), capacitamos exitosamente a Alexnet y Resnet-50 con el lote 32K. Más detalles en el documento: [1708.03888] Capacitación en grandes lotes de redes convolucionales