¿Cuáles son los beneficios de usar el Descenso de gradiente de mini lotes?

Beneficios:

1. Alto rendimiento: con mini-lote, uno puede procesar una gran cantidad de ejemplos de entrada por segundo. El estilo de mini lotes de descenso de gradiente es quizás la única forma de usar la gran cantidad de núcleos a la vez en una GPU.
2. (A veces) convergencia más rápida: el alto rendimiento también puede traducirse en una convergencia más rápida dependiendo de la varianza en el conjunto de datos y la tasa de aprendizaje utilizada.
3. Gradiente de alta calidad: el mini lote permite un gradiente de alta calidad y esto será realmente útil, ya que permite utilizar altas tasas de aprendizaje.

Contras:

1. Precisión final baja: muchas veces, el mini lote puede dar como resultado una precisión final baja ya que el ruido en el gradiente es realmente útil hacia el final para extraer ese último 0.5%.

EDITAR: (Un tipo diferente de respuesta)

Puede pensar que el gradiente calculado a partir del SGD de mini lotes es una aproximación del gradiente verdadero. Puede hacer experimentos usted mismo con bastante facilidad, y lo que creo que encontrará es que la dirección del gradiente para SGD de mini lotes con 1024 ejemplos será aproximadamente la misma que para más de un millón de ejemplos.

El SGD de mini lotes se basa en la idea de que puede usar una muestra representativa para aproximarse. Entonces puede ser que si el tamaño de su mini lote es demasiado pequeño, no convergerá. Lo que constituye una “muestra representativa” es quizás una pregunta difícil. Pero sé que para entrenar a AlexNet en estos días, se usa un tamaño de minibatch de 1024. Básicamente, incluso si obtiene el gradiente VERDADERO, la diferencia no es muy grande.

Quizás podría ser útil hacer lotes completos cuando la pérdida de validación deja de disminuir para obtener el último entrenamiento realizado con mayor precisión. Pero creo que la disminución de la tasa de aprendizaje funcionará igual de bien aquí. Quizás mejor.

EDITAR: se ha señalado que puede acumular los gradientes con la adición a medida que avanza por los ejemplos sin actualizar los pesos, aumentando efectivamente el tamaño del lote al tamaño que desee. Así que fui incorrecto al afirmar que es una necesidad. No estaba pensando lo suficiente.

Esto fue lo que dije originalmente:

================================================== =====

Mini-batch SGD es la única forma de adaptar un modelo a la memoria. Cuando su conjunto de datos tiene varios cientos de gigabytes en el disco, en forma comprimida, simplemente no puede guardarlos todos en la memoria a la vez. No es tanto una cuestión de “ventajas y desventajas”, es una cuestión de necesidad en la mayoría de las tareas (sería prohibitivo escribir constantemente en el disco). Cuando crea un modelo CNN y ya tiene el hardware, no tiene ninguna decisión de qué tan grande es su mini lote. Simplemente elija el mini lote más grande que se ajuste a la memoria.

================================================== =====