¿Cuáles son algunos algoritmos rápidos de descenso de gradiente?

Estos son algunos de los algoritmos que he encontrado:

En un solo sistema:

Descenso de degradado: procese grandes conjuntos de datos y calcule un degradado. Actualice los parámetros en la dirección del gradiente. Haga múltiples pases sobre los datos hasta la convergencia.
Descenso de gradiente estocástico : procese un ejemplo de datos a la vez y calcule un gradiente. Actualizar parámetros Repetir. Memoria eficiente para grandes conjuntos de datos.
Multiproceso: HogWild (NIPS ’11): calcule los gradientes en paralelo y actualice los parámetros sin ningún bloqueo entre los subprocesos: funciona solo para escaso, incluso puede no dar una alta precisión en muchos casos)
Mini- procesamiento por lotes : realice actualizaciones de peso después de procesar pocos (un lote de) ejemplos a la vez en lugar de uno. Necesita una buena función de fusión de todos los gradientes para una buena convergencia.
Descenso de gradiente promedio (ASGD) (Ruppert 1988, Xu 2010): Parámetros promedio de iteraciones de entrenamiento anteriores mientras se entrena simultáneamente sobre nuevos datos. Da convergencia súper lineal con algunos conjuntos de datos.

En un sistema distribuido: ejecute múltiples SGD en paralelo. Combine las actualizaciones del modelo utilizando un servidor de parámetros o un marco de reducción total como MPI. Correr sincrónicamente da buena convergencia pero es lento. La ejecución asíncrona (imprescindible para grandes conjuntos de datos) es rápida pero ofrece poca convergencia. Algunos trucos:

AdaGrad : Cambia adaptativamente los valores de aprendizaje para cada parámetro.
Bounded-Staleness (USENIX ATC’14): ejecute réplicas paralelas de SGD de forma asincrónica. Detén a los precursores si las actualizaciones llegan demasiado lentamente.
Delay-Tolerant (NIPS’14): ejecute réplicas SGD de forma asincrónica. Informe a las réplicas paralelas de SGD si su actualización fue útil. Funciona sorprendentemente bien en la práctica.
Downpour SGD (NIPS’12): ejecute réplicas paralelas de SGD de forma asincrónica entre los trabajadores y mantenga un servidor de parámetros. Divida los modelos haciendo que cada máquina sea responsable solo del x% de los parámetros. Comunicación cero con los trabajadores: todos los trabajadores envían sus actualizaciones al servidor. Funciona bastante mal ya que ningún trabajador tiene o entrena sobre todo el modelo. De uso general como línea de base en trabajos recientes.

El límite limitado distribuido funciona bien para la mayoría de los problemas.