Para aquellos que han usado redes neuronales u otro aprendizaje automático, ¿cuánto tiempo de procesamiento les ha llevado entrenarlos y qué tan grande fue el conjunto de datos?

Lo importante a tener en cuenta con las redes neuronales es que todos los algoritmos de entrenamiento son lineales en la cantidad de puntos de datos, por lo que el algoritmo específico que use puede afectar en gran medida el factor constante. La más popular, la retropropagación, implica calcular la salida de la red y luego propagar esos resultados a través de cada capa mediante una multiplicación de matriz y (generalmente) una no linealidad.

Dada la opción de usar una red neuronal, el principal cuello de botella en el rendimiento radica en la elección del idioma; Python Runtime va a estar muy por detrás de una implementación de C ++. Mi enfoque favorito es escribir el algoritmo en python con Theano [1], luego ejecutar la versión compilada por GPU para asegurarme de que obtengo los resultados que esperaba rápidamente. Cuando funciona, paso algún tiempo para escribirlo en un idioma más rápido y usarlo en la producción.

En el lado algorítmico, querrá probar otros algoritmos de entrenamiento como r-prop que aumentan la velocidad en otro factor constante [2].

[1] http://deeplearning.net/software …
[2] http://en.wikipedia.org/wiki/Rprop

Este documento, http://yann.lecun.com/exdb/publi …, proporciona muchos de los trucos conocidos para aumentar la velocidad de convergencia del entrenamiento de propagación hacia atrás de las redes neuronales. Esto incluye métodos bien conocidos de segundo orden como gradiente conjugado y levenberg-marquardt.

También proporciona detalles sobre la elección de la función de activación y la inicialización del peso en función de las conexiones de la red ‘fan-in’.

Además, este es un gran artículo, http://jmlr.csail.mit.edu/procee … de Glorot y Bengio que analiza el efecto del tiempo de convergencia / rendimiento para varias opciones de funciones de activación. En particular, muestran lo que sucede con los gradientes de peso cuando el entrenamiento de retropropagación llega a la entrada de la red.

Gran parte del entrenamiento de la red neuronal se ha movido hacia el enfoque del pre-entrenamiento y luego el ajuste fino. El entrenamiento previo es el entrenamiento sin supervisión de cada capa de una red neuronal. El ajuste fino suele ser una retropropagación estándar que se realiza para “ajustar” la red después del entrenamiento previo. Este enfoque está siendo adoptado por muchos investigadores, incluidos Hinton, Bengio y LeCun.

Si desea acercarse a los desarrollos más recientes de la capacitación en redes neuronales, le sugiero que consulte este documento de ICML 2010, http://www.icml2010.org/papers/4… . Este método podría considerarse un gran avance para el entrenamiento de redes neuronales profundas (muchas capas), incluidas las redes recurrentes. Sus resultados mostraron que las redes profundas se pueden entrenar sin la necesidad de entrenamiento previo y ajuste fino. Los resultados presentados en ICML 2011 han sido muy impresionantes. Aunque tengo que admitirlo, la teoría de optimización detrás de esto no es fácil de entender.