¿Por qué las redes convolucionales profundas llegaron tan tarde?

La principal innovación en el aprendizaje profundo, especialmente en redes convolucionales, no es la teoría / algoritmo en sí, sino los aspectos de ingeniería.

1. En primer lugar, el poder de la computación es fácilmente accesible para todos debido a la computación en la nube.
2. Las canalizaciones de datos se han convertido en mejores API de datos mejoradas y acceso abierto a varias fuentes de datos
3. El software ha mejorado cuando se puede experimentar con CNN con solo unas pocas líneas de código en python

Así que 2000-2010 fue el momento en que se construyó la infraestructura requerida para implementar el aprendizaje profundo. Como resultado, comenzamos a ver resultados en esta década.

La mayoría de las innovaciones en torno a CNN hoy en día se refieren a arquitecturas (por ejemplo, desde AlexNet, VGG a InceptionV3) y detección de objetos en tiempo real con sistemas de propuesta de región inherentes (por ejemplo, RCNN más rápido).

Es un algoritmo computacionalmente costoso debido a la cantidad de multiplicación matricial de características y derivados hacia adelante y hacia atrás.

Por lo tanto, el aumento de la GPU y la computación distribuida junto con el descenso del gradiente estocástico de mini lotes, la normalización de lotes, el uso de la unidad lineal rectificada en lugar de sigmoide (es decir, max (0, x) en lugar de g (z)) realmente ha hecho que la formación de CNN Un más rápido.

Se trata de los usos, así como sabemos que en los últimos años anteriores que la inteligencia artificial está en auge, ahora estamos tratando de usar un método para que pueda obtener más precisión en nuestra predicción, por lo que estamos buscando métodos más precisos y nosotros llegar a más nuevos avances, eso es todo.

La propagación de la espalda es relativamente nueva. Creo que el gran trabajo allí se hizo en 2008. Esto provocó otro resurgimiento en la IA. También el aumento de la GPU cambió todo.