¿Qué diferencia al aprendizaje profundo de una red neuronal normal?

Asumo aquí que por redes neuronales normales, te refieres a redes de alimentación directa de vainilla. El aprendizaje profundo es una colección de varias arquitecturas de redes neuronales, donde el profundo generalmente se refiere a múltiples capas ocultas. El aprendizaje profundo también incluye arquitecturas que tienen convolución en lugar de multiplicación matricial (del borrador de aprendizaje profundo de Yoshua Bengio, Aaron Courville e Ian Goodfellow, lectura muy recomendable). A veces tienen bucles de retroalimentación, como en el caso de las redes neuronales recurrentes. Incluso podrían ser redes que tienen un entrenamiento previo en capas y pueden usarse para generar muestras similares a su entrada, como las máquinas de Boltzman y sus diversos y más eficientes miembros de la familia. Aprenden representaciones de los datos como los autoencoders (y otras arquitecturas lo hacen). Pueden ser combinaciones de una o más de las técnicas mencionadas y muchas más además.

El punto más bajo es que el aprendizaje profundo es un campo amplio de modelos de redes neuronales más sofisticados que pueden hacer mucho más.

Los métodos de aprendizaje automático se han basado clásicamente en características seleccionadas o creadas por humanos. Sin embargo, para algunas tareas esto no ha funcionado demasiado bien.

El aprendizaje profundo se trata de hacer que su modelo cree las características que necesita para cumplir con su tarea. En otras palabras, desea que su modelo represente conceptos como una jerarquía: conceptos de nivel inferior como líneas y esquinas construidas en cuadrados y círculos, y aquellos construidos en conceptos aún más abstractos como automóviles y vallas publicitarias.

En la práctica, esto a menudo se implementa utilizando modelos de múltiples capas como redes neuronales profundas. Las capas son simplemente representaciones de conceptos de nivel inferior a superior.

La diferencia entre los modelos clásicos y el aprendizaje profundo es que el aprendizaje profundo se refiere a una forma de construir representaciones jerárquicas de datos, mientras que los modelos clásicos se concentran en una tarea más directa: usar características para clasificar.

La gran cantidad de capas ocultas.
Las implicaciones de esto son repensar los algoritmos para entrenar a la red a aprender representaciones útiles sin sobreajustar.
Otra implicación de la “profundidad” es el aumento de la complejidad de espacio y tiempo en la necesidad de optimización computacional.

Aprendizaje profundo = redes neuronales con muchas capas ocultas.