Hay tres razones generales por las que el aprendizaje profundo (una técnica de red neuronal) realmente despegó en la última década.
- Mayor potencia informática, incluido el uso de la GPU
- Big Data
- Ajustes relativamente pequeños a los algoritmos de aprendizaje.
Uno de los ajustes que hizo una gran diferencia fue el uso de la unidad lineal rectificada. Ayudó a lidiar con un problema llamado el problema del gradiente de fuga, que debilitó el rendimiento en las redes neuronales. Pero hay muchos pequeños ajustes como este que han mejorado colectivamente el rendimiento de las técnicas que se desarrollaron en gran medida en la década de 1980.
_____
- Cómo elegir el número de árboles en el aprendizaje automático
- ¿Por qué el error cuadrático medio es equivalente a minimizar la entropía cruzada entre la distribución empírica y un modelo gaussiano?
- Con referencia a AdaBoost, ¿qué se entiende exactamente por 'ponderado' cuando se dice que entrena a un clasificador débil dada una distribución ponderada?
- ¿Cuál es un buen algoritmo para la extracción de características y la detección de texto escrito a mano?
- ¿Cuáles son los posibles remedios si está atascado en la comprensión de la parte técnica de un trabajo de investigación de STEM?
Dejando de lado la historia : la IA y el aprendizaje profundo ahora se consideran parte del mismo campo, pero inicialmente se los consideraba competidores intelectuales. Los investigadores de IA pensaron que podían imitar la inteligencia con solo pensar detenidamente en los problemas que los cerebros resuelven, sin tener que examinar los desordenados detalles biológicos. Tuvieron un éxito razonable, al menos inicialmente. Las redes neuronales, por el contrario, estaban (libremente) inspiradas por la biología real. Las redes neuronales comenzaron a mostrar mucha promesa en la década de 1960. Pero en ese momento, los investigadores de IA eran dominantes en lugares como el MIT y tenían la ventaja en términos de financiación y prestigio. En 1969, un destacado investigador de IA, Marvin Minsky, escribió un famoso libro criticando las primeras redes neuronales. Este libro, Perceptrons , podría retrasar el campo de las redes neuronales al menos una década. En la década de 1980 hubo un resurgimiento de las redes neuronales, bajo el paraguas del conexionismo. Esto coincidió con una disminución en la productividad de los enfoques de IA ‘clásicos’. En la década de 1990, las cosas estaban relativamente tranquilas en ambos campos, pero las ideas teóricas se fueron construyendo gradualmente. Ahora en la década de 2000 estamos presenciando un renacimiento de los métodos de redes neuronales, como el aprendizaje profundo.
