¿Estaría de acuerdo en que el aprendizaje profundo es el único algoritmo que rige sobre todos los demás algoritmos en el aprendizaje automático?

Absolutamente no. Si observa las soluciones ganadoras en las competiciones de Kaggle, encontrará que la técnica más citada es en realidad árboles de decisión impulsados ​​por gradiente (es decir, GBM o XGBoost). Aunque en la práctica se usa típicamente un modelo de conjunto que consta de múltiples algoritmos.

Sin embargo, para las competencias de Kaggle en el dominio de la visión por computadora, los algoritmos de aprendizaje profundo, como las redes neuronales convolucionales, parecen vencer constantemente a otros algoritmos.

Entonces, ¿qué está pasando aquí? Bueno, según el CEO de Kaggle, Anthony Goldbloom, el aprendizaje profundo tiende a funcionar bien en conjuntos de datos no estructurados, preferiblemente grandes. Las imágenes de computadora, el sonido, el texto de forma libre, etc. tienden a caer en la categoría de datos no estructurados. Pero para los conjuntos de datos estructurados, donde las características se pueden etiquetar y enumerar, las técnicas de modelado tradicionales (por ejemplo, árboles de decisión potenciados por gradiente) junto con una buena ingeniería de características tienden a ganar concursos.

Ahora estoy seguro de que hay ciertos conjuntos de datos estructurados donde un algoritmo de aprendizaje profundo podría vencer a todas las demás técnicas. Por supuesto, también hay algunos conjuntos de datos estructurados donde el bosque aleatorio es el mejor modelo, algunos donde la regresión logística es el mejor modelo, algunos donde las máquinas de vectores de soporte es el mejor modelo, etc. Por lo tanto, para los datos estructurados, los métodos de aprendizaje profundo no “gobernarán” sobre “otros algoritmos como lo hace en datos no estructurados”.

No, no lo creo. Para ser claros, Deep Learning no es un algoritmo único sino una familia de algoritmos.

Hay al menos 5 familias diferentes de algoritmos de aprendizaje automático (modelos gráficos probabilísticos basados ​​en la distancia, métodos de kernel, enfoques teóricos de la información, redes neuronales / aprendizaje profundo). Cada uno tiene ventajas y desventajas.

Es por eso que si ingresa a cualquier empresa, encontrará que hay una combinación de algoritmos. Si va a Google, Facebook o Uber, verá que los árboles de decisión se usan mucho, no el aprendizaje profundo. ¿Por qué? Debido a que son mucho más fáciles de trabajar y mucho más “listos para usar” que el aprendizaje profundo, requieren menos datos de capacitación y son algo comprensibles.

Este argumento también muestra una ignorancia de la historia del aprendizaje automático. El aprendizaje automático pasa por modas pasajeras. A principios de los años 90 se trataba de redes neuronales. A finales de los 90 se trataba de métodos de kernel, a principios de la década de 2000 se trataba de modelos gráficos. Asumir que el aprendizaje profundo es el “destino final” del aprendizaje automático es cuestionable por decir lo menos dada la historia.

No estoy de acuerdo debido al “Teorema de no almuerzo gratis”

Sin almuerzo gratis en búsqueda y optimización – Wikipedia

Como cuestión práctica, Deep Learning:

  • requiere muchos datos
  • toma mucho tiempo entrenar y afinar (muchos hiperparámetros)
  • Puede requerir mucho hardware
  • puede llevar mucho tiempo ejecutar

Probablemente estaría de acuerdo en situaciones en las que los datos son masivos y no fácilmente comprensibles para los humanos (una gran cantidad de bits) como la visión o el reconocimiento de voz, DL es difícil de superar.

Sí estoy de acuerdo. Es debido a los resultados que el aprendizaje profundo ha producido en varios dominios como la visión por computadora, el reconocimiento del habla, el procesamiento del lenguaje natural, etc. Además, actualmente en la investigación del aprendizaje automático, el aprendizaje profundo es el área dominante.

Creo que si le preguntaras a N personas “¿qué es el aprendizaje profundo?” Obtendrías N respuestas diferentes.

Mi objeción a su afirmación es que Deep Learning no es exactamente “el único algoritmo” sino que es más una familia.

Me han enseñado que Deep Learning se enfoca en el aprendizaje de representaciones eficientes para lograr diferentes tareas (clasificación, etc.).