¿Por qué muchos estudios de investigación afirman que el aprendizaje profundo es una caja negra?

En cierto sentido, son una caja negra. Por ejemplo, aquí está el diagrama esquemático de AlexNet, el modelo ganador en el desafío ImageNet 2012:

Ahora todos los números que ve en el diagrama son hiperparámetros esencialmente ajustables . ¿Cómo encuentra los valores óptimos, o incluso los buenos valores que funcionan bien para una tarea determinada? ¿Qué sucede si elige un determinado conjunto de valores para el hiperparámetro y no ofrecen un buen rendimiento?
En técnicas como SVM, puede analizar los parámetros de su modelo (alfa) para ver si el hiperparámetro de regularización es demasiado alto o demasiado bajo.
Pero con la red anterior, tiene 60 millones de parámetros del modelo. ¿Cómo los analizas?

Entonces, la conclusión es que los no expertos que intentan utilizar el aprendizaje profundo en problemas no convencionales probablemente tendrán dificultades para que funcione mejor que otras técnicas.

En segundo lugar, se sabe que la función objetivo de las redes neuronales no es convexa, y solo puede llegar a un óptimo local utilizando métodos de optimización de tiempo finito. Por lo tanto, sabe que para muchos problemas, termina llegando a un óptimo local. Y no hay resultados sobre cuán bueno o malo es este óptimo local comparado con el óptimo global. La razón principal es que, si bien las funciones de capa individuales son simples como usted señala, componerlas varias veces da lugar a funciones extremadamente complejas que son prácticamente imposibles de investigar matemáticamente. Esta extrema complejidad de las funciones resultantes es lo que hace que el aprendizaje profundo sea tan poderoso empíricamente y, al mismo tiempo, las hace menos susceptibles al análisis teórico.

(Parte del contenido tomado de la respuesta de Prasoon Goyal a ¿Por qué las personas se oponen tanto a las redes neuronales / CNN / técnicas de aprendizaje profundo, y existen alternativas para identificar objetos en imágenes que alcanzan la misma velocidad y precisión?)

No soy un experto como Sean McClure, y veo la pregunta (y la respuesta de Sean) como una cuestión principalmente filosófica. Bajo un punto de vista pragmático orientado a la identificación del modelo (que quizás sea una degradación en la clase de nuestra querida área de aprendizaje profundo (DL) 🙂) hay modelos parametrizados disponibles y modelos no parametrizados (o caja negra – BB).

Los modelos BB surgen cuando se desconoce la “física” del problema o se conoce (más o menos) pero la cantidad de parámetros es enorme.

El aprendizaje profundo, con su herramienta de “red neuronal” (NN), es claramente una técnica basada en BB. El NN “encaja” en muchos tipos de problemas que se le presentan, en diversas áreas. Me parece que elegir el número de capas y, en general, definir la arquitectura de la NN para un problema dado NO se considera como parametrizar el modelo, aunque hay algo de conocimiento (empírico, en su mayoría) que indica que algunos tipos de NN son más eficiente para algunas clases de problemas que otras.

Para finalizar, solo enfatizo que las matemáticas simples (funciones de activación sigmoidea) no están correlacionadas con la naturaleza BB de DL. La naturaleza BB surge del hecho de que el mismo modelo (NN) se utiliza para encontrar “patrones” en los datos, independientemente de dónde provienen los datos y de qué proceso físico, biológico, económico u otro, produjo los datos. En mi humilde opinión, por supuesto …

Porque es en el sentido de que una red de aprendizaje profundo tiene más o menos capas ocultas. Estas capas son como su nombre lo dice oculto. Si funciona, uno no está necesariamente interesado en los procesos de las capas ocultas; están en una “caja” y realizan un procesamiento para finalmente pasar los resultados a una capa de salida.