¿Qué parte de la investigación de aprendizaje profundo es empírica versus teórica?

Deep Learning es una ciencia empírica. Incluso el trabajo teórico que se ha realizado para caracterizar el aprendizaje profundo se realiza (1) en arquitecturas de red homogéneas muy simplificadas y (2) se realiza mediante simulación en una computadora. Las matemáticas simplemente no están disponibles para manejar sistemas complejos como este. Los físicos han estado estudiando sistemas complejos durante mucho tiempo y, en el mejor de los casos, podemos caracterizar sistemas simplificados. La mayoría de los sistemas son intratables matemáticamente después de una dimensión mayor que 2. La ecuación de Navier-Stokes tridimensional es intratable matemáticamente. Hay muchos sistemas como este a medida que avanzamos en la dimensión de que el comportamiento colectivo se vuelve intratable. Las herramientas más sofisticadas para analizar sistemas colectivos complejos están en el dominio de la mecánica estadística. Desafortunadamente, se sabe que las herramientas en este campo tienen limitaciones en contextos de no equilibrio y desorden.

En el mejor de los casos, podemos encontrar algunas soluciones aproximadas para algunos sistemas simples y hacer muchas maniobras manuales para que el mismo tipo de características también esté presente en sistemas más complejos. Las matemáticas tienen sus límites en el análisis de dominios físicos. Cualquiera que haya hecho Física conoce ese tipo de saludo manual que realizamos para modificar la información de nuestros modelos simplificados. Esta limitación se amplifica aún más cuando hablamos de procesos evolutivos o procesos de aprendizaje aún más complejos.

Parece haber algunas razones teóricas profundas por las cuales funciona el Aprendizaje Profundo que está conectado con algunas ideas muy sutiles y poderosas en Física Teórica

¿Por qué funciona el aprendizaje profundo?

Por qué Deep Learning Works II: el Grupo de Renormalización