¿Cuál es la implicación del teorema de aproximación universal sobre la metodología de aprendizaje profundo?

Para agregar una respuesta matemática más fundamental para complementar la muy buena respuesta de Jacob Minz, necesito citar la entrada de Wikipedia en la UAT.

En la teoría matemática de las redes neuronales artificiales, el teorema de aproximación universal establece [1] que una red de alimentación con una sola capa oculta que contiene un número finito de neuronas (es decir, un perceptrón multicapa), puede aproximar funciones continuas en subconjuntos compactos de R n, bajo supuestos leves sobre la función de activación. El teorema establece que las redes neuronales simples pueden representar una amplia variedad de funciones interesantes cuando se les dan parámetros apropiados; sin embargo, no toca la capacidad de aprendizaje algorítmico de esos parámetros.

La frase clave (matemática) en este párrafo es “funciones continuas en subconjuntos compactos de [math] \ mathbb {R} ^ n [/ math]”.

Esa es una clase increíblemente útil de funciones, pero también increíblemente limitada en la práctica. La última oración, que establece la consecuencia de esto en inglés simple, lleva la apuesta al corazón de cualquier método realista de la utilidad de las redes superficiales como aproximadores universales útiles.

La matemática detrás de esta declaración es bastante compleja (bueno, dependiendo de sus antecedentes).