¿Qué tan importante es entender el cerebro para el aprendizaje profundo y viceversa?

Dos profesores destacados han respondido esta pregunta muy bien a un alto nivel, permítanme agregar otro ejemplo concreto para mostrar la importancia.

Como respondió el profesor Domingos, y como sabemos, las redes neuronales convolucionales están inspiradas en la corteza visual humana al principio, pero el éxito que obtuvo CNN hoy es probablemente un éxito de investigación de aprendizaje automático y no tiene nada que ver con la corteza visual.

Sin embargo, ligeramente diferente de la opinión del profesor Domingos, el hecho de que las investigaciones posteriores no se basen en la corteza visual no significa necesariamente que los estudios de la corteza visual no puedan inspirar la investigación actual: podría ser la razón por la que los investigadores de hoy se centran principalmente en la máquina aprendiendo a sí mismo y no quiere profundizar en los resultados del cerebro humano.

Por ejemplo, en mi tutorial de aprendizaje profundo (sobre el origen del aprendizaje profundo), mostré una figura de la corteza visual humana de la siguiente manera:

¿No es la conexión de V1 directamente a V4 esencialmente la idea del Bloque residual de la famosa ResNet?

Por supuesto, ResNet no está inspirado en la corteza visual, pero esto no significa necesariamente que no pueda inspirarse a partir de ahí.

Al igual que muchos de los que investigaron en redes neuronales en los primeros días (incluidos mis colegas Geoff Hinton y Yann LeCun), creo que tenemos una hermosa oportunidad de aprender algo útil para construir IA cuando consideramos lo que se sabe sobre el cerebro, y esto se vuelve cada vez más cierto a medida que los neurocientíficos recopilan cada vez más datos sobre el cerebro. Esta creencia está asociada con la idea inversa, de que para comprender realmente las razones centrales por las cuales los cerebros nos permiten ser inteligentes, necesitamos construir una interpretación de “aprendizaje automático” de lo que está sucediendo en un cerebro, lo que significa una explicación computacional y matemática de cómo nuestros cerebros pueden aprender cosas tan complejas y realizar una asignación de crédito tan exitosa. Para validar esta interpretación, deberíamos poder ejecutar un algoritmo de aprendizaje automático que se ejecute de acuerdo con los mismos principios fundamentales, abstrayendo los elementos de neurobiología que no son necesarios para comprender estos principios (pero tal vez sean necesarios para implementarlos en el cerebro, o para proporcionar el conocimiento innato adicional con el que nacemos). Hasta donde yo sé, no tenemos una interpretación creíble de aprendizaje automático de cómo los cerebros podrían hacer algo que el backprop aparentemente hace muy bien, es decir, descubrir cómo deberían cambiar las sinapsis de las neuronas internas para que el cerebro en su conjunto produzca Una mejor comprensión del mundo y un mejor comportamiento. Es uno de los temas que más ocupa mi mente en estos días.

Es importante, pero solo hasta cierto punto. Por ejemplo, la arquitectura de las redes neuronales convolucionales (convnets) se basa en los hallazgos clásicos de Hubel y Wiesel sobre la organización de la corteza visual del gato; sin el último, el primero no existiría. Pero el primer modelo de aprendizaje visual inspirado en Hubel y Wiesel fue el neocognitrón de Fukushima, que también trató de aprender cómo funciona (o parece) la corteza, y no funcionó muy bien. Los convexos usan propagación hacia atrás, que tiene muy poco que ver con el funcionamiento de la corteza (p. Ej., No hay una ruta de propagación de error hacia atrás en la corteza). Backprop se parece más a la forma en que aprende el cerebelo. Entonces, lo que tenemos es un poco de un monstruo de Frankenstein, la arquitectura de la corteza con el algoritmo de aprendizaje del cerebelo, pero funciona. Quizás la lección es para el aprendizaje profundo: inspirarse en el cerebro, pero no demasiado.

Yendo en la otra dirección, el aprendizaje profundo hasta ahora no ha afectado tanto a la neurociencia, pero creo que es porque la neurociencia aún no ha llegado a la etapa en la que se puedan probar experimentalmente modelos teóricos precisos. Pero está llegando allí. Finalmente, el modelado computacional será tan crítico para la neurociencia como lo son las matemáticas para la física.

Realmente no entendemos el cerebro lo suficientemente bien como para replicarlo. Entonces, la respuesta no es muy importante.