¿Pueden ser útiles las leyes de la física antes del aprendizaje automático?

La evidencia muestra que esta puede ser una pregunta muy importante. ✔✔

¡Antes de continuar a continuación, aquí hay una buena descripción general de ‘priors’ de Yoshua Bengio !

Los bebés son excelentes ejemplos de algunas bases no triviales para la inteligencia artificial general; Los bebés son ejemplos significativos de bases biológicas que son razonablemente utilizables para inspirar algoritmos inteligentes.

Se observa que los cerebros de los bebés están pre-equipados con ” antecedentes físicos ” particulares, que constituyen específicamente la capacidad de los bebés de conocer intuitivamente las leyes de la física, mientras aprenden mediante el refuerzo. Los cerebros de los bebés son medidas fantásticas de “tabula rasa”, como estados en los que se aprenden abstracciones complicadas en la edad adulta ; similar a cómo AlphaGo Zero comenzó esencialmente “en blanco “, comenzando desde jugadas aleatorias, hasta que rápidamente aprendió a convertirse en el jugador go más fuerte del planeta en la actualidad.

(Vea la fuente del fragmento aquí)

Por supuesto, por “conocer intuitivamente las leyes de la física”, no me refiero a que los bebés son premios Nobel o estudiantes de física que, por ejemplo, escriben o entienden exámenes / exámenes de física; en cambio, la frase simplemente transmite que los cerebros de los bebés están precocidos con formas de ejercitar naturalmente las expectativas basadas en la física y las interacciones con objetos en su mundo, como lo indican Stahl et al.

(Vea la fuente del fragmento aquí)

Es bastante importante tener en cuenta las restricciones biológicas con el objetivo de desarrollar modelos generales de aprendizaje automático, y ya se ha observado que el aprendizaje de refuerzo profundo se beneficia empíricamente de antecedentes similares a la física , como se ve en un reciente documento alineado con múltiples publicaciones de Deepmind (que mejora en gran medida un algo importante en el aprendizaje automático llamado aprendizaje de transferencia, que se encuentra notablemente en la inteligencia biológica general ):

[1606.05579] Aprendizaje temprano del concepto visual con aprendizaje profundo sin supervisión

Más allá de los múltiples, los Supermanifolds , en el régimen de Lie Superalgebras , existen razonablemente como mejores formas de codificar estos ” antecedentes físicos “.

Esto se debe a que las Superalgebras de Lie de Symmetry Group proporcionan abstracciones ridículamente profundas / amplias y hay evidencia de que los cerebros biológicos se pueden medir a escala de actividad neural en términos de ecuaciones supersimétricas.

Notación 1 – Aprendizaje múltiple : [matemáticas] \ phi \ big (x, \ theta \ big) ^ {T} w [/ matemáticas] (Bengio et al)

Notación 2: Aprendizaje supermanifold : [matemática] \ phi \ big (x; \ theta, \ bar {{\ theta}} \ big) ^ {T} w [/ math] (Jordan Bennett)

Si bien el aprendizaje profundo tradicional puede involucrar un aprendizaje múltiple, mi trabajo se refiere al aprendizaje supermanifold, como se ve brevemente en las diferencias de notación anteriores.

(Vea la fuente del fragmento aquí)

Ya comencé a aproximar el modelo supersimétrico , que involucra lo anterior, como se ve en el fragmento y la URL a continuación:

Supermatemáticas-y-InteligenciaArtificial-General

La pregunta es: ¿los supermanifolds son demasiado abstractos y, por lo tanto, no son necesarios para capturar estos “antecedentes físicos” en un modelo artificial general, o son bastante prácticos como se indica en cerebros biológicos?

Descargo de responsabilidad:

Solo soy un principiante en el campo del aprendizaje profundo (comencé hace 2 años con una red neuronal simple , y hasta hace unos meses solo estaba jugando en el aprendizaje automático), pero tal vez más allá de los ahora múltiples modelos desenredables en Deep. En cambio, el aprendizaje, tal vez un trabajo algo complicado como el mío, u otras aplicaciones de Supermanifolds en general, pueden tener un lugar en un modelo de aprendizaje jerárquico artificial general óptimo, también conocido como Inteligencia Artificial General.

Los bebés realizan experimentos para encontrar correlaciones confiables de acciones y resultados. Agarrar cosas, golpearlas, tirarlas, etc. Su maquinaria de aprendizaje tiene heurísticas y sesgos para mezclar la exploración y el aprendizaje con la explotación de esquemas aprendidos para refinarlos y usarlos en planes progresivamente más abstractos y conductas de búsqueda de objetivos.

En este punto, es mucho mejor pensar en términos de heurística y dejar las matemáticas para mucho más tarde, después de construir sistemas de trabajo básicos que realicen el aprendizaje a nivel humano. Las matemáticas pueden ser una forma útil de optimizar partes del sistema, pero ciertamente no es la forma de comprender o construir dicho sistema. La naturaleza nos dotó de heurística para permitir nuestra exquisita arquitectura de aprendizaje autoorganizada, y deberíamos usar los mismos principios para guiarnos en la ingeniería inversa.

El aprendizaje profundo puede aprender hechos, falsedades y tonterías totales. Enseña bien a tus hijos.