¿Cómo se vería el sueño en una red neuronal artificial?

Respuesta corta:

Creo que nadie lo sabe. Sabemos muy poco sobre el sueño y muy poco sobre el cerebro y muy poco sobre lo que sucede exactamente en una red neuronal artificial (muy profunda, es decir, interesante) (ANN). ¡Estoy muy interesado en las otras respuestas!

Respuesta más larga, es decir, conjeturas educadas:

El sueño parece estar relacionado con (al menos) tres temas principales: formación de memoria biológica, psicológica (léase como: emocional) y técnicamente, tal vez también psicológica, pero diría que la neurociencia.

Dado que estamos hablando de algoritmos, creo que podemos asumir con seguridad que todos los beneficios biológicos del sueño (por ejemplo, un momento de eliminación de desechos, vea este documento: El sueño impulsa la eliminación de metabolitos del cerebro adulto), así como la influencia en los parámetros psicológicos (como las emociones, esto parece una fuente creíble, aunque no lo leí: el sueño, la memoria y la emoción) no importará en esta pregunta, al menos durante unos años más adelante. Eso nos deja con refuerzo de memoria. Hay mucha investigación sobre ese tema (¡mira eso! Memoria del sueño – Google Scholar), en lo que respecta a mi conocimiento algo limitado en ese tema, generalmente se supone que durante el sueño el cerebro ‘repite los patrones que ha encontrado antes’, lo que refuerza los recuerdos de cómo lidiar con estas situaciones y también se sospecha que esta es una de las razones por las que soñamos (fuente poco más antigua pero todo lo que tengo ahora: sueño, aprendizaje y sueños: reprocesamiento de memoria fuera de línea).

Este concepto podría utilizarse teóricamente en redes neuronales profundas para reforzar algunos comportamientos. Sin embargo, un ANN no ‘necesita’ dormir, ya que las razones biológicas no se aplican, por lo tanto, supongo que solo mantenerlo en más ciclos de entrenamiento podría ser un uso más eficiente del tiempo de cálculo. Quizás si ve el sueño como una “aleatorización estructurada” de la matriz de peso, podría ayudar a evitar el sobreajuste, pero eso es a) totalmente técnico yb) pura especulación.

Respuesta genial:

Esto: Incepcionismo: profundizar en las redes neuronales ha sido llamado ‘El sueño de ANN’ en varias publicaciones no técnicas. En mi opinión, tiene poco que ver con ‘soñar’ en el sentido científico y duro, pero las imágenes son bonitas y he convencido a más de una persona de que la IA es genial mostrándolas.

Uno de mis colegas con quien he estado discutiendo mi comprensión del libro “Por qué dormimos” de Mathhew Walker preguntó acerca de cómo el aprendizaje es útil para las redes neuronales y el aprendizaje automático (¡soy un novato aquí!).

Una idea clave del libro es cómo el sueño da como resultado la poda de información inútil, la interconexión creativa de diferentes áreas de experiencias y áreas del cerebro, el ensayo de habilidades para resolver problemas a la perfección y la transferencia de información de tiendas a corto plazo a la planificación a largo plazo. Esto puede mapearse fácilmente en conceptos de redes neuronales como el aprendizaje por transferencia y el aprendizaje por refuerzo; sin mencionar las diversas formas de entrenamiento.

Otra idea es cómo los bebés calibran su ritmo circadiano a los sensores externos como la luz y el calor con el tiempo mientras se convierten en adultos. Esto puede tener paralelos cercanos al aprendizaje automático.

Además, el libro habla sobre cómo los ciclos de sueño-vigilia de los adolescentes ayudan en el desarrollo del cerebro, comenzando desde la parte posterior del cerebro hasta el frente del cerebro con el tiempo. Esto puede mapear cómo las diferentes áreas o capas de redes neuronales se sintonizan con el tiempo.

Creo que las redes neuronales pueden tener mucho que aprender de nuestros patrones de sueño útilmente evolucionados y viceversa.

Ha pasado mucho tiempo desde que abrí cualquier tipo de texto de biología, pero estoy seguro de que hay varias cosas que suceden cuando dormimos.

1. Codificamos la memoria a través del sueño REM.
2. Nuestros cuerpos reparan el daño más rápidamente.
3. Crecemos (músculo, posiblemente reconectamos nuestros cerebros, al menos más rápido) si somos adultos, y el sueño es cuando los niños hacen la mayor parte (o la totalidad) de su crecimiento.

Las computadoras no necesitan dormir para recordar, y no pueden (hasta el momento) auto repararse, y a menos que alguien presente un nuevo tipo de electrónica, nunca crecerán.

Dado que una computadora tiene energía cuando está enchufada … ¿necesitaría dormir una inteligencia que surgió de una computadora? ¿Y cómo lidiar con las cosas, racionalizar las cosas en nuestros sueños nos hace diferentes de una verdadera inteligencia artificial? ¿Y cuánto de eso es lo que causa emoción en nosotros, ya sea que la califiquemos de buena o mala?

Creo que si es posible para nosotros crear una verdadera IA, se necesitaría mucho trabajo para entendernos.

Sueno como un filósofo … lo cual, supongo, es algo bueno. La filosofía es la búsqueda de la verdad, tanto como las matemáticas que hago, aunque a menudo son más subjetivas (a menos que estemos hablando de estadísticas bayesianas, lo cual es un pensamiento interesante, uno que he tenido antes pero que no entraré en más ahora.)