Si las redes neuronales artificiales se rediseñaran desde cero basándose en nuestro conocimiento actual del cerebro humano, ¿cuáles serían las diferencias importantes?

Las redes neuronales artificiales (ANN) funcionan porque se abstraen de los desordenados detalles biológicos. Solo están ligeramente inspirados por los hallazgos neurocientíficos. Esencialmente, nada de la neurociencia ha informado el diseño de ANN en las últimas dos décadas.

Sospecho que comenzar desde cero sería algo inútil.

La característica más importante de ANN es el algoritmo para entrenar los pesos de conexión. Casi todos los ANN usan alguna versión de propagación hacia atrás. Esta es una regla de aprendizaje sináptico extremadamente poco realista desde una perspectiva biológica, pero funciona para los ANN, entonces, ¿por qué no usarla? Después de todo, las ANN son un tipo de tecnología : no tienen como objetivo comprender cómo funciona el cerebro.

Si fueran más útiles las reglas de aprendizaje inspiradas biológicamente, como la plasticidad dependiente del tiempo pico, ya estarían en uso. Hay una razón por la cual los detalles biológicos no se han incorporado al aprendizaje automático: no tenemos una comprensión real de ello.

Funcionarían entre igual y mucho peor que nuestras implementaciones actuales (peor si se basara solo en nuestro conocimiento del cerebro humano). Existen algunas teorías importantes sobre el * por qué * las redes neuronales funcionan tan bien como lo hacen. Sin embargo, creo que es importante señalar que las redes neuronales se están rediseñando todos los días en función de lo que los programadores heurísticos creen que obtendrán un mejor rendimiento. Hacer comparaciones entre la biología y las redes neuronales tiene sentido, pero entre los cerebros humanos y las redes neuronales aún no es algo en lo que podamos pensar de manera simple debido a la gran cantidad de neuronas / nodos y sinapsis / conexiones que tendrían que simularse. Si cada sinapsis y conexión ocupara 1 byte, se necesitarían aproximadamente 150 terabytes de RAM para almacenarlo todo en la memoria. En este momento, cuesta cientos de miles de dólares hacerlo con discos duros. Sin siquiera pensar en el tamaño de los datos de entrada, si solo se necesitara una operación de punto flotante para procesar una sinapsis (no lo hace y también el tiempo de copia de la memoria), se necesitarían 16 Nvidia 1080s trabajando en perfecta eficiencia juntos, de forma asincrónica enorme grupo de memoria con tiempo de acceso a memoria infinitamente corto, un segundo completo para hacer lo que hace el cerebro humano en 1/100 de segundo. Desafortunadamente, las computadoras no se escalan de esta manera y parece haber una ley de rendimientos decrecientes al escalarlos juntos debido a una multitud de factores.

La parte más triste de todo esto es que, incluso con todo lo que sabemos sobre el cerebro humano, todavía no entendemos la mayor parte. Incluso si tuviéramos todo ese poder computacional, un elefante tiene aproximadamente 3 veces el número de neuronas como humano y su capacidad mental, aunque impresionante, no está cerca del nivel de los humanos. Incluso si creáramos una computadora con miles de veces las neuronas de un ser humano, podría no funcionar tan bien como un ser humano.

No creo que esta sea una pregunta de diseño, sino un problema en evolución. La red neuronal es lo que es hoy en día, no principalmente por nuestra creencia, sino también por cómo hacer que funcione prácticamente con nuestros recursos informáticos actuales.

Por ejemplo, el cerebro humano no se forma claramente en la estructura en capas, mientras que ANN sí. Sin embargo, eliminar esta estructura en capas básicamente significa que BP nunca funcionará, entonces la pregunta práctica es ¿cómo podemos aprender de manera efectiva los parámetros de la red? De hecho, ANN sin estructura en capas se inventó hace décadas, por ejemplo, la máquina Boltzmann, pero se debe abandonar debido a la carga de cálculo poco realista.

Recientemente estoy revisando la historia evolutiva sobre las redes neuronales, y sorprendentemente, muchas arquitecturas que parecen estar diseñadas inteligentemente, son en realidad el resultado de la evolución. Si está interesado, puede echar un vistazo a mi borrador inicial: Viaje en el tiempo en aprendizaje profundo. (ADVERTENCIA: esto está muy mal escrito, y lo estoy arreglando ahora, esperamos una versión publicable en este diciembre más o menos)

Otro hecho es que el rendimiento del aprendizaje profundo se origina en su poder de representación, que se beneficia de su estructura en capas. El rendimiento en realidad no tiene nada que ver con su parecido con el cerebro humano. Simplemente resultan ser similares.

Una de las diferencias más importantes es que dejarían de funcionar.

Jeff Hawkins describe su modelo de conciencia artificial que se basa en su conocimiento de la neurociencia. Sus experimentos sobre problemas existentes no fueron tan fructíferos como se esperaba. Las redes neuronales de punta se ven geniales en el papel, pero aún intentamos que el aprendizaje de refuerzo basado en MLP funcione, porque es mucho mejor.

Cuando se ejecuta algo en la computadora, la informática funciona mejor que la neurociencia porque comienza con el conocimiento correcto sobre el modelo computacional. Puede cambiar en el futuro, pero creo que vendrá con la invención de diferentes arquitecturas.

Las redes neuronales se están diseñando en base a nuestro conocimiento actual del cerebro humano; por ejemplo, he trabajado mucho con el Proyecto Cerebro Humano, donde hacerlo es uno de los principales objetivos.

Las grandes diferencias que uno ve son: 1) la forma en que funciona la ‘computadora’ es esencialmente analógica, se basa en la evaluación de ecuaciones diferenciales continuas en tiempo real, que puede hacerse digitalmente (usando computadoras comunes o chips de propósito especial como como SpiNNaker) o usando chips analógicos (como en el sistema BrainScaleS) 2) la comunicación interneural ocurre a través de picos, generalmente eventos discretos (aunque modelados de manera completa y precisa pueden ser funciones continuas pero que cambian bruscamente) que no tienen un “contenido” de datos de la misma manera que, por ejemplo, la transmisión de una activación lo haría Existe un gran debate sobre cómo se ‘codifican’ los picos, es decir, cómo la transmisión de varios picos constituye algún tipo de información inteligible, pero hasta ahora los resultados no son concluyentes. 3) ve estructuras mucho más especializadas, como microcolumnas que están conectadas de manera específica (y, en general, la conectividad de una red similar al cerebro es bastante más escasa que las redes de aprendizaje automático, aunque generalmente hay más conexiones totales y una mayor cantidad de neuronas ) Hay mucho más que podría decir sobre estructuras específicas en el cerebro que la gente usa a menudo para aplicaciones ‘prácticas’; si hay demanda, puedo poner una lista de referencia de documentos para perseguir.

Sin embargo, y como otros han señalado, al mirarlo desde la perspectiva pragmática de resultados en el aquí y ahora, notará un cambio importante, casi siempre una disminución, en el rendimiento. Muchas redes simplemente no funcionarían en absoluto. El estado del arte en las redes neuronales con picos biológicos no se acerca en nada al aprendizaje automático convencional y aunque las personas como yo estamos trabajando en el problema, con la convicción de que al menos en algunos dominios de aplicación es probable que la computación similar al cerebro conduzca a sistemas de mayor rendimiento, ese día aún no ha llegado. Entonces, si está buscando una red neuronal para resolver una necesidad real y presente, utilice el aprendizaje automático convencional, si está buscando posibles tecnologías futuras que puedan ser prometedoras, vale la pena explorar redes similares al cerebro.

El otro punto importante, y esto también se ha dicho, pero quiero enfatizar esto aún más fuertemente, actualmente sabemos muy poco sobre el cerebro humano. Esto no puede exagerarse, hay muchas teorías pero no hay un consenso claro sobre cómo computa el cerebro, y eso es lo que importa cuando se trata de crear redes neuronales que funcionen. Sabemos bastante sobre los mecanismos subyacentes, especialmente a nivel molecular, pero eso es un poco análogo a decir que comprende la física del dispositivo de un transistor pero que aún no tiene una arquitectura formal para un microprocesador. Entonces, la computación similar al cerebro es una disciplina en evolución, las computadoras y simuladores que construimos hoy podrían resultar ridículamente erróneos, y en ese sentido, la generación actual de redes neuronales con picos puede verse en el contexto histórico de la misma manera que los ANN convencionales . Cuando se diseñaron los ANN convencionales por primera vez, se pensó que podrían ser similares al cerebro; Ahora reconocemos que esto probablemente está mal, pero han demostrado ser útiles, por lo que todavía están en uso. Lo mismo podría decirse de las redes de picos: se están comenzando a encontrar aplicaciones útiles, eventualmente podrían superar a los ANN convencionales, y luego aún más tarde podrían ser completamente diferentes de cómo funciona ‘realmente’ el cerebro. ¡Esta pregunta podría aparecer dentro de 20 años con solo un ligero cambio en la redacción!

Ya hay diseños de redes neuronales biológicamente fieles, con todo el realismo que pueda pedir. Solo necesita mirar el modelo de Hodkin-Huxley y el mapa de Rulkov para ver modelos que describen el aumento de potenciales de acción. Emergent incorpora aprendizaje biológicamente realista con STDP (plasticidad dependiente del tiempo pico). Neuron posee los más altos grados de realismo biológico que puede encontrar en cualquier paquete de software, con una dinámica de difusión realista y una topología neuronal real que le permite trabajar en el nivel de las dendritas y los axones.

More Interesting

¿Qué pasa si la policía fue reemplazada por robots?

Si la mayoría de los humanos quedarán desempleados debido a que los robots / ai se harán cargo de los trabajos, entonces, ¿cómo el poder adquisitivo reducido mantendrá el motor económico en funcionamiento?

¿Se volverán obsoletos los científicos de datos con el surgimiento de la IA en términos de codificación, estadísticas, aprendizaje automático, gestión de bases de datos y técnicas de visualización?

¿Qué problemas pueden considerarse casi resueltos en Inteligencia Artificial (Machine Learning / NLP / Vision)?

¿Alguien puede guiarme sobre cómo mejorar mi interés en Inteligencia Artificial y Robótica?

¿Cuál es el chatbot más inteligente?

¿Cómo se relacionan entre sí el reconocimiento de imágenes, las redes neuronales profundas y el aprendizaje automático?

¿Wikipedia es un ejemplo de inteligencia de enjambre?

Inteligencia artificial: ¿Qué tan útil es la computación distribuida para construir IA?

¿Cuál es la diferencia entre la arquitectura de red neuronal y el algoritmo de red neuronal?

¿Qué rama del aprendizaje profundo sería más apropiada para estudiar la visión por computadora o el procesamiento del lenguaje natural considerando las oportunidades de trabajo?

¿Es posible, utilizando la tecnología actual de drones, robótica y IA, diseñar y fabricar pequeños mini robots humanoides controlados a distancia que puedan correr, volar, penetrar en áreas seguras y llevar a cabo espionaje, asesinato y guerra?

¿Pueden las máquinas enseñar a otras máquinas?

¿Es mejor quedarse con el aprendizaje automático o pasar al aprendizaje profundo?

Lo que te molesta, ¿es la 'Inteligencia' artificial o la autoconciencia artificial?