¿Es probable que se hayan descubierto redes neuronales artificiales sin el ángulo neurológico / tratando de modelar el cerebro? Muchos dicen que son glorificados álgebra lineal.

Si está hablando de redes neuronales artificiales ‘estándar’ (ANN) que usan funciones de activación continua como sigmoides o funciones de base radial, entonces sí, creo que se habrían descubierto. Sin embargo, no creo que sean tan ampliamente adoptados como lo son ahora, por ejemplo, el aprendizaje profundo, o al menos hubieran tardado mucho más en convertirse en la corriente principal.

PERO la enorme suposición hecha por los ANN que usan neuronas con funciones de activación continua es la siguiente: las neuronas codifican información usando sus tasas de disparo. Ahora se sabe que esta suposición es falsa. Ahora se sabe que las neuronas reales usan el momento exacto de los ‘picos’ (potenciales de acción) individuales de cada neurona individual para codificar la información (así como, o totalmente en lugar de, las tasas de disparo; estos detalles aún se debaten acaloradamente).

Así que esto nos lleva a las redes neuronales (SNN). Se ha demostrado matemáticamente que son mucho más potentes para codificar y procesar información que los ANN estándar. El problema es que este es un resultado teórico y no sabemos mucho sobre cómo utilizar este poder en la práctica, ya que los SNN son muy complejos. Los SNN están inspirados casi por completo en el cerebro y dudo que los hubiéramos descubierto de otra manera. La investigación de SNN todavía está en su infancia, pero tengo el fuerte presentimiento de que para una verdadera inteligencia artificial general los vamos a necesitar.

Las redes feedforward estándar surgen matemáticamente de manera muy natural. Creo que finalmente se habrían descubierto sobre la base de las siguientes consideraciones, pero probablemente hubieran tardado bastante más.

Los modelos lineales como la regresión lineal y la regresión logística se entienden bien sin la necesidad de ninguna analogía biológica. Podemos extender un modelo lineal a un modelo no lineal aplicando un modelo lineal a una representación transformada [math] \ phi (\ mathbf {x}) [/ math] de los datos de entrada. El llamado truco del kernel (utilizado en SVM) es un método para hacerlo. La representación se fija con anticipación y a menudo se oculta en la función del núcleo.

Otra opción es intentar aprender [math] \ mathbf {\ phi} [/ math] como parte del modelo. Entonces, comenzamos con un modelo lineal estándar [math] y = f (\ mathbf {x}; \ mathbf {w}) = \ mathbf {w} ^ T \ mathbf {x} [/ math], para un vector de pesos [ math] \ mathbf {w} [/ math], y lo aumentamos para obtener un modelo más complejo [math] y = f (\ mathbf {x}; \ mathbf {\ theta}, \ mathbf {w}) = \ phi (\ mathbf {x}; \ mathbf {\ theta}) ^ T \ mathbf {w} [/ math]. Ahora tenemos dos conjuntos de parámetros para aprender, y los parámetros [math] \ mathbf {\ theta} [/ math] nos permiten aprender la representación [math] \ phi [/ math].

Con un conjunto restringido apropiado de funciones de hipótesis [math] \ mathbf {\ phi} [/ math] disponibles para que el algoritmo de aprendizaje pueda elegir, esta es simplemente una red de avance con una capa oculta. Es muy común elegir [math] \ mathbf {\ phi} [/ math] entre la clase de funciones no lineales [math] \ max (0, W ^ T \ mathbf {x} + \ mathbf {b}) [/ math], para una matriz de parámetros [math] W [/ math] y un vector [math] \ mathbf {b} [/ math]. (Tenga en cuenta que esto es un poco un abuso de notación, ya que se aplica por elementos). Estas funciones se denominan “unidades lineales rectificadas” en el lenguaje de redes neuronales estándar. En otras palabras, esta es una red de alimentación directa con una función de activación ReLU y pesos y sesgos estándar, pero la construimos sin ninguna referencia biológica.

Anidar esto conduce a redes profundas con múltiples capas.

Si, ciertamente. El problema de hacer un interpolador de función universal conduce a la arquitectura de una red neuronal. La biología inspiró el algoritmo de propagación hacia atrás (aunque no ocurre en el cerebro, es solo una analogía con el refuerzo de entrenamiento conocido en psicología) y la función de disparo sigmoide. Para un mejor rendimiento, dejamos atrás ambas inspiraciones, por ejemplo, utilizando funciones de base radial que tienen buenas propiedades de desacoplamiento y descenso de gradiente estocástico para el entrenamiento, nada como el cerebro. De las neuronas, solo el bombo sigue ahí.

Si. Puede ver las NN como el tercer paso en la exploración de problemas de clasificación / regresión:

1. El primer paso fue usar un modelo lineal simple.
2. El segundo paso fue darse cuenta de que aún puede usar un modelo lineal para realizar una regresión no lineal simplemente usando un conjunto de funciones básicas.
3. El tercer paso natural fue aprender las funciones básicas, haciéndolas paramétricas.

Honestamente, las redes neuronales son “neuronales” y “redes” tanto como cualquier otra función compuesta no lineal.
EDITAR: … y la propagación hacia atrás, así como la idea general de usar modelos diferenciables, tiene poco que ver con la neurociencia.

Estamos creando las redes neuronales artificiales. Las redes neuronales artificiales no están creando nuestro cerebro. Entonces “descubrir”? o “inventar”? Ponlo de esta manera. Una vez que la red neuronal artificial está suficientemente avanzada, y puede razonar y hablar, puede argumentar que la respuesta es “no”. Eso sería irónico, arrogante y equivocado.