¿Por qué la memoria en las redes neuronales no está contenida en los nodos individuales de cada red neuronal?

Depende de lo que quieras decir con “memoria”.

Si quiere decir algo como “memoria de trabajo”, entonces las capas ocultas de una red neuronal proporcionan algo como memoria de trabajo, al menos en el sentido de que permiten que el modelo calcule valores intermedios útiles para producir alguna predicción / salida final.

Si quiere decir “memoria a largo plazo”, como en la memoria que persiste en varias instancias de entrenamiento, entonces los nodos no proporcionan memoria, porque sus valores se calculan frescos para cada nueva instancia de entrenamiento.

Sin embargo, puede pensar que los parámetros de la red proporcionan “memoria a largo plazo”, ya que se comparten en diferentes instancias de entrada. En particular, cuando una red sobreajusta un conjunto de datos, esto se debe a memorizar implícitamente las instancias de entrenamiento en los parámetros de la red.