¿Necesito almacenar los pesos en los pasos de tiempo anteriores además de las activaciones cuando uso la propagación hacia atrás a través del tiempo en redes neuronales recurrentes?

Tenga en cuenta estas dos cosas:

En primer lugar, aunque hemos llegado muy lejos con la tecnología informática, la memoria sigue siendo un recurso escaso que impone retrasos en el acceso.

En segundo lugar, la mayoría de las redes neuronales que he tenido el placer de escribir y depurar, generalmente están llenas de neuronas de no menos de 3 entradas por … Y normalmente las ilustra de izquierda a derecha:

La capa 1 contiene todas las entradas únicas para que la red las use.

La capa 2 contiene la primera capa de neuronas en funcionamiento de la red. La forma en que generalmente hago esto es tener cada capa, neurona, sus propias identificaciones únicas que forman una matriz. En la estructuración de la matriz se me permite usar espacio adicional para almacenar más información directamente sobre la neurona, lo que limita los tiempos de acceso.

Generalmente uso una estructura de {ID, {ID, {{InIDS}, {InWts}, sesgo, activación}}}

Espero que esto te ayude, espero saber de ti cómo va todo.

David Nelson

Ambas versiones tienen sentido, pero nunca me he encontrado con nadie que use el método de la derecha. Entonces, la única forma de estar seguro es probar ambos problemas y compararlos (si publica sus hallazgos, se verá bastante bien en su currículum)