¿Cuál es el poder computacional de las redes neuronales no recurrentes frente a las redes neuronales recurrentes?

La observación clave es que las redes neuronales de avance “tradicionales” no tienen estado: usted proporciona una entrada y ellas proporcionan una salida. Por lo tanto, no son completos de Turing, porque para ser completos de Turing, debe haber algún tipo de capacidad de almacenamiento.

Las redes neuronales recurrentes tienen estado . Esto significa que retienen parte de la activación de la entrada anterior y la incorporan a los cálculos actuales. Esto los hace mucho más adecuados para manejar secuencias, series de tiempo, segmentos de video, etc., y luego puede hablar sobre ellos como modelos computacionales completos. Las propiedades exactas dependen de la topología de la red neuronal.

En la práctica, si realmente quisiera, podría “desenrollar” una red neuronal recurrente para que sea una red neuronal de avance y presentar secuencias enteras de entrada (por ejemplo, oraciones completas) en lugar de parte de la entrada, y unir los pesos apropiados, pero No es necesariamente la forma más eficiente de hacer las cosas.

Aquí hay una publicación que escribí sobre Redes Neurales vs. Árboles de Decisión. Esto proporcionará una perspectiva sobre sus preguntas. Árboles de decisión versus redes neuronales