La principal diferencia en RNN y Forward NN es que en cada neurona de RNN, la salida del paso de tiempo anterior se alimenta como entrada del siguiente paso de tiempo. Esto hace que RNN sea consciente del tiempo (al menos unidades de tiempo) mientras que Feedforward no tiene ninguno. Por ejemplo, en la clasificación de dígitos escritos a mano, tiene la entrada y la salida. No hay diferencia entre el tiempo 1 ° o el tiempo 100 porque la red tiene la misma entrada y salida. RNN se usa generalmente para describir una secuencia (puede ser una secuencia de tiempo o un contexto). Por ejemplo, leer un archivo de texto grande y generar el siguiente carácter. A medida que lea más, el conocimiento que acumule a través de su paso de tiempo anterior hace que la red sea consciente del contexto. Por lo tanto, RNN tendrá un mejor rendimiento que Feedforward de vainilla porque Feedforward no tiene una mejor idea de qué salida, dadas todas las salidas anteriores.
¿Cuál es la diferencia entre una red neuronal de alimentación directa y una red neuronal recurrente?
Related Content
¿Dónde debería comenzar a construir un chatbot de IA?
¿Debería la prueba de Turing guiarnos mientras diseñamos robots súper inteligentes?
¿Cómo pueden los médicos tener una carrera en inteligencia artificial médica?
En pocas palabras: la diferencia consiste en las conexiones de retroalimentación que solo tienen las redes recurrentes y que les dan la capacidad de memorizar y utilizar valores de entrada anteriores. Esto los convierte (como se describe en la respuesta de Luan Pham) en una arquitectura preferida para datos secuenciales. Las redes recurrentes simples sufren el problema de la desaparición de gradientes que fue superado por las redes de memoria a corto plazo (LSTM). Hoy en día, casi todas las aplicaciones exitosas de redes neuronales recurrentes, por ejemplo, en reconocimiento de voz o traducción de lenguaje natural, usan LSTM o variantes de ellas (como GRU).
Para más detalles recomiendo las referencias a continuación:
- Entrada del blog de Chris Olah Entendiendo las redes LSTM (la mejor explicación de RNN y LSTM en particular, lo sé)
- La entrada del blog de Andrej Karpathy La efectividad irracional de las redes neuronales recurrentes (contiene una serie de ejemplos convincentes y otras ideas)
- Excelente conferencia de Karpathy sobre redes neuronales recurrentes:
AI Journal tiene un video realmente agradable en redes neuronales recurrentes. Explica en qué se diferencian de las redes de retroalimentación. Entonces, ¿qué arquitectura RNN diferente tenemos y cómo funcionan? Se profundiza con LSTM / GRU también.
RNN considera conexiones / valores anteriores, así como la entrada de las siguientes capas. Feedforward es un mapa típico de esto a esto de manera secuencial.
More Interesting
¿Por qué se crean estados / países autónomos?
¿Existen aplicaciones comerciales que hayan utilizado algoritmos de visión artificial?
¿Los desarrolladores web deben preocuparse por el advenimiento de la IA / automatización?
¿Cuáles son algunos videojuegos / sims con notable aparición de IA?
¿Qué aprendes de crear un chatbot?
¿Cuál es el mejor algoritmo de aprendizaje automático para predecir datos numéricos?
¿Podemos cambiar la forma en que pensamos entrenando nuestra red neuronal biológica?
Cómo conectar un chatbot (construido en BotFramework o api.ai) a un servicio web en AWS
Inteligencia artificial: ¿Cuáles son las cosas más locas / raras que has visto hacer a una IA?
