¿Cómo se relaciona la RNN con el aprendizaje profundo?

RNN o red neuronal recursiva es uno de varios modelos en el aprendizaje profundo. Cada modelo tiene un propósito específico y RNN tiene el suyo. Como su nombre indica, utiliza la recursividad en una pequeña red de pocas capas y mantiene un estado oculto que se reutiliza en cada recursión.

Al igual que otros modelos de aprendizaje profundo, RNN tiene capas, parámetros que se pueden aprender (pesos), una función de pérdida y un algoritmo de optimización como SGD, etc. Sin embargo, la red RNN se recurre o reutiliza varias veces con estado oculto y con salida de recursión previa, o un nueva instancia de entrada, o nada. El número de recursiones depende del estado oculto, así como de la entrada proporcionada. De esta forma de cálculo directo, se pueden realizar grandes ejecuciones profundas con pocas capas y sus estados ocultos. Por eso, los RNN se denominan gráficos de cálculo dinámico.

Según sus usos, hay pocas arquitecturas en RNN y su uso depende de la tarea.

Hay muchas cosas que se pueden discutir en RNN.

Espero haberlo respondido bien.

Por definición:

Un conjunto de algoritmos que intentan modelar abstracciones de alto nivel en los datos mediante el uso de múltiples capas de procesamiento, con estructuras complejas o de otro tipo, compuestas de múltiples transformaciones no lineales.

Wikipedia

¿Y qué es RNN?

Una red neuronal recurrente ( RNN ) es una clase de red neuronal artificial donde las conexiones entre unidades forman un ciclo dirigido. Esto crea un estado interno de la red que le permite exhibir un comportamiento temporal dinámico.

De nuevo, Wikipedia

Déjame guiarte a través de la definición. ¿RNN intenta modelar una abstracción de alto nivel en los datos? sí.

¿Hace esto usando múltiples capas de procesamiento?

¿La transformación es lineal? No.

No te confundas. El aprendizaje profundo no significa una red neuronal en n capas donde n es un número muy grande. Incluso un simple ANN de dos capas que consta de capas de entrada y salida solo se clasifica como un modelo de Deep Learning .

Supongo que su confusión proviene del hecho de que los modelos RNN existentes son de arquitecturas poco profundas. Pero, primero, hay modelos que usan capas convolucionales y capas RNN y esos modelos pueden ser profundos. En segundo lugar, RNN puede ser profundo, aunque el RNN profundo pasado no puede ser entrenado de manera muy eficiente. El nuevo IndRNN puede ser muy profundo (como más de 20 capas) y funciona bastante bien.

More Interesting

¿Será el hardware especializado para el aprendizaje profundo un cambio de juego?

¿Cuándo y dónde se usaron por primera vez los términos 'aprendizaje profundo', 'aprendizaje automático', 'ciencia de datos'?

¿Los analistas de datos serán reemplazados por aprendizaje automático e inteligencia artificial pronto?

¿Es posible compilar una función NumPy para TensorFlow como PyAutoDiff para Theano?

¿Cuál es el contenedor y el método incrustado? ¿Cómo se realiza la selección de funciones usándola?

¿Qué está haciendo Wavii con el aprendizaje automático para redefinir cómo se realiza la búsqueda en la web?

Para un maestro en aprendizaje automático, ¿cuál sería una mejor opción, KTH (MS en aprendizaje automático) o Chalmers (MS en sistemas adaptativos complejos)?

Veo que la mayoría de las API de Machine Learning están en Python, algunas usan C o C ++ bajo el capó. ¿Por qué los desarrolladores de framework no exponen las API de C ++?

¿Cuál es el gradiente de la función de probabilidad logarítmica en la regresión logística multinomial?

Optimización matemática: ¿Por qué el método de descenso más pronunciado usando el descenso de gradiente típico tiene problemas con la función de Rosenbrock?

¿Cuál es la diferencia entre el aprendizaje de refuerzo profundo y el aprendizaje de refuerzo?

¿Qué puedo hacer si soy un experto en aprendizaje automático supervisado?

¿Qué tipo de antecedentes estadísticos debo tener para tomar el curso de Reconocimiento de patrones? Cual estadística Qué libro es útil para mi preparación?

¿Cuáles son algunos puntos de referencia significativos descubiertos para el equilibrio de la máquina? (específicamente: clasificación, segmentación y desarrollos de sensores)

¿Cuál es la diferencia entre regresión logística y factorización matricial?