¿Por qué es que los RNN con conexiones desde la salida al estado oculto pueden expresar menos máquinas de turing?
Las unidades de salida en un RNN están diseñadas para que puedan ser entrenadas para que coincidan con los objetivos de entrenamiento. Por lo tanto, es poco probable y muy difícil para las unidades de salida recordar toda la información sobre el pasado para poder predecir con precisión el futuro. Normalmente, esto es natural para las conexiones ocultas a ocultas para capturar la información sobre el pasado (que está ausente en este tipo de RNN discutido en la Figura 10.4). Sin embargo, si puede describir explícitamente el estado completo de su sistema e incluirlo como parte de su objetivo establecido de entrenamiento, es posible que las unidades de salida conozcan el pasado. Pero, en general, se necesita mucha experiencia y esfuerzos de ingeniería para describir cuidadosamente el estado completo del sistema. Por lo tanto, este tipo de RNN son menos expresivos y no pueden simular una máquina de Turing. Estas ideas serán claras si lee cuidadosamente la siguiente instantánea:
More Interesting
¿Cuáles son las mejores prácticas en torno al aprendizaje automático y los sistemas de recomendación para sitios de trabajo?
¿Cómo podemos usar Tensorflow para problemas de clasificación?
¿Cuáles son los grandes problemas de investigación en el reconocimiento de voz hoy?
¿Qué arquitectura / herramientas usan los gigantes tecnológicos como Facebook / Amazon / Apple / Microsoft para el análisis de big data / ML?
¿Cuáles son los temas candentes para la investigación en Machine Learning?
Todos estos algoritmos de aprendizaje automático, ¿cuál es el punto? Parece que la elección del algoritmo de aprendizaje automático, el árbol de decisión, la red neuronal, svm, no es tan importante como la selección de características y el proceso de extracción de características que determina lo que entra, basura en basura, ese tipo de cosas.
¿Qué es mejor para el aprendizaje profundo: TensorFlow o Chainer?
Cómo calcular la probabilidad de que una oración aparezca en algún lugar del texto usando Word2Vec
¿Cómo se usa el aprendizaje automático en FinTech (P2P, pagos), particularmente fuera de algo trading? ¿Alguien tiene ejemplos específicos en punto a punto, verificación de crédito, pagos, etc.?
¿Cuáles son las opiniones de Yoshua Bengio sobre Kaggle y el aprendizaje automático competitivo en general?
¿Cuáles son las diferencias, similitudes, pros, contras, aplicaciones y descripciones de Keras, TensorFlow, Theano?
Utilizando la regresión logística y la regularización L1 / L2, ¿debo preocuparme por la selección de características?
¿Por qué podría mejorarse el arrepentimiento del bandido lineal mediante una proyección aleatoria?
¿Por qué se congelan los pesos en el discriminador de GAN durante el entrenamiento?
¿Qué tipo de servicio suele ofrecer el inicio del procesamiento del lenguaje natural?
