ResNet y sus bloques residuales constituyentes obtienen sus nombres del ‘residual’, la diferencia entre los valores predichos y los objetivos. Los autores de ResNet utilizaron el aprendizaje residual de la forma H (x) = F (x) + x. Simplemente, esto significa que incluso en el caso de no residual, F (x) = 0, aún conservaríamos un mapeo de identidad de la entrada, x. El residual aprendido resultante permite que nuestra red no haga peor teóricamente (que sin ella).
Las conexiones residuales y las conexiones de salto se usan indistintamente . Estos tipos de conexiones pueden omitir varias capas (consulte la página 4 del documento original de ResNet), no solo una. En resumen, las conexiones residuales se utilizan para hacer que las redes más profundas sean más fáciles de optimizar. [1]
Las conexiones de mirilla redirigen el estado de la celda como entrada a las puertas de entrada, salida y olvido de LSTM. Puede explorarlos en detalle leyendo los documentos originales del profesor Felix Gers [2] [3]. Estas conexiones se utilizan para aprender tiempos precisos.
- ¿Cómo se usa el modelado bayesiano para la inteligencia artificial?
- Si quiero estudiar inteligencia artificial en el Reino Unido, ¿qué programas (principales) y qué universidades son las mejores opciones?
- ¿Dónde puedo encontrar todas las piezas para IBM Watson y quién me puede ayudar a construirlo?
- ¿Cuáles son algunas de las nuevas empresas de aprendizaje automático en 2016?
- ¿Por qué la búsqueda A * se llama búsqueda A *?
Notas al pie
[1] https://arxiv.org/pdf/1512.03385…
[2] http://www.jmlr.org/papers/volum…
[3] http: // ftp: //ftp.idsia.ch/pub/ju…
