tl; dr: Básicamente es una rediseño normal con más mapas de características y algunos otros ajustes
La “profundidad” de una red neuronal es el número de capas, pero el “ancho” generalmente se refiere al número de neuronas por capa, o para las capas convolucionales, el número de mapas de características por capa. – Una capa convolucional con 64 mapas de características tendrá 64 tensores de parámetros diferentes alrededor de su volumen de entrada, por lo que su volumen de salida será de 64 neuronas de profundidad. Si esto suena confuso, consulte esta página de Redes neuronales convolucionales CS231n.
Una capa más amplia puede aprender más características diferentes, pero tendrá más parámetros que deben optimizarse y será más vulnerable al sobreajuste.
- ¿Qué son los componentes del procesamiento del lenguaje natural?
- ¿Las implementaciones físicas de las redes neuronales son claramente preferibles a las GPU?
- ¿Cuáles son algunas áreas de investigación en la intersección del aprendizaje automático y las criptomonedas?
- ¿Qué significa realmente 'Deep' en Deep Learning?
- ¿Cuál es el significado de 'distribucionalmente similar' en PNL?
Por lo tanto, una red ancha es solo una red con más mapas de características en sus capas convolucionales. Los resnets pueden hacerse extremadamente profundos sin perder precisión, pero en https://arxiv.org/pdf/1605.07146… intentan aumentar el ancho de los resnets por factores de 2–12 y obtienen buenos resultados. También experimentan cambiando el número de capas en cada bloque residual, agregando abandono dentro de los bloques res y agregando convoluciones 1 × 1 en algunos bloques.
