¿Qué se entiende exactamente por pesos compartidos en una red neuronal convolucional?

Los pesos compartidos básicamente significan que se usan los mismos pesos para dos capas en el modelo. Esto básicamente significa que se utilizarán los mismos parámetros para representar dos transformaciones diferentes en el sistema. Esto significa básicamente que los mismos elementos de la matriz pueden actualizarse varias veces durante la propagación inversa desde gradientes variados. El mismo conjunto de elementos facilitará las transformaciones en más de una capa en lugar de las de una sola capa como las convencionales.

Esto generalmente se hace en arquitecturas como la siamesa que tienden a tener troncos paralelos entrenados de forma simultánea. En ese caso, el uso de pesos compartidos en algunas capas (generalmente las capas inferiores) ayuda a que el modelo converja mejor. Este comportamiento, como se observó, puede atribuirse a representaciones de características más diversas aprendidas por el sistema. Dado que las neuronas correspondientes a las mismas características se activan en diversos escenarios. Ayuda a modelar para generalizar mejor.

Aquí hay un pequeño extracto de una serie de conferencias de aprendizaje profundo que estoy escribiendo actualmente. ¡Publicaré todos los tutoriales y el código dentro de unas semanas cubriendo muchos más temas aquí! Entonces sígueme @ ajarai (Goku Mohandas)

Entonces, por ejemplo, si quiero detectar bordes verticales en una imagen, no debería tener que aprender a detectar los bordes verticales en cada una de las 55 * 55 ubicaciones distintas. Con este peso compartido, podemos usar los detectores de funciones aprendidas en todas partes.