¿Por qué cada filtro aprende diferentes características en una red neuronal convolucional?

Dos razones:

• Los pesos de los filtros se inicializan aleatoriamente.
• Diferentes mapas de características reducen la función de costo

La inicialización aleatoria de los pesos probablemente asegurará que cada filtro converja a mínimos locales diferentes en la función de costo. Es muy poco probable que cada filtro comience a parecerse a otros filtros, ya que eso casi con seguridad daría lugar a un aumento de la función de costo y, por lo tanto, ningún algoritmo de descenso de gradiente se dirigiría en esa dirección.

Algunos realmente aprenden las mismas características

Pero cuando ya hay un filtro para una característica (digamos borde vertical), los parámetros de otros filtros son mejores para filtrar otras características buenas que aún no están allí. Porque si hay un filtro de bordes verticales, la detección de bordes verticales ya ha disminuido la función de pérdida, y los parámetros podrían reducirla aún más al filtrar bordes horizontales, por ejemplo.

Considere una función de pérdida que se ve así:

Imagine que cada peso en la red tiene esta misma función de pérdida.

Luego, si inicializa los pesos al mismo valor (por ejemplo, en el lado izquierdo de la joroba), los pesos probablemente terminarán en el mismo lugar después del descenso del gradiente, es decir, el mínimo local izquierdo. Si los inicializa al azar, y un peso termina en un lado de la joroba y el otro en el otro lado, entonces probablemente terminarán encontrando diferentes óptimas locales. Eso corresponde a descubrir dos características diferentes.