¿Cuál es su enfoque para el diseño de redes neuronales convolucionales?

Creo que la mejor guía para elegir una arquitectura de red neuronal sería asegurarse de que la estructura con la que termina pueda representar el conocimiento que desea capturar o la decisión que desea tomar.

La profundidad significa más riqueza en la representación del conocimiento jerárquico. Entonces, comenzaría con algo lo suficientemente grande como para representar datos complejos y tomar decisiones de la representación.

Entonces, supongamos que su arquitectura es demasiado grande, demasiadas capas, núcleos demasiado grandes o lo que sea. No le importa mientras pueda permitirse el tiempo de computación. ¿Por qué? Porque cuando coloca componentes superfluos en la red, el proceso de capacitación se asegurará de que los coeficientes de los componentes se capaciten para que la red pueda producir buenos resultados de todos modos.

El problema inverso no se resolverá tan fácilmente, es decir, tener una estructura incapaz de representar la decisión que debe tomar. Por lo tanto, cuando alcanza un resultado satisfactorio utilizando su gran red, puede comenzar a reducir la arquitectura e intentar acelerar el entrenamiento y también avanzar hacia la red.

¿Tiene sentido?

Al diseñar la topología de la red, puede considerar el campo receptivo local. Supongamos que está trabajando en imágenes de caras., Donde cada imagen es [matemática] 224 \ veces 224 \ veces 3 [/ matemática], y supongamos además que la región de la cara comprende aproximadamente [matemática] 160 \ veces 125 [/ matemática]. Estamos interesados ​​en la región de la cara, por lo que cuando diseñe una red para esto, debe verificar el campo receptivo para asegurarse de que una sola salida provenga de una región de cara completa, es decir, [matemática] 160 \ veces 125 [/ matemática]. De lo contrario, nunca vemos una cara llena.

Recordar: campo receptivo significa el número de píxeles de entrada que se combinan para formar un único elemento de salida.

Creo que el primer paso es probar un modelo conocido que se propuso para un modelo similar (utilizando el aprendizaje de transferencia cuando sea posible), y tratar de comprender los pros y los contras. Luego puede leer documentos para ver si se puede adoptar alguna idea en otras redes para ajustar su estructura probada. Después de eso, puede tener una comprensión mucho más profunda del problema y el modelo. Es hora de que liberes tu imaginación.