¿Cuál es la diferencia entre la deserción y la normalización de lotes?

Ambos métodos son métodos de ‘regularización por entrenamiento’. La regularización típica es explícita en la función objetivo (los ejemplos serían términos de regularización L1 y L2).

La deserción funciona porque el proceso crea múltiples conjuntos implícitos que comparten pesos. La idea es que para cada conjunto de entrenamiento, elimines al azar más del 50% de las neuronas. Así que efectivamente, momentáneamente tiene un subconjunto de la red neuronal original que ejecuta inferencia y obtiene su actualización de pesos. Tan eficaz que tiene muchas más redes neuronales trabajando como un conjunto para eventualmente realizar la clasificación.

La normalización de lotes es diferente en el sentido de que normaliza dinámicamente las entradas por mini lote. La investigación indica que al eliminar Dropout mientras se usa Batch Normalization, el efecto es un aprendizaje mucho más rápido sin una pérdida de generalización. La investigación parece haberse realizado en la arquitectura de inicio de Google.

Entonces, para responder la pregunta, use la Normalización de lotes en arquitecturas de inicio en lugar de DropOut. Mi intuición es que Inception ya tiene mucho peso compartido como consecuencia de su estructura óptima. Por lo tanto, los beneficios de generalización de DropOut tienen rendimientos decrecientes.

En cuanto a la pregunta de “¿Por qué BN proporciona una buena generalización?” Esa es otra pregunta.

Regularización de abandono, BN estabiliza la red.