La deserción es una forma de regularizar la red neuronal. Durante el entrenamiento, puede suceder que las neuronas de una capa particular siempre se vean influenciadas solo por la salida de una neurona particular en la capa anterior. En ese caso, la red neuronal se sobreajustaría.
La deserción previene el sobreajuste y se regulariza cortando aleatoriamente las conexiones (también conocidas como caída de la conexión) entre las neuronas en capas sucesivas durante el entrenamiento.
En la imagen de arriba, las conexiones marcadas como X tienen el peso establecido en cero mientras la información fluye entre las dos capas. Elegimos al azar cuál de las conexiones debe establecerse en cero y esto se hace durante cada paso de entrenamiento. Esto asegura que la red se generalice mejor para los datos de entrada.
- ¿Es la singularidad realmente un peligro para la humanidad?
- ¿Cómo puede un estudiante promedio llegar a Andrew Ng para ser un discípulo suyo?
- ¿Puede una IA ser consciente de sí misma? Si no cuando?
- ¿Cómo elige una IA su primer movimiento de ajedrez?
- Si fuera a construir un modelo de IBM Watson basado únicamente en los servicios en la nube existentes, ¿qué servicios usaría para los distintos componentes y cómo los integraría?