¿Cómo se emplea una parada temprana en TensorFlow?

Una opción es implementar Early Stopping usted mismo evaluando el rendimiento de su modelo en un conjunto de validación cada N pasos durante el entrenamiento, y guardando una instantánea “ganadora” del modelo (usando un protector) cuando el modelo supera a la instantánea anterior “ganadora”. Al final del entrenamiento, solo restaure la última instantánea del “ganador”. Tenga en cuenta que no debe detenerse de inmediato cuando el rendimiento comienza a disminuir, ya que puede mejorar algunos pasos más tarde. Una buena estrategia es contar el número de pasos desde la última vez que se guardó una instantánea “ganadora”, y detenerse cuando este contador sea lo suficientemente grande como para que pueda estar seguro de que la red nunca lo superará.

Otra opción es utilizar la clase `ValidationMonitor` de TensorFlow y establecer sus parámetros` early_stopping`. Esto está documentado aquí.

Recomiendo escribir algo similar a la devolución de llamada anticipada de Keras: devoluciones de llamada – Documentación de Keras

Queremos definir un cambio mínimo aceptable (min_delta) en la función de pérdida y un parámetro de paciencia que una vez excedido desencadena la detención temprana. Por ejemplo, suponiendo que estamos ahorrando nuestra pérdida promedio por época en hist_loss, podemos escribir:

para época en rango (entrenamiento_epocas):
# …
# parada temprana
paciencia = 16
min_delta = 0.01
si epoch> 0 y hist_loss [epoch-1] – hist_loss [epoch]> min_delta:
patience_cnt = 0
más:
paciencia_cnt + = 1

if paciencia_cnt> paciencia:
print (“parada temprana …”)
descanso

Cuando la pérdida aumenta o cuando deja de disminuir en más de min_delta, se activa el contador de paciencia. Una vez que el contador de paciencia expira, el ciclo de iteración finaliza y se detiene antes de tiempo.

Guarde el modelo cada k cantidad de épocas.
Trace el gráfico de validación para descubrir qué modelo ocurre justo antes de detenerse temprano y usar ese modelo.
Básicamente, debe poder diagnosticar su red mientras se está ejecutando.