¿Por qué se necesitan varias épocas para el aprendizaje profundo?

1 época = 1 pase hacia adelante + 1 pase hacia atrás en el conjunto completo de ejemplos de entrenamiento.

1 iteración = 1 pasada hacia adelante + 1 pasada hacia atrás en un lote de datos.

Digamos que tiene 100 ejemplos y el tamaño del lote es 50, luego le tomará dos iteraciones para recorrer los ejemplos completos de capacitación.

Entonces aquí 1 época = 2 iteraciones.

Ahora, después de 1 época, es posible que no aprenda los mejores pesos. Puede definir los mejores pesos como los pesos que minimizan la función de pérdida y, por lo tanto, el requisito de múltiples pases (hacia adelante + hacia atrás) en los ejemplos de entrenamiento hasta que converja o no vea mucha ganancia en la minimización.

Los algoritmos de aprendizaje basados ​​en el gradiente decente son el algoritmo de aprendizaje más utilizado en el aprendizaje profundo ya que muestra mejores capacidades de aprendizaje.

Gradiente decente se puede explicar de la siguiente manera:

Un helicóptero dejó caer a una persona ciega al azar en algún lugar y su objetivo era encontrar el valle más bajo que pudiéramos alcanzar. Desde su posición actual, comprueba la pendiente de la tierra con un palo y sigue la pendiente para lograr su objetivo. Esta ubicación puede contener muchos valles, pero puede no ser el valle más bajo. A veces, la persona ciega puede quedar atrapada en un valle rodeado de montañas que no es el valle más bajo, ya que solo verifica la pendiente en su ubicación actual, por lo tanto, supone que este es el valle más bajo que pudo encontrar.

Razón por la cual múltiples épocas:

La mejor manera de resolver este problema es dejar caer a esta persona nuevamente al azar en otro lugar e intentar encontrar el valle más bajo más de una vez. Registre todo el valle más bajo y encuentre el más bajo entre ellos.

No, si tienes suficientes datos. Pero obtener una cantidad tan grande de datos de entrenamiento (etiquetados) es costoso. Una solución más simple es usar menos datos y usarlos varias veces. Los datos de entrenamiento deben ser representativos del espacio completo de posibilidades.

Porque el método más común para el entrenamiento en aprendizaje profundo es una forma de descenso gradual. Cada época encuentra la dirección aproximada que necesita ajustar cada parámetro, pero es solo aproximada. Si ajusta demasiado en una época, excederá el conjunto de parámetros que realmente está tratando de encontrar.

Porque los solucionadores no son perfectamente eficientes. Requiere varias veces el aprendizaje de una pieza de datos. Es un proceso, en lugar de calcular la solución directamente.