Como ya mencionó en un comentario, la segunda forma es matemáticamente incorrecta. El flujo de trabajo de entrenar una red neuronal es básicamente
- Calcule implícitamente el gradiente de la función objetivo en los pesos actuales , haciendo propagación de error. Los errores en la capa de origen son iguales a los pesos (conectando src y dst) multiplicados por los errores en la capa de destino.
- Actualice los pesos usando el gradiente de arriba. Tenga en cuenta que, por razones de rendimiento, el gradiente a veces no se calcula explícitamente. Está codificado en los valores neuronales y los errores. (La derivada con respecto a un peso, es decir, la conexión, es el producto del valor de origen y el error de destino).
(Para obtener una descripción matemática, consulte la publicación de mi blog Mejores prácticas de la red neuronal).
Si actualiza los pesos antes de actualizar los errores en la capa de origen, ya no está haciendo entrenamiento basado en gradiente, punto.
- ¿Puedes hacer fósiles artificiales?
- ¿Cómo se usa la inteligencia artificial para evitar el fraude en la banca por Internet?
- Si la IA es realmente una forma simulada de inteligencia, ¿por qué necesitaría computadoras?
- ¿La tecnología de IA es demasiado temprana?
- ¿Cómo afectará la inteligencia artificial a la industria del juego?
