La normalización virtual de lotes elimina por completo la posibilidad de correlación intra-lote, por definición. Eso significa que ningún otro método podría ser “un mejor ajuste” en términos de reducir ese efecto. Lo mejor que pueden esperar otros métodos es también eliminar el mismo problema, al tiempo que es mejor en algún otro aspecto.
La renormalización por lotes podría eliminar por completo la posibilidad de correlación intralote si r y d están completamente sin restricciones. En la práctica, ryd normalmente necesitan ser restringidos, especialmente al comienzo del aprendizaje. No me queda claro si esto sería un problema grave para entrenar GAN sin correlación intra-lote; Lo mejor es probablemente probar la renormalización por lotes y ver si funciona a pesar de las restricciones o ver si el aprendizaje continúa con éxito sin las restricciones.
Si la renormalización por lotes funciona, podría reemplazar la normalización virtual por lotes. La razón no es que la renormalización por lotes se ajuste mejor al problema de modelado; la razón es que la renormalización por lotes tiene la mitad de los requisitos de tiempo de ejecución y memoria.
- ¿Cuál es la definición de 'conjunto de desarrollo' en el aprendizaje automático?
- ¿Por qué Bayes ingenuo se considera un modelo generativo?
- ¿Cuáles son algunos ejemplos reales de modelos estadísticos que son pobres en la predicción pero útiles para la inferencia?
- ¿Hay algo que Deep Learning nunca podrá aprender?
- ¿Qué es el remuestreo en el aprendizaje automático?
