El entrenamiento por lotes (o entrenamiento de mini lotes) es una técnica para mejorar el descenso de gradiente estocástico. El tamaño del lote es un parámetro de la técnica de entrenamiento por lotes.
El descenso de gradiente de mini lotes calcula el gradiente de los parámetros con respecto a un lote de ejemplos muestreados aleatoriamente. Esto se compara con el SGD de vainilla que calcula el gradiente con respecto a un solo ejemplo, o el descenso del gradiente de vainilla que calcula el gradiente con respecto a todos los ejemplos.
- ¿Puede AI crear su propio lenguaje de programación como lo hace Facebook?
- ¿Por qué los agentes de conversión se están generalizando ahora? ¿Es por razones tecnológicas o de mercado?
- ¿Cuál es el problema XOR en las redes neuronales?
- ¿Cómo se enseña la Inteligencia Artificial (IA) y el Aprendizaje automático (ML) en las universidades de 2/3 niveles en la India?
- En inteligencia artificial, ¿cuál es mejor, políticas o planes, y por qué?
Para resumir:
- Descenso de gradiente : descenso de gradiente de mini lotes cuando tamaño de lote = [matemática] n [/ matemática]. Variación más baja en las actualizaciones de errores, pero lenta.
- Descenso de gradiente estocástico : descenso de gradiente de mini lotes cuando el tamaño de lote = 1. La mayor variación en las actualizaciones de errores, pero rápido.
- Descenso de gradiente de mini lotes : para valores de tamaño de lote [matemática] k [/ matemática] en [matemática] 1 <k <n [/ matemática]. Un buen equilibrio entre la variación de actualización de errores y el tiempo de entrenamiento.
