¿Qué significa gradiente en Machine Learning?

Dado que el aprendizaje automático se trata de encontrar un modelo que se ajuste a sus datos “mejor”, debe definir “bueno” en primer lugar. Esto se hace mediante la elección de una llamada ‘pérdida’ o ‘función objetivo’ que debería minimizarse para los modelos de elección (existe nuestro ‘mejor’) y que debería ser grande para los modelos que no nos gustan. Ahora necesitamos encontrar un modelo tan optimizador. Una forma clásica de encontrar óptimos es tomar la derivada de la función objetivo, ponerla a cero y resolverla para el parámetro de su modelo. Si no tiene más de un parámetro, tendrá un gradiente en lugar de una derivada y su ecuación se convertirá en una ecuación vectorial. El gradiente puede considerarse como el vector en cada punto que apunta al próximo mínimo local de su función. Como no podemos hacer eso simplemente para los modelos más complicados, necesitamos encontrar una solución aproximada. Esto se puede hacer calculando el gradiente de nuestra función puntual y moviendo nuestros parámetros a lo largo de esta dirección para alcanzar un mínimo (con suerte global). Este enfoque se denomina “descenso de gradiente” y es una de las técnicas de optimización más básicas.