¿Por qué se utilizan diferentes funciones de pérdida con diferentes algoritmos de aprendizaje automático?

Porque las funciones objetivas individuales se optimizan mejor cuando se usan esas funciones específicas de pérdida (costo).

Por ejemplo, la regresión es más fácil de optimizar usando la pérdida cuadrada en comparación con, por ejemplo, la pérdida de valor absoluto.

(Lo siento, pero eso es todo, hay muchos libros escritos sobre eso, PRML es un buen libro para leer)

El objetivo de la función de pérdida es describir en términos matemáticos lo que desea que su modelo pueda hacer, y optimizarlo conduce a encontrar los parámetros que mejor se adapten a ese comportamiento. Esto se reduce a la optimización (numérica en su mayor parte). Por ejemplo, en la regresión lineal, es posible que tenga una matriz de características A, un vector de pesos xy un vector de puntos de datos y (suponiendo que 1 dy el sesgo estén incluidos en A). Ahora desea encontrar los valores de x que le brinden el mejor ajuste a los datos observados. ¿Qué harías? Desea que su modelo acumule la menor cantidad de error en general … es decir, desea minimizar la suma de los errores. Eso sería una suma mínima del eje y, pero podría tener un error de predicción de +1 y otro de -1, y en esa suma se cancelarían entre sí. Bueno, el firmado no debería importar, sigue siendo un error, por lo que podría hacer una suma mínima (y – Ax) ^ 2, ahora cualquier error es positivo y minimizarlo minimizaría el error general de un ajuste lineal. Así es como se llega a la suma de los errores al cuadrado como una pérdida.

al final, todo depende de lo que intente lograr y la formulación de su modelo.

Lo siento si la pregunta parece tonta. Soy muy nuevo en el aprendizaje automático.

No entiendo por qué se usan diferentes funciones de pérdida cuando se usa un clasificador SVC de las que se usan al entrenar una red neuronal profunda.

¿No se aplicaría la mejor función de pérdida a todos los algoritmos? Supongo que esos funcionan de manera diferente, por lo que no hay un mejor absoluto . Pero aún no entiendo por qué varía su rendimiento.