¿La pérdida de softmax es igual a la pérdida de entropía cruzada?

Técnicamente no porque “pérdida de softmax” no es realmente un término correcto, y “pérdida de entropía cruzada” sí lo es. Entonces, la pérdida de entropía cruzada es realmente el término correcto para describir la función: [matemáticas] – \ log \ left (\ frac {e ^ {f_ {y_i}}} {\ sum_j e ^ {f_ {j}}} \ right) [/ math]

El clasificador softmax es un clasificador lineal que utiliza la función de pérdida de entropía cruzada . En otras palabras, el gradiente de la función anterior le dice a un clasificador softmax cómo actualizar exactamente sus pesos usando algo como el descenso del gradiente.

En resumen, no son lo mismo. Sin embargo, las personas usan el término “pérdida de softmax” cuando se refieren a “pérdida de entropía cruzada” y, como saben lo que significan, no hay razón para corregirlas de manera molesta. Debido a que se usan indistintamente, los dos términos son efectivamente iguales.

Curso de redes neuronales convolucionales de Stanford sobre el clasificador Softmax

No. Softmax es un tipo de capa de activación y está dada por

lo que nos permite interpretar las salidas como probabilidades, mientras que la pérdida de entropía cruzada es lo que usamos para medir el error en una capa softmax, y está dada por [1]

Notas al pie

[1] Clasificación de red neuronal, datos categóricos, activación de Softmax y error de entropía cruzada