¿Por qué la notación de optimización de aprendizaje automático estándar considera cada peso individual en lugar de una matriz de peso completa por actualización?

Para un laico, los distintos tipos de notación científica tienen el mismo aspecto. Cuando ha alcanzado un nivel en el que cuestiona las diferencias y la variedad de notación disponible para usted, llega el pensamiento, heno, ¿por qué es esta la notación estándar? ¿Por qué no usar “matriz de peso completa por actualización”? Dado que ambas anotaciones pueden dar los mismos resultados, ¿por qué no puedo elegir la que prefiero?

Ser entendido es la respuesta principal.

La ciencia ha tenido dificultades para comunicarse entre las diferentes disciplinas y eso no excluye una disciplina específica, como en su caso. Entonces, si desea invertir el sistema y usar el suyo y no el estándar, hágalo y vea qué sucede.

Cálculo de vectores? ¿Quién tiene tiempo para eso?

Si está haciendo una diferenciación simple (función de costo cuadrática o lineal), obviamente está bien. Pero si la diferenciación es más complicada, si eres como yo, tendrás que buscar una lista de reglas para llevar a cabo la diferenciación por un vector o matriz.

Digamos que eres mejor en esto / más experimentado que yo, que probablemente eres. El verdadero problema es que todo lo que obtienes es otra declaración del mismo resultado, pero más compleja y con una notación más impenetrable.

(Lo que quiero decir con “impenetrable”: en una regla de actualización compleja, probablemente necesitará tener una combinación de productos de vector de matriz, productos de vector elemento por elemento o vectores diagonalizados. Y eso no entra en el tensor necesitará escribir la aritmética si está tratando de aprender un modelo profundo como una CNN).

Además, elemento por elemento está más cerca de la forma en que probablemente también va a implementar el algoritmo.

Hay dos métodos, uno es ver toda la matriz de peso y actualizarla en cada epoc, y el otro es incremental, ambos son buenos en ciertos casos y se usan por igual.