La regla de Hebb está demasiado simplificada y desactualizada. Fue una caracterización muy aproximada de algunas de las primeras observaciones en neurociencia. No es una buena descripción de cómo funciona realmente el cerebro y ya no se usa en el aprendizaje automático.
La regla de Hebb básicamente decía que si dos neuronas se disparaban al mismo tiempo, la conexión entre ellas debería fortalecerse. Esto solo es cierto si algo bueno sucedió como resultado del disparo de esas dos neuronas. Si sucedió algo malo, entonces la conexión debería debilitarse.
Las dos reglas se parecen un poco en un nivel matemático superficial.
- He realizado el curso de aprendizaje automático de Andrew Ng pero no lo he programado. ¿Debo decir que tengo los conocimientos básicos?
- Además de las redes neuronales profundas, ¿existen antecedentes para cálculos largos con una inferencia máxima a posteriori eficiente?
- ¿Por qué el uso de información mutua / ganancia de información / funciones similares funciona mejor que simplemente usar el error promedio (usando probabilidad) para un booleano (conjunto de datos de 2 clases) al construir un árbol de decisión?
- ¿Cuál es el mejor enfoque híbrido para construir un sistema de recomendación para datos de música?
- En cuanto al aprendizaje automático o el aprendizaje profundo, ¿existe el fenómeno de que el modelo funciona bien pero el diseñador no puede explicar la razón?
Si tienes una capa lineal que calcula
output_vector = dot_product (input_vector, weight_matrix)
entonces la dirección de actualización de aprendizaje de Hebbian es
producto_externo (input_vector, output_vector)
y la dirección de actualización basada en gradiente es
producto_externo (input_vector, gradiente (objetivo, output_vector)).
Entonces, ambos se basan en la correlación entre la entrada y otra variable, pero eso es tan profundo como la conexión.
