¿Sería justo decir que todos los algoritmos de aprendizaje automático se generalizan a un puñado de principios básicos de aprendizaje?

Algunos candidatos:

  • La regla de Bayes: obviamente para todas las técnicas bayesianas, y mucho trabajo en modelos gráficos probabilísticos.
  • Descenso de gradiente (que incluía la mayoría de los algoritmos para redes neuronales)
  • Búsqueda codiciosa

Esos tres (a veces combinados) son muy comunes en muchas técnicas de ML.

Ahora, ¿sería justo decir que todas las técnicas de ML se generalizan a estos tres? No, en absoluto. Hay muchos, muchos más algoritmos que no están cubiertos.

Por ejemplo:

  • SVM
  • árboles de decisión / regresión (aunque muchos algoritmos de árbol usan alguna forma de búsqueda codiciosa)
  • técnicas basadas en factorización matricial

Todavía hay muchos más algoritmos, por lo que podemos seguir ampliando la lista cada vez más.

No está claro cuándo se detendría. ¿Cuándo considera que un algoritmo es una generalización de un principio, o un principio novedoso? Dependiendo de eso, puede hacer su lista tan corta o tan larga como desee.