¿Qué requisitos previos debe tener para aprender la teoría de las redes neuronales artificiales?

Depende más o menos del tipo de Redes Neuronales Artificiales (ANN) de las que estás hablando. Suponiendo que esté interesado en tomar un curso estándar de nivel de posgrado en ANN que cubra los conceptos básicos de paradigmas de aprendizaje supervisados ​​y no supervisados, debo decir que lo siguiente podría ser útil:

  • Es obligatorio tener una sólida formación en álgebra lineal : la necesitará para comprender realmente la teoría y facilitar la comprensión y la visualización de lo que está sucediendo con el llamado proceso de aprendizaje que los ANN son capaces de hacer. Además, para los ANN sin supervisión, también le ayudará a comprender gemetricamente de qué se trata este tipo de ANN.
  • También se requiere algún conocimiento de cálculo multivariado para seguir cómo se derivan los algoritmos de aprendizaje (especialmente en el caso de aprendizaje supervisado) para ciertos tipos de ANN.

Esos son los requisitos básicos más básicos. Ahora, si quieres profundizar en el mundo de las ANN, entonces también recomendaría lo siguiente:

  • Un curso introductorio sobre optimización no convexa y programación lineal debería ser útil. Resulta que el proceso de aprendizaje en ANNs puede manejarse mediante métodos de optimización, lo que debería facilitarle la vida si ya tiene ese conocimiento.
  • Las estadísticas avanzadas deberían ser útiles si el curso que está tomando cubre los enfoques de regularización para el aprendizaje de ANN, que está muy relacionado con la regresión de crestas en las estadísticas.
  • Las matemáticas discretas (en su mayoría combinatorias) deberían ser útiles si el curso cubre Máquinas de vectores de soporte y, en particular, Teoría del aprendizaje estadístico [1].
  • La probabilidad y los procesos estocásticos también serán útiles si el curso cubre ANN probabilísticos y también si la naturaleza de algunos de los problemas cubiertos en el curso es estocástica (como el control estocástico). Además, existe una fuerte relación entre los modelos de proceso gaussianos utilizados para los problemas de regresión y clasificación y los ANN.
  • El Diseño y Análisis de Algoritmos es obviamente un buen antecedente para tomar cualquier curso de informática. Sin embargo, para comprender las NNA, será más útil si entre los temas tratados hay problemas de toma de decisiones y control secuenciales, que generalmente requieren una buena formación no solo en probabilidad sino también en Programación dinámica (DP).
  • La teoría de la información proporciona una buena base si está buscando problemas de aprendizaje teórico de la información [2] que aprovechan las correlaciones estadísticas subyacentes entre las variables de entrada / salida.

Finalmente, ¿necesitarías saber algo de neurociencia? Probablemente no. Aunque los ANN están inspirados en la forma en que funciona el cerebro, no se basan en prácticamente ninguna teoría de neurociencia. Por supuesto, los ANN biológicos plausibles son un área de interés hoy en día, lo que incluye, por ejemplo, modelos de memoria temporal jerárquica. Pero tales modelos aún no están lo suficientemente extendidos como para tener un tratamiento matemático decente asociado a ellos.

Enlaces externos:

[1] Teoría estadística del aprendizaje: http://en.wikipedia.org/wiki/Sta…

[2] Aprendizaje teórico de la información: http://www.cnel.ufl.edu/research…

Matemáticas de nivel universitario y un lenguaje de programación como Java o Python.

Hemos elaborado una lista de requisitos previos aquí: Aprendizaje profundo para principiantes