Las matemáticas son muy importantes para el aprendizaje profundo. Te recomiendo que aprendas matemáticas desde una perspectiva de herramientas. A continuación detallaré los dos aspectos diferentes del aprendizaje profundo y las matemáticas pertinentes.
Diseño de modelo y comprensión
Los modelos de aprendizaje profundo consumen datos y mezclan señales mediante la aplicación de varias transformaciones de matriz y vector. Por ejemplo, una aplicación de capa densa es una multiplicación Matrix-Vector. Para comprender e implementar rápidamente estos modelos, debe sentirse muy cómodo implementando operaciones matemáticas utilizando transformaciones de matriz. Por ejemplo, mire este documento y cómo están jugando con las matemáticas de matriz y vectores: Atención jerárquica para clasificaciones de documentos.
- ¿Cuáles son las diferencias entre el enfoque basado en reglas y el enfoque de aprendizaje automático en el análisis de sentimientos?
- ¿Qué debería aprender primero para el aprendizaje automático y la autoeducación: cálculo, probabilidad, estadística o álgebra lineal?
- ¿Cuál es un algoritmo de detección de imagen apropiado para detectar corrosión / óxido?
- ¿Qué significa el espacio de hipótesis en Machine Learning?
- Cómo aplicar mis conocimientos de aprendizaje automático para invertir en el mercado de valores indio
Entonces, el álgebra lineal básica es muy importante aquí. Partes de este curso del MIT serán realmente útiles.
Ciencias e Ingeniería Computacional I
Lea también la primera parte del libro Deep Learning.
http://www.deeplearningbook.org/…
Esto le dará suficiente experiencia con la lectura de ecuaciones que involucran matrices y también introducirá algunos conceptos importantes.
Entrenamiento modelo
Las redes neuronales son una composición compleja de funciones. El método más popular para entrenarlos es usar el Descenso de gradiente estocástico. Este método requiere derivada de la función de pérdida wrt los parámetros del modelo. Para comprender el Descenso de gradiente para redes neuronales, debe comprender el algoritmo de propagación hacia atrás.
Cálculo en gráficos computacionales: propagación hacia atrás
Al mismo tiempo, los parámetros del modelo deben inicializarse correctamente para que los gradientes no desaparezcan ni exploten. Esto asegura el aprendizaje adecuado del modelo. Los temas necesarios para comprender la optimización de la red neuronal tienen un rango muy amplio. El contenido del curso MIT y del libro Deep Learning ayudará. Además, lea lo siguiente del libro Deep Learning.
Regularización
Mejoramiento
Cuando leo documentos sobre nuevas funciones y técnicas de activación para entrenar el modelo, me encuentro regularmente con las matemáticas relacionadas con:
- Estadística
- Propiedad de matrices como valores propios, vectores propios, condicionamiento, etc.
- Teoría de probabilidad
- Cálculo integral
- Teoría sobre propiedades de funciones como puntos estables, puntos fijos.
Mi consejo aquí es simple
- Leer resumen y conclusión de trabajos. Para entender si hace algo útil.
- Luego lea los detalles e intente comprender las matemáticas.
- Rellene los huecos leyendo material adicional.
Por ejemplo, en este momento estoy leyendo [1706.02515] Redes neuronales autorreguladoras y tiene muchas matemáticas para las que tuve que consultar otro material.
