1)
Álgebra lineal: un colega, Skyler Speakman, dijo recientemente que “El álgebra lineal es la matemática del siglo XXI” y estoy totalmente de acuerdo con la declaración. En ML, Álgebra lineal aparece en todas partes. Temas como Análisis de componentes principales (PCA), Descomposición de valores singulares (SVD), Descomposición propia de una matriz, Descomposición LU, Descomposición / Factorización QR, Matrices simétricas, Ortogonalización y ortonormalización, Operaciones matriciales, Proyecciones, Valores propios y vectores propios, Espacios vectoriales y normas son necesarios para comprender los métodos de optimización utilizados para el aprendizaje automático. Lo sorprendente de Linear Algebra es que hay tantos recursos en línea. Siempre he dicho que el aula tradicional está muriendo debido a la gran cantidad de recursos disponibles en Internet. Mi curso favorito de álgebra lineal es el que ofrece MIT Courseware (Prof. Gilbert Strang).
2)
- Quiero hacer aplicaciones de visión por computadora. ¿Dónde empiezo?
- ¿Por qué algunos sistemas de recomendación, como Netflix, dejan de funcionar con demasiadas calificaciones?
- ¿Por qué la mayoría de las competencias recientes se centran en el aprendizaje profundo / redes neuronales? ¿No crea esto un desequilibrio en los tipos de problemas que se ofrecen?
- ¿Cuál es la diferencia entre la regresión logística y Naive Bayes?
- ¿Las redes neuronales convolucionales construyen simetrías locales o globales?
Teoría de la probabilidad y estadísticas: el aprendizaje automático y las estadísticas no son campos muy diferentes. En realidad, alguien definió recientemente Machine Learning como ‘hacer estadísticas en una Mac’. Algunas de las Teorías estadísticas y de probabilidad fundamentales necesarias para ML son Combinatoria, Reglas y axiomas de probabilidad, Teorema de Bayes, Variables aleatorias, Variación y expectativa, Distribuciones condicionales y conjuntas, Distribuciones estándar (Bernoulli, Binomial, Multinomial, Uniforme y Gaussiano), Momento Funciones generadoras, Estimación de máxima verosimilitud (MLE), Estimación previa y posterior, Estimación máxima a posteriori (MAP) y Métodos de muestreo.
3)
Cálculo multivariante: algunos de los temas necesarios incluyen cálculo diferencial e integral, derivadas parciales, funciones de valores vectoriales, gradiente direccional, distribución hessiana, jacobiana, laplaciana y lagragiana.
4)
Algoritmos y optimizaciones complejas: esto es importante para comprender la eficiencia computacional y la escalabilidad de nuestro algoritmo de aprendizaje automático y para explotar la escasez en nuestros conjuntos de datos. Se necesitan conocimientos de estructuras de datos (árboles binarios, hash, montón, pila, etc.), programación dinámica, algoritmos aleatorios y sublineales, gráficos, gradientes / descensos estocásticos y métodos primarios-duales.
5)
Otros: Esto comprende otros temas de matemáticas que no están cubiertos en las cuatro áreas principales descritas anteriormente. Incluyen análisis real y complejo (conjuntos y secuencias, topología, espacios métricos, funciones de valor único y continuo, límites, núcleo de Cauchy, transformadas de Fourier), teoría de la información (entropía, ganancia de información), espacios de funciones y manifolds.
Algunos MOOC y materiales en línea para estudiar algunos de los temas de Matemáticas necesarios para el aprendizaje automático son:
•
Álgebra lineal de la Academia Khan, probabilidad y estadística, cálculo multivariable y optimización.
•
Codificación de la matriz: álgebra lineal a través de aplicaciones informáticas por Philip Klein, Brown University.
•
Álgebra lineal – Fundamentos a las fronteras por Robert van de Geijn, Universidad de Texas.
•
Aplicaciones de Álgebra Lineal, Parte 1 y Parte 2. Un curso más nuevo de Tim Chartier, Davidson College.
•
Joseph Blitzstein – Harvard Stat 110 conferencias.
•
Libro de Larry Wasserman – Todas las estadísticas: un curso conciso en inferencia estadística.
•
Curso de Boyd y Vandenberghe sobre optimización convexa de Stanford.
•
Álgebra lineal – Fundamentos a las fronteras en edX.
•
Introducción de Udacity a las estadísticas.
