Como otros mencionaron antes, se reducirá principalmente a Estadísticas y Álgebra Lineal. Sin embargo, estoy muy sorprendido de lo vagas que son las respuestas.
Hay muchas técnicas diferentes en las que puedes especializarte, así que intentaré mencionar algunos lugares donde puedes comenzar. Con suerte, te hará darte cuenta de que hay mucho que cubrir y cómo puedes comenzar a hacerlo.
Álgebra lineal
- ¿Cuál es el propósito de AdaGrad para la formación decente de la red neuronal de gradiente estocástico?
- ¿Cuáles son algunos libros sobrevalorados en aprendizaje automático, estadísticas y aprendizaje profundo?
- ¿Cuándo se utilizarían los bosques aleatorios sobre las máquinas potenciadas por gradiente (GBM)?
- ¿Qué algoritmo de aprendizaje automático debo usar cuando tengo 5-6 valores categóricos independientes y 1 variable continua dependiente?
- Regularización: ¿Por qué se llaman así los SVM L1 y L2 cuando ambos miden la distancia a un hiperplano a lo largo de la proyección ortogonal?
Temas:
- Vectores y matrices
- Multiplicación y transformaciones matriciales
- Análisis de vectores propios
- Sistemas de ecuaciones lineales
Buen lugar para aprender:
- Precálculo | academia Khan
- Álgebra Lineal | academia Khan
- Álgebra lineal
- http://cs229.stanford.edu/sectio…
Cálculo
Básicamente, debe poder hacer derivadas e integración de adentro hacia afuera.
Temas:
- Diferenciación
- Cadena de reglas
- Derivadas parciales
- Integrales
Buenos lugares para aprender:
- AP Cálculo AB | academia Khan
- Cálculo multivariable | academia Khan
Estadística
Probablemente, lo más importante es tener una comprensión bastante decente de la densidad de probabilidad y las funciones de masa (PDF y PMF) para la mayoría de las distribuciones comunes (como la familia gaussiana, binomial o exponencial).
Al final, si conoce las estadísticas realmente bien, puede convertir cualquier problema de aprendizaje automático en un problema de estadísticas. Incluso diría que los desarrollos actuales de aprendizaje automático (aparte del aprendizaje profundo) son solo redescubrimiento de estadísticas con el poder de cálculo de las computadoras modernas.
Además, omitiré cosas como el valor esperado , la varianza , etc., porque eso es básico.
Temas:
- Distribuciones y sus CDF y PDF:
- Binomio
- Poisson
- Familia exponencial
- Distribución gaussiana en particular
- Cálculo de CDF a partir de PDF
- Regla de Bayes
- Bayes ingenuos
- Cadenas de Markov
- Redes de creencias (o modelos gráficos en general)
Buenos lugares para aprender:
- Estadísticas y probabilidad
- Probabilidad | Estadísticas y probabilidad | Matemáticas | academia Khan
- Viaje a la teoría de la información.
- http://cs229.stanford.edu/sectio…
Mejoramiento
Y finalmente la optimización. Yo diría que es solo una parte del cálculo (y parece que Khan está de acuerdo), pero lo que sea. Aquí desea poder encontrar el mínimo o el máximo de alguna función.
Temas:
- Descenso de gradiente
- Descenso de gradiente estocástico (en línea)
- Maximización de Expectativas
Buenos lugares para aprender:
- Aplicaciones derivadas
- Aprendizaje automático – Universidad de Stanford | Coursera (nota: parece que Andrew Ng está enamorado de la pendiente descendente, por lo que está cubierto allí bastante bien)
¿Que sigue?
Hay mucho material en línea para el aprendizaje automático en línea, pero el problema es que la mayor parte es muy superficial y, sinceramente, no vale la pena su tiempo.
Sin embargo, iría con los siguientes cursos:
Aprendizaje automático – Universidad de Stanford | Coursera: un gran curso de introducción al aprendizaje automático de Andrew Ng. Cubrirá algunas estadísticas y una buena cantidad de álgebra lineal. Además, lo expone a algunos conceptos básicos de optimización decentes.
Modelos gráficos probabilísticos | Coursera – Curso bastante difícil por Daphne Koller. También es posible que desee consultar un libro, que el curso se basa en modelos gráficos probabilísticos. El curso le dará una introducción decente a los modelos probabilísticos bayesianos.
Redes neuronales para el aprendizaje automático – Universidad de Toronto | Coursera – Redes neuronales por Jeff Hinton. Si este curso es algo como era antes, tómelo solo si está realmente interesado en las redes neuronales. Te hace hacer algunos cálculos matemáticos adecuados para darte cuenta de cómo funcionan realmente esas redes. No lo tomaría como un principiante.
Sin embargo, ese curso no cubre algunos desarrollos más nuevos en DeepNets, por lo que es posible que desee ver CS224d: Deep Learning for Natural Language Processing o CS231n Convolutional Neural Networks for Visual Recognition para cubrir cosas como RNN y LSTM.
Un vistazo rápido
¿Qué te llevaría resolver esto?
- Resuelva [math] Xw = b [/ math] para w donde X es una matriz de datos yw es un vector de peso yb es un valor objetivo (constante).
- Calcule la divergencia de Kullback-Leibler entre [matemáticas] p (x) = N (x | \ mu, \ sigma ^ 2) [/ matemáticas] y [matemáticas] q (x) = N (x | m, s ^ 2) [ /matemáticas].
- Probar [matemáticas] p (x, y | z) = p (x | z) p (y | x, z) [/ matemáticas]
Dado todo esto, debe ser lo suficientemente bueno como para saber a dónde ir después.
Buena suerte
Estoy bastante seguro de que me he perdido algunas cosas importantes, pero también estoy seguro de que esto te pondrá en el camino correcto.
¡Buena suerte!