Mi recomendación sería comenzar leyendo sobre el descenso del gradiente estocástico, seguido por el descenso del gradiente proximal estocástico. Si planea investigar modelos probabilísticos de ML, el muestreo de Metropolis-Hastings y Gibbs también son buenas opciones.
Tal vez se pregunte por qué sugerí algoritmos particulares en lugar de campos matemáticos más amplios, como álgebra lineal u optimización convexa. Mi razón es que me gusta pensar que los problemas de ML abarcan 5 capas:
- datos de entrada
- Modelo ML: por ejemplo, regresión logística, factorización matricial, redes neuronales convolucionales
- solucionador de modelos o técnica algorítmica, por ejemplo, descenso de gradiente estocástico
- Implementación de software
- sistema de hardware, por ejemplo, CPU, GPU, clústeres distribuidos
Se necesitan conocimientos matemáticos para comprender y manejar el modelo ML y las capas de técnica algorítmica, por lo que me centraré en ellas. Para descubrir una buena estrategia para aprender este conocimiento matemático, consideremos las siguientes observaciones:
- ¿Qué tipo de personas van a DEFCON? ¿Qué tipo de personas deberían ir?
- ¿Es el poder computacional de Probe Machine más fuerte que el de la máquina de Turing? ¿Por qué?
- ¿En qué orden de dificultad consideraría publicar en CVPR, ICCV, ECCV, BMVC y NIPS?
- ¿Qué significan los datos estacionarios en el aprendizaje automático y la ciencia de datos?
- ¿Cómo sería un 'Cyber Pearl Harbor'?
- Los modelos ML y las técnicas algorítmicas forman un gráfico bipartito. Dado un modelo de ML, existen múltiples técnicas algorítmicas que pueden resolverlo, por ejemplo, la regresión lineal puede resolverse utilizando el descenso de gradiente estocástico, métodos cuasi-newton o solucionadores lineales. Lo mismo ocurre al revés: dada una técnica algorítmica, se puede aplicar a muchos modelos de ML, por ejemplo, el descenso de gradiente estocástico se puede usar para resolver la regresión logística, la factorización matricial y la mayoría de los modelos de aprendizaje profundo.
- Hay muchos más modelos de ML que técnicas algorítmicas. La mayor parte de la actividad de investigación de ML se trata de cambiar gradualmente los modelos de ML, con el fin de mejorar el rendimiento y la precisión en las tareas del mundo real (como recomendar libros o clasificar imágenes, etc.). A menudo, el modelo ML modificado se puede resolver con la misma técnica algorítmica que el modelo ML original.
Teniendo en cuenta esta imagen, tiene sentido concentrar su aprendizaje de matemáticas en técnicas algorítmicas de uso común y, por lo tanto, crear una base de conocimiento compartida para explorar el espacio de los modelos ML . Comprender un nuevo modelo de ML se vuelve mucho más fácil si ya está familiarizado con al menos una técnica algorítmica que puede resolverlo.
