Las PDE estocásticas, Brownian Motion, Martingales son herramientas y conceptos utilizados a menudo en análisis de series temporales, finanzas cuantitativas e industrias relacionadas. Quant Finance tiene una historia rica (aunque algo reservada) de ideas de investigación que sorprendentemente se superponen poco con el aprendizaje profundo “moderno” y el aprendizaje automático (quizás debido a la poca superposición académica / industrial entre las personas que estudian estadísticas y las personas que estudian ‘IA / ML’).
Por ejemplo, el aparente poder estadístico de ResNets (He et al. 2015) sobre las CNN profundas, de alguna manera, ha descubierto algo similar a cómo los modelos ARIMA (promedio móvil integrado autorregresivo – Wikipedia) tienen más poder estadístico que los modelos ARMA (Autoregresivo– modelo de media móvil – Wikipedia). Los investigadores de Deep Learning también han redescubierto recientemente la genialidad de los modelos autorregresivos para modelar distribuciones conjuntas complejas de manera manejable (Gregor et al. 2014 https://www.cs.toronto.edu/~amni…, PixelCNN, WaveNet, etc. )
Toda esta evidencia apunta al hecho de que hay muchas ideas geniales para ser fertilizadas entre procesos estocásticos, Brownian Motion, etc. y Deep Learning. Bayesian Deep Learning es un subtema realmente genial de Deep Learning que creo que proporcionará el marco matemático para unir muchas de estas teorías.
- ¿La investigación actual sobre el procesamiento del lenguaje natural gira principalmente en torno al aprendizaje profundo? Si no, ¿cuáles son las técnicas modernas alternativas?
- ¿Funciona el aprendizaje profundo si las entradas están en un espacio dimensional relativamente bajo?
- ¿Cuáles son los temas candentes para la investigación en Machine Learning?
- Cómo lidiar con datos sin patrones en los que necesito realizar un modelo de clasificación
- Cómo etiquetar los datos conversacionales para la capacitación en PNL
En general, cualquier “conocimiento externo”, sin importar cuán aparentemente no esté relacionado, puede ser útil para avanzar en un campo. Nuestra definición de cómo la “investigación del aprendizaje automático” es distinta de otros campos científicos (neurociencia, sistemas dinámicos) de estudio es algo así como una construcción social.
