Puede que no sea lo que está buscando, pero estoy escribiendo una pequeña serie de artículos de blog sobre la maquinaria detrás del aprendizaje automático, que es principalmente la optimización matemática cuando se trata de aplicar algoritmos para entrenar la mayoría de sus modelos o adaptarlos a los datos. Es algo bastante básico, ya que no tiene como objetivo proporcionar las pruebas, sino que trata de hacer que los principios de funcionamiento de la maquinaria sean transparentes. Actualmente, los pasos analizados no son los mejores, por lo que Wolfe-Powell y más aún está por venir, pero podría servir como una introducción a las ideas básicas de Optimización matemática, y hay un repositorio de github con código R disponible donde puede vea una implementación concreta de varios métodos de pasos, tanto exactos como inexactos:
La parte 1 trata sobre el ingrediente básico de los algoritmos de optimización iterativos y su significado concreto:
La maquinaria detrás del aprendizaje automático – Parte 1 – blog codecéntrico
- Cómo usar big integer en C ++
- Aprendizaje automático: ¿cómo se puede saber cuándo combinar diferentes características sería útil?
- ¿Cómo soluciona un máximo A posterior el problema de sobreajuste en una estimación de máxima verosimilitud?
- ¿Dónde puedo encontrar excelentes bibliotecas de aprendizaje automático para Java?
- ¿Qué son las redes neuronales profundas?
La Parte 2 trata de minimizar algunas funciones de prueba concretas para comprender las propiedades más importantes de los métodos:
La maquinaria detrás del aprendizaje automático – Parte 2 – blog codecéntrico
La parte 3 aplica los métodos a un problema de regresión lineal para mostrar cómo el tiempo de entrenamiento de los algoritmos de aprendizaje automático “reales” depende del marco de optimización subyacente: los siguientes artículos cubrirán la regresión logística y un sistema de recomendación basado en la factorización matricial ( Una forma de implementar un método concreto de filtrado colaborativo):
La maquinaria detrás del aprendizaje automático: un punto de referencia para la regresión lineal – blog codecentric
Espero que esto ayude, esta serie continuará, ya que me gustaría abarcar métodos de optimización más avanzados, como los métodos de gradiente conjugado (no lineal) y los métodos cuasi-Newton como BFGS, además, hay que analizar algunas variantes del tamaño de paso de Wolfe-Powell; de lo contrario, esto No se sentiría completo. Existen técnicas más avanzadas, yo mismo soy un gran fanático de los métodos de la Región de Confianza, pero lo primero es lo primero 😉
