Los hiperparámetros del modelo de sintonización no encontraron los parámetros óptimos que uso en mi modelo. ¿Por qué?

Hay una variedad de formas de lograr mejores hiperparámetros que la cuadrícula o la búsqueda aleatoria.

Si la función que está evaluando es relativamente barata de evaluar (tiempo de reloj de pared y / o CPU), y no es un espacio de parámetros demasiado complejo, entonces puede usar algoritmos basados ​​en población como Enjambre de partículas, Algoritmos genéticos o Evolución diferencial.

La optimización bayesiana es un enfoque más eficiente y flexible, por lo que si su función es costosa de evaluar o tiene un espacio de parámetros complejo, una herramienta como hyperopt puede funcionar bien.

Descargo de responsabilidad: La empresa para la que trabajo, SigOpt, está en este espacio, pero nuestro producto está dirigido a académicos, grupos de trabajo y empresas, no a usuarios individuales. Entonces, si estás en el grupo anterior, deberíamos hablar 🙂

El ajuste de los hiperparámetros es un problema difícil. Nunca tendrá parámetros óptimos, pero sí algunos útiles. Entonces, ¿quizás necesites sintonizar más iteraciones?