La optimización de hiperparámetros se trata de la cantidad de datos que tiene en relación con la cantidad de parámetros. Los dos documentos citados ([1,2] en la pregunta) fueron los primeros en hacer una declaración sustancial sobre esto que la comunidad notó.
El estándar [math] \ vec \ alpha [/ math] que es el anterior en las probabilidades del tema del documento (ver [1]) no es como un previo estándar porque es un prior en las probabilidades del tema del documento, y la mayoría de los documentos son esperaba tener una cantidad no tan grande de palabras. Por lo tanto, la línea estándar de “los antecedentes no importan en el límite de datos grandes” no se aplica a estos hiperparámetros. Pero a medida que obtenemos un mayor número de documentos, podemos y debemos estimar [math] \ vec \ alpha [/ math], que es de lo que se trata [1,2]. Mallet hace esto con su variante anterior asimétrica-simétrica. Sin embargo, sus técnicas están algo anticuadas y demostramos en nuestro trabajo reciente (“Experimentos con modelos de temas no paramétricos”, Buntine y Mishra KDD 2014) que puede hacerlo mucho mejor. De hecho, también puede estimar [math] \ vec \ beta [/ math], que es la palabra del tema anterior.
La conclusión es que, cuando un hiperparámetro tiene miles de puntos de datos a los que afecta, y el impacto no se ahoga con grandes cantidades de datos, debe intentar estimarlo.
- En la clasificación binaria, ¿es una buena práctica siempre sobre / submuestrear su conjunto de datos para tener un número idéntico de muestras de las dos clases?
- ¿Cuáles son algunas buenas técnicas para la clasificación / segmentación de datos de series temporales?
- Diseño de vectores de características para algoritmos de aprendizaje automático. ¿Debo poner características de diferentes dominios en el mismo vector?
- ¿SVM siempre supera a J48? Tengo un caso de uso donde J48 funciona mejor. ¿Significa que algo está mal con mi enfoque / implementación?
- ¿Por qué se hace referencia a la validación como 'dev' en algunos ejemplos de programas de aprendizaje automático?
