El método más simple es probablemente la Selección de características univariadas, donde se aplica una prueba estadística a cada característica individualmente. Solo conserva las mejores características de acuerdo con los puntajes de resultados de la prueba; Consulte la documentación de scikit-learn para ver la lista de las pruebas estadísticas más utilizadas:
http://scikit-learn.org/modules/…
Un método más robusto pero más de “fuerza bruta” donde el impacto de las características combinadas se evalúan juntas se denomina “Eliminación de características recursivas”:
- ¿Se utiliza R en la minería de datos a gran escala en grandes compañías de software como Facebook y LinkedIn?
- ¿Cuál es el algoritmo detrás de LinkedIn Pulse?
- ¿Qué conocimiento matemático se necesita para comenzar a trabajar en el aprendizaje profundo?
- ¿Cuál es la diferencia entre pre-entrenamiento y pre-procesamiento?
- ¿Cuál es la utilidad de la normalización por lotes en una red neuronal convolucional muy profunda?
- Primero, capacite a un modelo con todas las características y evalúe su desempeño en los datos retenidos.
- Luego deje caer, digamos las características 10% más débiles (por ejemplo, la característica con coeficientes absolutos mínimos en un modelo lineal) y vuelva a entrenar las características restantes.
- Itere hasta que observe una fuerte caída en la precisión predictiva del modelo.
Aquí hay un ejemplo, nuevamente usando scikit-learn:
http://scikit-learn.org/auto_exa…
Y aquí está la implementación:
https://github.com/scikit-learn/…
Si desea entrenar un modelo (generalizado) ya sea para clasificaciones (p. Ej., Regresión logística) o regresión (p. Ej., Regresión de cresta, también conocida como mínimo cuadrado penalizado l2), debe considerar agregar un regularizador L1 que promueva la selección de características * mientras * aprendizaje: coeficiente para las características más débiles se establece en cero por el algoritmo de aprendizaje en sí. El nombre habitual para el método lineal penalizado L1 es “el lazo”:
http://scikit-learn.org/modules/…
El valor óptimo de la fuerza del regularizador se puede encontrar mediante validación cruzada. Para hacer esto de manera eficiente, puede usar el método LARS como se describe aquí:
http://scikit-learn.org/modules/…
LARS permite calcular los valores de todos los coeficientes para diferentes valores de la fuerza de penalización (también conocida como la ruta de regularización) de manera muy eficiente:
http://scikit-learn.org/auto_exa…
También es posible calcular una ruta de regularización de manera eficiente con otros algoritmos como Descenso de coordenadas (y quizás también Descenso de gradiente estocástico) utilizando el truco “reinicios en caliente”:
http://scikit-learn.org/auto_exa…
Para tener en cuenta la inestabilidad de Lasso cuando se trata de características altamente correlacionadas, debe considerar combinar la penalización L1 con L2 (la penalización compuesta se llama Elastic Net) que aplastará globalmente los coeficientes pero evitará poner a cero aleatoriamente uno de los 2 relevantes altamente correlacionados caracteristicas:
http://scikit-learn.org/auto_exa…
La estabilidad en los modelos de selección de características para el Lasso puro también se puede lograr mediante el arranque de varios modelos de Lazo en los pliegues del conjunto de datos y seleccionando la intersección (o unión, no estoy seguro) de las características que no son de edición cero. Este método se llama BoLasso y aún no se implementa en el scikit (siempre se agradece la solicitud de extracción): el documento de referencia es:
http://www.di.ens.fr/~fbach/fbac…
Otras formas de “arreglar el lazo” (tomado del tutorial de F. Bach NIPS 2009):
- Lazo adaptativo (Zou, 2006),
- Lazo relajado (Meinshausen, 2008),
- umbralización (Lounici, 2008),
- selección de estabilidad (Meinshausen Buhlmann, 2008), Wasserman y Roeder (2009)
Editar : la selección de estabilidad se ha implementado en scikit-learn más recientemente.
Finalmente, si usted está en un estado de ánimo bayesiano, los antecedentes inteligentes como el utilizado en la Determinación automática de relevancia (ARD) deberían brindarle resultados similares:
http://scikit-learn.org/modules/…
