¿Debo aplicar PCA antes o después de la selección de funciones?

¡Ninguno!

No debe usar la selección de funciones y PCA juntos.

Suponga que sus datos de entrada están en una matriz como la que se muestra a continuación cuyas filas contienen características y columnas de puntos de datos individuales. Los esquemas de selección de características y PCA reducen la dimensión del espacio de características, o en otras palabras, el número de filas en la matriz a continuación.

Sin embargo, los dos métodos funcionan de manera diferente: mientras que la selección de características literalmente selecciona filas de la matriz original para mantener, PCA usa la geometría del espacio de características para producir una nueva matriz de datos basada en una versión dimensional de los datos más baja.

No tiene sentido emplear ambos métodos simultáneamente. Debe usar la selección de características si la interpretación de los resultados es importante, y al tratar casos en los que tiene conocimiento a priori de que algunas de las características (obviamente no sabe cuáles) son irrelevantes. Muchas aplicaciones genéticas y de neurociencia del aprendizaje automático entran en esta categoría.

Una nota de precaución: ¡ PCA puede arruinar la estructura de separabilidad en sus datos! Por lo tanto, no lo use antes de la clasificación a menos que sea necesario. Vea el ejemplo a continuación.

PCA es una técnica de reducción de características. Es una buena práctica aplicarlo después de hacer la selección de funciones. Como tendrá todos los componentes que contienen los vectores igen de las características que son importantes.

More Interesting

¿Qué es la regularización neta elástica en el aprendizaje automático?

¿Puede el aprendizaje automático ayudarnos a comprender el cerebro humano?

Supongamos que reuní a todos los usuarios de Twitter que escribieron tweets con las palabras "aprendizaje automático" en ellos (durante el último mes, por ejemplo), y luego construí un gráfico de red basado en sus seguidores. Además de las diversas medidas de centralidad, ¿qué otras técnicas podría utilizar para identificar a las mejores personas a seguir? ¿Cómo lo hace Klout?

¿Por qué se considera F # un buen lenguaje para el aprendizaje automático?

¿Está bien usar API para mi proyecto de último año en Informática?

¿Cuán verdadera es la frase '95% de los sofisticados algoritmos de 'aprendizaje automático' son lanzados a los datos por alguien que solo tiene la comprensión más superficial de lo que realmente están haciendo '?

¿Por qué Bayes ingenuo se considera un modelo generativo?

¿La correlación entre dos variables cuenta como evidencia débil de un vínculo causal entre ellas?

¿Cuáles son algunos desafíos calificados de aprendizaje automático que se inician cada año?

¿Qué le gustaría en una aplicación de aprendizaje de idiomas?

¿Son las computadoras mejores pensadores visuales?

¿Puedo usar el aprendizaje profundo para aprender el aprendizaje profundo?

¿Podemos usar un algoritmo no supervisado para realizar análisis de sentimientos?

¿Cuál es el estándar de JMLR contra documentos en ICML y NIPS?

¿Cuál es una buena definición de big data?