¿Vale la pena probar PCA en sus datos antes de alimentar a SVM?

Si … y no 😉

PCA ayuda a reducir el número de dimensiones interesadas en el espacio de datos. Pero, al mismo tiempo, puede afectar el rendimiento de su módulo SVM al cambiar drásticamente el espacio de datos. Como puede estar ignorando las dimensiones con menor varianza / información, la PCA tiene pérdidas. Esto puede ser peligroso si se aplica a ciegas sin el conocimiento de los datos. No he encontrado ninguna base teórica / prueba / teorema / axioma sobre la cual uno pueda decidir cuándo y cuándo no usar PCA. La regla del pulgar es que use PCA. Ejecute su SVM en datos PCA-ed y no PCA-ed. Compare el equilibrio entre precisión y rendimiento. Haz tu llamada. 🙂

La forma en que PCA causa la reducción de datos es algo diferente de la forma en que el uso de kernel no lineal en SVM aumenta la dimensión del espacio de datos. Intentar encontrar una compensación, una comparación, etc. es en sí mismo, creo, un tema de investigación.

El uso de técnicas de normalización simples, como el escalado de características y la normalización media, a menudo puede dar como resultado una buena precisión en lugar de utilizar PCA con SVM.
A pesar de que PCA puede ayudar a mejorar el poder discriminativo de los clasificadores, creo que esto no va bien con los SVM ya que su cálculo de kernel no es característico.
He trabajado en un par de experimentos SVM, donde PCA no funcionó bien con SVM. Simplemente compartir mi experimento, sino que depende de los datos

A menos que tenga una cantidad prohibitivamente grande de características, recomendaría no hacer una reducción de dimensionalidad de antemano. En la práctica, he encontrado mejores resultados usando las características “en bruto” frente a las características reducidas. Y si sus características individuales tienen un significado teórico, su relación con la tarea de clasificación se perdería u oscurecería con la reducción.

Puede observar la distribución de los valores de Eigen para la matriz de covarianza de sus datos y ver si se vuelven muy pequeños. En general, los SVM son bastante robustos en los casos en que sus datos abarcan un subespacio de la dimensión de características completas. La razón de esto es que el SVM opera en el nivel de muestra (el núcleo se calcula entre muestras) y no en el nivel de característica. Este tipo de cosas puede generar una regresión logística sin regularización.

¿Por qué querrías reducir tus dimensiones antes de alimentarlo a un clasificador no lineal? ¿No le gustaría conservar la no linealidad en los datos para que le ayude a capturar esa no linealidad?

Podría estar equivocado, pero personalmente creo que podría aplicar SVM (núcleo lineal) directamente sin hacer PCA si tiene problemas de escala. He leído en alguna parte que cuando tienes núcleos lineales de datos de dimensiones excepcionalmente altas no funcionan tan mal como crees.

También tenga en cuenta: PCA destruye sus datos (sus datos pierden su significado)

En general, no. Cuando los conjuntos de datos y / o conjuntos de características se vuelven muy grandes, siempre he descubierto que el descenso de gradiente estocástico hace que el tiempo de cálculo sea razonable para SVM y todavía funciona muy bien. A menos que tenga toneladas de funciones duplicadas, PCA simplemente destruirá sus datos.

Supongo que siempre ayuda a visualizar características multidimensionales trazando primero algunos componentes principales (PC). Puede ver cómo las observaciones se distribuyen a lo largo de los ejes más variables, pero tenga en cuenta que esta variación podría no explicar la variabilidad en las variables de resultado (o etiquetas). Es por eso que hay algo llamado supervisar PCA (página en stanford.edu). Lo que se sugiere en la pregunta es similar, ya que trata de forzar a la PC importante entre las características para explicar el resultado