¿Por qué elegiría algoritmos de selección de características sobre la reducción dimensional?

La selección de características es un tipo de técnica de reducción de dimensionalidad. Cuando selecciona un conjunto más pequeño de características de una gran cantidad de características, está tratando de evaluar si una hipótesis más simple aún puede proporcionar un rendimiento equivalente o mejor. Esto puede resultar en un modelo más simple y, por lo tanto, más interpretable. Esto también puede ayudar a centrarse en ese pequeño conjunto de características para comprender el problema en cuestión, por ejemplo, ¿es esencial la frecuencia cardíaca para detectar la agitación?

El otro tipo de reducción de dimensionalidad es la transformación de características como PCA, proyección aleatoria, características del núcleo, etc. En este tipo de métodos, normalmente transforma el espacio de características y luego selecciona un subconjunto más pequeño de esas características. Un efecto secundario es que puede perder las características en el espacio original; por lo tanto, su interpretación puede ser diferente o muy difícil. Por ejemplo, la frecuencia cardíaca puede convertirse en algo totalmente no interpretable en el nuevo espacio de funciones, pero su clasificador aún puede usar esa información (de ese espacio de funciones) y aún puede construir un modelo eficiente.

Depende de la necesidad.

Cualquier cosa donde la identificación de características pueda ser importante. Por ejemplo: si estamos buscando específicamente características individuales que de alguna manera son causales, bueno, obviamente queremos seguir con las características. Las importancias de las características individuales se incluyen en esto y se pueden usar en casos en los que, por ejemplo, la recopilación de datos es costosa, por lo que queremos minimizar la recopilación futura.

Una noción relacionada, pero sutilmente diferente, es la de identificación en la traducción: cuando hacemos problemas de traducción, tenemos que mantener un registro de cómo tradujimos las características. (Quizás una mejor palabra sería transformación). Por ejemplo, supongamos que aplicamos PCA al conjunto de datos y elegimos las 20 mejores PC. En este caso, necesitamos mantener, de alguna manera, la matriz de media y covarianza que usamos en el PCA original. Si usamos la matriz de media y covarianza de los nuevos datos, es muy posible que obtengamos un conjunto de componentes.

Esos son los dos principales en los que puedo pensar en este momento, aunque para ser honesto, no estoy en mi mejor momento en este momento.

La interpretabilidad es probablemente la razón número uno, pero puede haber otras.

Por ejemplo, puede haber un costo asociado con la producción de muchas funciones computacionalmente u otras y hacer PCA o proyección aleatoria, etc., aún requeriría pagar el costo total.

También hay muchas formas de seleccionar características y muchas formas de reducir la dimensionalidad de otras maneras. Entonces, al igual que una reducción de la dimensionalidad puede mejorar los resultados más que otra, lo mismo podría decirse al comparar los métodos de selección de características y comparar entre la selección y decir PCA. a veces solo dan mejores resultados.

La interpretabilidad a menudo se subestima cuando solo está involucrada una decisión de la computadora, pero puede ser muy útil para el análisis de errores.

También a veces preferimos características que capturan un segmento pequeño y lo explican bien sobre características que influyen ligeramente en la distribución de una gran población. Los métodos de selección de funciones son, en muchos casos, adecuados para encontrarlos.