En la selección de características, ¿debemos eliminar siempre todas las características que tienen una alta covarianza entre ellas?

La alta covarianza no tiene que significar que existe una fuerte correlación. Podría tener dos características con escalas muy diferentes, donde un pequeño cambio en la función a pequeña escala conduce a un gran cambio en la función a gran escala, a pesar de que la correlación es relativamente modesta.

Si el valor absoluto de la correlación entre dos características es 1, probablemente pueda eliminar con seguridad una de ellas. Si la correlación es menor, como digamos 0.8, probablemente sea mejor que guarde ambos, ya que podría perder información útil si omite una.

Dejaré que los genios den una respuesta teóricamente más rigurosa.

Ya tenía una respuesta muy precisa, de Mehmet Ufuk Dalmis, por ejemplo. Me gustaría agregar dos pequeñas cosas.

Primero, si tiene suficientes datos, podría intentar evaluar qué tan dañino es mantener ambas variables. Por ejemplo, con un conjunto de entrenamiento y un conjunto de prueba, te ayudará a ver si estás demasiado en forma.

En segundo lugar, es posible que deba mantener ambas variables porque los usuarios del análisis lo necesitarán. Al principio es muy difícil de aceptar, pero hay momentos en los que debe mantener una variable en un modelo porque, de lo contrario, la gente no usará el modelo en absoluto, incluso si la otra variable bien correlacionada es mejor. Por lo tanto, puede tratar de mantener ambos y evaluar, como se dijo antes, qué tan dañino es mantener ambos.

Siempre es una palabra muy fuerte.

Una característica puede tener un valor agregado único a pesar de estar altamente correlacionada con otra característica. Además, algunos modelos son más susceptibles a estos problemas que otros.

Las características correlacionadas en ingenuos bayes pueden matar la precisión y pueden tener muy poco efecto en un bosque aleatorio.

Los métodos de filtro más avanzados y casi todos los métodos de envoltura resuelven este problema e intentan seleccionar buenas características libremente correlacionadas. Puede leer, por ejemplo, sobre la selección de funciones mRMR como un enfoque clásico.

No exactamente. Puede probar diferentes formas y verificar la precisión de sus modelos.

A veces, las columnas con características de alta covarianza pueden contener información útil que se necesita para hacer que su modelo sea preciso en el nuevo conjunto de datos que se pueden alimentar durante la implementación.