¿Qué es el cambio de covariable?

Intentemos responder esto con un ejemplo.

Si está creando una red neuronal (o cualquier otro clasificador), y si entrena a su clasificador mostrando ejemplos de todos los gatos negros, entonces el rendimiento de ese clasificador no será tan bueno cuando se le presenten imágenes de -gatos negros.

La razón es que la distribución del vector de intensidad de píxeles ha cambiado considerablemente . Y esto será cierto incluso si el límite de decisión no lineal original permanece sin cambios entre los ejemplos positivos y negativos.

La famosa normalización por lotes de la red neuronal es una forma de resolver o minimizar el problema del cambio de covarianza. Esta técnica hace que los pesos de la capa más profunda, aprendidos por la red neuronal, sean relativamente menos dependientes de los pesos aprendidos en la capa más superficial.

El cambio de covariable es el cambio en la distribución de las covariables específicamente, es decir, las variables independientes. Esto normalmente se debe a cambios en el estado de las variables latentes, que podrían ser temporales (incluso cambios en la estacionalidad de un proceso temporal), o espaciales, o menos obvias.

También se puede ver como mirar un “área” inexplorada del espacio de datos.

Es un área de estudio fascinante, ya que se puede ver naturalmente de diferentes maneras. En el espacio de datos, podemos tratar de manejarlo mediante una extrapolación inteligente, aunque esto a menudo no funciona tan bien como alternativas como la reestimación de variables latentes o los intentos de hacer que una función de predicción se adapte al dominio.

La forma más fácil de ver si realmente hemos salido de nuestro espacio covariable original requiere condiciones especiales, como variables de tiempo estacionarias y datos numéricos puros. En este caso, podemos calcular el casco convexo del espacio de datos y probar si nuestro nuevo punto de datos está fuera de él. Por supuesto, esto se vuelve computacionalmente costoso, por lo que a menudo no se hace a menos que obviamente algo esté mal con nuestras predicciones. Por supuesto, también depende de la aplicación.

Es uno de los problemas más difíciles en ML.

El cambio covariable es la diferencia entre la distribución del conjunto de datos de entrenamiento y la distribución del conjunto de datos de prueba.

Normalmente esperarías que provengan de la misma distribución, pero esto casi nunca sucede. Por lo tanto, debe actualizar continuamente sus modelos con el último conjunto de trenes.

Esto sucede porque nunca observará todos los factores de variación. algunos de ellos serán simplemente inobservables (latentes). Cuando esa variable latente cambie, su distribución condicional de los datos observados cambiará.

Este artículo ofrece una descripción general del cambio de covarianza, que en resumen es cuando la distribución que produce los datos reales es diferente de la distribución que produjo los datos de entrenamiento. Aquí se detallan algunas soluciones para detectar este problema.

Puede ser cualquiera. El cambio significa que los conjuntos tienen diferentes propiedades. Como tal, un hecho de la vida con el que uno debe vivir. Los humanos, creadores de patrones natos, hacen esto todo el tiempo. La inteligencia artificial, siendo más limitada, lucha aquí.