¿Por qué tenemos que convertir el valor categórico en factor (en R) o variables ficticias antes de aplicar algoritmos de aprendizaje automático (especialmente regresión lineal)? ¿Afecta nuestros resultados?

Por ejemplo:

“1) ¿Por qué quieres convertir la raza en números? Supongo que quieres hacer algo como un modelo de regresión, ¿es correcto? Voy a asumir que estás preguntando cómo manejar los” datos categóricos “(categorías como diferentes razas) en regresión.

Por lo tanto, desea variables numéricas, y simplemente podría asignar un número a cada raza. Pero, si elige Blanco = 1, Negro = 2, Asiático = 3, ¿tiene sentido realmente que la distancia entre Blanco (sic) y Negro (sic) sea exactamente la mitad de la distancia entre Blanco (sic) y Asiático (sic)? ? Y, ¿ese pedido es incluso correcto? Probablemente no.

En cambio, lo que haces es crear variables ficticias. Digamos que tienes solo esas tres carreras. Luego, crea dos variables ficticias: blanco, negro. También puede usar blanco, asiático o negro, asiático; la clave es que siempre se crean una variable ficticia menos las categorías. Ahora, la variable blanca es 1 si el individuo es blanco y, de lo contrario, es 0, y la variable negra es 1 si el individuo es negro y, de lo contrario, es 0. Si ahora se ajusta a un modelo de regresión, el coeficiente de White le indica la diferencia promedio entre asiáticos y blancos (tenga en cuenta que no se utilizó la variable ficticia asiática, por lo que los asiáticos (sic) se convierten en la línea de base con la que nos comparamos). El coeficiente para las negras te dice la diferencia promedio entre asiáticos y negros.

Nota: Si está utilizando un software para adaptarse a su modelo de regresión, probablemente no tenga que preocuparse por todo esto. Simplemente le dice a su software que la variable es categórica y maneja todos estos detalles.

2) No necesita preocuparse por esto, al menos si está haciendo una regresión. La ejecución del modelo de regresión le indicará los coeficientes para cada variable, así como sus errores estándar, y esa información le indica qué variables son más importantes. Si desea ayuda para interpretar esos coeficientes, ese es un tema completamente nuevo “.

Aquí hay un ejemplo en R:

# Digamos que estamos midiendo algún valor de Y que depende de X en
# {0, 1, 2} (una variable categórica), W (una variable numérica),
# y Z en {1, 2, 3} (otra variable categórica)
# tal que Y = f (X, W, Z) + eps, donde eps es gaussiano estándar.
# Defina f como:

f <- función (X, W, Z) {
si (X == 0) {
resultado <- 100 * W + if (Z == 1) rnorm (1) else if (Z == 2) rcauchy (1) else -2
}
más si (X == 1) {
resultado <- 100 + W * (if (Z == 1) runif (1) else if (Z == 2) rlnorm (1, 1, 1) else 1)
}
más {
resultado <- 233 + W * 3
}
resultado
}
set.seed (3624)
X <- rbinom (1000, 2, 0.8)
W <- runif (1000, máx = 100)
Z <- rbinom (1000, 2, 0.3) +1
dat <- data.frame (X, W, Z)
Y <- aplicar (dat, 1, FUN = función (x) f (x [1], x [2], x [3])) + rnorm (1000)
dat $ Y <- Y
# Datos de prueba
Xt <- dbinom (100, 1, 0.5)
Wt <- runif (100, máx = 100)
Zt <- dbinom (100, 1, 0.3) +1
datt <- data.frame (X = Xt, W = Wt, Z = Zt)
Yt <- aplicar (cbind (Xt, Wt, Zt), 1, FUN = función (x) f (x [1], x [2], x [3])) + rnorm (100)
#Con enteros, sin interacciones:
ifit1 <- lm (Y ~ X + W + Z, datos = dat)
#Interes, todas las interacciones
ifit2 <- lm (Y ~ X * W * Z, datos = dat)
#Interes, cada uno categórico con W
ifit3 <- lm (Y ~ X * W + Z * W, datos = dat)
dat_f <- dat
dat_f $ X <- as.factor (dat_f $ X)
dat_f $ Z <- as.factor (dat_f $ Z)
datt_f <- datt
datt_f $ X <- as.factor (datt_f $ X)
datt_f $ Z <- as.factor (datt_f $ Z)
#Factores, no interactuar
ffit1 <- lm (Y ~ X + W + Z, datos = dat_f)
#Factores, todas las interacciones
ffit2 <- lm (Y ~ X * W * Z, datos = dat_f)
#Interes, cada uno categórico con W
ffit3 <- lm (Y ~ X * W + Z * W, datos = dat_f)

Los resultados de MSE están dados por:

> #MEs de diferentes modelos
> sum ((Yt – predic (ifit1, datt)) ^ 2) / 100
[1] 16426051
> sum ((Yt – predic (ifit2, datt)) ^ 2) / 100
[1] 11727728
> sum ((Yt – predic (ifit3, datt)) ^ 2) / 100
[1] 11248190
> sum ((Yt – predic (ffit1, datt_f)) ^ 2) / 100
[1] 7606621
> sum ((Yt – predic (ffit2, datt_f)) ^ 2) / 100
[1] 2.563997
> sum ((Yt – predic (ffit3, datt_f)) ^ 2) / 100
[1] 1194.715

Claramente, mantener las cosas categóricas cuando deberían ser de ayuda.

Si realmente quieres las matemáticas detrás de eso, puedo dártelo más tarde. Las otras respuestas apuntan a soluciones, pero aquí hay evidencia empírica de que si un valor es verdaderamente categórico, ayuda a mantenerlo de esa manera.

Digamos que representó la categoría A con 1, la categoría B con 2 y así sucesivamente … y no factoriza la variable. Supongamos que realiza una regresión lineal en el conjunto de datos. El algoritmo seguiría optimizando esa columna en particular para lograr la menor suma de cuadrados. Esto es completamente incorrecto, ya que las categorías son solo valores representativos, no el valor real de la variable en sí. Si ya ha codificado un modelo en el que no está utilizando variables de factor, haga lo siguiente: represente A con 1, B con 1000, C con 100000, … las cosas comenzarán a ponerse bastante extrañas.

Si analizara la variable codificada como 1,2,3,4, entonces se trataría como una variable numérica. Claramente, un valor de 4 no significa 1 más que 3, porque no son números significativos. Lo que debe hacer es separar los posibles efectos de pertenecer a cada categoría. La forma de hacerlo es crear 3 variables ficticias, que indican la presencia o falta de un rasgo. Una estimación de parámetros de uno de ellos indicará el efecto de esa categoría en relación con la categoría de línea de base (aquella en la que los tres dummies son 0).

La regresión lineal no es un modelo de aprendizaje automático. Por supuesto que afectará los resultados. La conversión arbitraria de variables a un valor numérico cambiará los pesos en el algoritmo de minimización.

La razón es similar a la normalización de un conjunto de valores. Si las variables no se convierten en un factor, un conjunto de valores grandes de un solo atributo contribuirá a una gran parte de la salida.

Pruebe las variables A = 1, B = 1, C = 10 ^ 9. Disfrutar.