¿Cómo podemos tratar las variables categóricas con muchos niveles (> 100) de manera eficiente en una regresión? ¿Qué métodos hay para reducir la cantidad de niveles?

Hay muchos métodos para lidiar con esto.

Una sería agruparlos según la respuesta; puedes ordenarlos por respuesta, luego dividirlos como quieras; quizás deje que lo maneje un árbol de decisión bastante superficial. Ahora tienes muchas menos categorías.

Otra es apuntar codificarlos. Reemplace cada categoría en una variable con la respuesta media dada esa categoría. Ahora tiene 1 función continua en lugar de un montón de categorías.

Otra es agruparlos por frecuencia. Las categorías más frecuentes pueden dominar, y las menos frecuentes pueden ser numerosas, pero cada una tiene pocas muestras. Puede, por ejemplo, dejar solo las 5 categorías principales y agrupar el resto en una nueva categoría. Ahora tienes 6 variables categóricas.

Hay muchas otras cosas que puedes hacer. Solo sé creativo y deja que tus datos te guíen

Si bien no he visto exactamente sus datos, sugeriría probar esto:

Cuente la frecuencia contra cada una de sus categorías. Orden descendiente. Lleve un registro del recuento acumulativo y conserve categorías que suban al percentil 95 en el acumulado. Las categorías restantes que representan menos del 5%, las vuelven todas a “otras”.

Ahora haga una codificación de destino. Eso podría hacerse de muchas maneras. Para la regresión, puede hacer una media de objetivo después de hacer un grupo en los datos de entrenamiento con su columna categórica. Para la clasificación, puede encontrar la probabilidad condicional de que el objetivo sea 1 dado que la columna categórica toma un valor particular. Reemplace la columna categórica con esta representación numérica.

Recuerde hacer esta codificación utilizando SOLO los datos de entrenamiento. Para los datos de validación / prueba / puntuación, utilice una búsqueda entre la etiqueta categórica y el valor calculado.

Realmente no hay una buena manera de hacer esto realmente en una regresión, ya que “Departamentos” es una variable nominal, y la codificación de variables ficticias no parece práctica si solo está tratando de predecir ventas. Lo que podría hacer es calcular los pares de coeficientes de correlación para todas las ventas mensuales por departamento, y luego mirar los pares correlacionados más altos. Esos serían candidatos para combinar si tienen sentido comercial. Dicho esto, puede obtener bajas correlaciones para departamentos similares basados ​​únicamente en un tamaño de muestra bajo, por lo que hay mucho arte involucrado. Pero hagas lo que hagas, esto podría ser un control de cordura.

En los comentarios, implica que está tratando con ventas en cada uno de un gran número de departamentos e intentando predecir ventas en cada uno.

Si este es el caso, puede ejecutar una regresión separada para cada departamento; Al poner todos los departamentos en una regresión, se requiere que los otros parámetros sean los mismos para todos los departamentos (a menos que se incluyan interacciones que, con tantos niveles, se volverían aún más desordenados).

Si se trata de demasiados departamentos (su título dice más de 100, su comentario dice 80), entonces puede combinar departamentos, pero cómo hacer esto es principalmente una pregunta sustantiva: ¿qué departamentos están relacionados entre sí? ¿Cuáles están en la misma división (o lo que sea)? Etc.