Es más fácil responder la pregunta de manera más general. Una forma de pensar en un modelo estadístico es que es un subconjunto de un modelo determinista. Es decir, si conociera todas las variables de entrada relevantes, podría predecir exactamente la variable de salida, con cero error de estimación y cero errores estándar. Aunque modelamos los errores como ruido aleatorio, podemos considerarlos como variables faltantes.
Por ejemplo, le das un medicamento a 100 personas, y 50 de ellas mejoran. Podríamos decir que las personas que toman el medicamento tienen un 50% de posibilidades de mejorar. O podríamos decir que había algo en esas 50 personas que les hizo mejorar con el medicamento. No tiene nada de aleatorio, simplemente no sabemos qué características causaron que mejoraran con el medicamento, que faltaban en los otros 50. Estimamos que la probabilidad de que alguien mejore después de tomar el medicamento es del 50%, con un error estándar del 5%.
Luego notamos que 48 de las 60 mujeres en el estudio mejoraron, pero solo 2 de los 40 hombres. Si agrupamos por sexo, nuestra probabilidad estimada para las mujeres es del 80% con un error estándar del 5,2% y nuestra probabilidad estimada para los hombres es del 5% con un error estándar del 3,4%. La agrupación por sexo redujo el error estándar al ajustar por una fuente de desviación en los resultados (sexo) pero lo aumentó al reducir los tamaños de muestra efectivos. Para las mujeres, el aumento dominó, para los hombres, la disminución sí.
- ¿Qué tipo de modelos o técnicas de aprendizaje automático deberían usarse en los datos de la marca de tiempo del lote (por ejemplo, temperatura durante 2 horas)?
- ¿Cómo detectar el sarcasmo en frases u oraciones mientras se extrae texto? ¿Hay alguna metodología utilizada?
- ¿Cuáles son algunas buenas ideas de proyectos en el área de análisis / predicción del mercado de valores utilizando Bayes ingenuo?
- ¿Hay escasez de científicos de datos?
- ¿Cuándo debo usar la agrupación antes de ejecutar un modelo de regresión logística?
En este caso, está claro que la agrupación estaba justificada. Pero supongamos que los resultados fueron que 36 de las 60 mujeres mejoraron y 14 de los 40 hombres. Ese podría ser el resultado de la casualidad, pero está cerca. Si nos agrupamos en este caso, obtenemos una estimación del 60% para las mujeres con un error estándar del 6,3% y una estimación del 35% para los hombres, con un error estándar del 7,5%. Hemos aumentado nuestro error estándar en ambos casos. Eso no significa que el modelo sea peor. Si el sexo realmente afecta la tasa de curación, entonces es un mejor modelo. Si el sexo no afecta la tasa de curación y acabamos de obtener una muestra inusual, entonces es un modelo peor.
Por lo tanto:
- La agrupación puede aumentar o disminuir el error estándar en todos los modelos estadísticos, no solo en los estudios de panel.
- La agrupación debe hacerse si representa efectos reales, y no si no lo hace. Si aumenta o disminuye el error estándar no es un criterio útil.
- A menudo no está claro si la agrupación es real o no por motivos fundamentales, especialmente si la agrupación se realiza por algoritmo estadístico en lugar de inspección, y doblemente si está trabajando en alta dimensión. En ese caso, generalmente tiene sentido agrupar si la evidencia estadística para la agrupación es fuerte, y no si la evidencia para la agrupación es moderada o débil. También es una buena idea informar los resultados agrupados y no agrupados.
- Las personas generalmente evitan agruparse en variables de control o variables de menor interés, prefiriendo agrupar solo en las variables de mayor interés. Esto facilita la interpretación de los resultados. Pero esto está poniendo la conveniencia por encima de la verdad, como el viejo chiste sobre el tipo que dejó caer las llaves de su auto por la noche y mira bajo la luz de una calle en la esquina en lugar del lugar donde las dejó caer, porque “la luz es mejor allí”. son grupos obvios, úselos sin prejuicios, si no hay grupos obvios, no los agrupe por conveniente. La excepción es cuando hay un enfoque en una pregunta específica, como si las mujeres tienen una tasa de curación diferente a la de los hombres, en cuyo caso siempre se agrupa si hay evidencia o no (de hecho, el propósito de su estudio es básicamente determinar si se agrupa o no).
