¿Necesito tener grupos similares en una regresión de diferencia en diferencia?

Definitivamente trae cualquier inferencia causal que podría estar tratando de cuestionar.

Tener el grupo de comparación desequilibrado en observables no necesariamente mata su diff-in-diff. Eso es lo bueno de la regresión múltiple; puede pegar esas variables en su regresión para controlar esa variación. En este caso, si la edad, por ejemplo, fuera la única diferencia entre tus dos estados, entonces podrías incluir la edad como una covariable y estarías bien.

El verdadero problema es que sugiere un desequilibrio en los inobservables. Lanzar la edad a la regresión se ocupa de la edad misma, pero debido a que la edad está desequilibrada, insinúa la posibilidad de que sus dos estados también estén desequilibrados en otras características.

Parece que su regresión está en los datos del panel; por ejemplo, tiene alguna variable de resultado que cree que está afectada por la implementación de alguna política, por lo que decide comparar un estado que promulgó esa política y un estado que no en una serie de años Una forma convincente de tranquilizar a un lector o revisor de que el diff-in-diff constituye un efecto causal válido es mostrar tendencias previas; es decir, mostrar la variable de resultado a lo largo del tiempo en ambos estados en períodos anteriores a la implementación de la política. Si la variable de resultado en ambos estados sigue bastante bien antes de ese punto, entonces puede hacer un caso convincente de que cualquier divergencia después de ese punto se debe a la política.

Esas tendencias previas ni siquiera tienen que ser particularmente elegantes; a menudo basta un simple gráfico lineal. Por ejemplo, recientemente escribí un artículo sobre el efecto de la legalización de la marihuana en los accidentes automovilísticos. Uno de los pares de diferencias en diferencias que examiné fue Colorado y Kansas, específicamente en los condados fronterizos. En el documento hice algunos argumentos de que los factores determinantes de los accidentes automovilísticos deberían equilibrarse a ambos lados de la frontera, pero al final mi profesor me dijo que la evidencia más convincente era este gráfico lineal:

Simple, pero muy persuasivo: desde 2000 hasta 2012, las tasas de accidentes automovilísticos en los condados fronterizos de Colorado y Kansas se rastrearon casi perfectamente. (Si realmente calcula el coeficiente de correlación, es increíblemente alto, como r = 0,93 o algo así). A partir de 2013, divergen significativamente. Resulta que 2013 fue el primer año en que la marihuana se legalizó en Colorado.

Sin embargo, si no puede encontrar buenas tendencias previas en sus variables de resultado, deberá presentar algunos argumentos convincentes sobre por qué sus dos estados son una buena combinación para fines de comparación. Esto generalmente depende de hacer un argumento inteligente sobre por qué su combinación de tratamiento / comparación es “tan buena como” asignada aleatoriamente; por ejemplo, en ese documento de malas hierbas, argumentaba que los condados fronterizos de Colorado y Kansas fueron asignados esencialmente al azar por geografía, desde el dibujo de Las fronteras estatales se hicieron de acuerdo con una fórmula geométrica y no de acuerdo con los límites naturales.

Sin embargo, si no puede, le resultará difícil afirmar que su diff-in-diff es válido. Todavía puede ejecutarlo perfectamente bien, pero no podrá convencer a nadie de que el efecto que observa es causal.

El análisis cuantitativo siempre trata de una historia y algunos números. Sin la historia, los números no tienen sentido; y sin los números, la historia es solo especulación o anécdota.

Digamos que tenemos fuertes razones para creer que una ley causará un efecto, y buenas mediciones de ese efecto. Por ejemplo, un estado reduce su límite máximo de velocidad en carretera de 65 a 60, mientras que un estado vecino no hace ningún cambio. El cambio entra en vigencia a la medianoche del 31 de diciembre y es ampliamente conocido entre los conductores y la policía. Tenemos excelentes datos sobre velocidades de autopista, multas por exceso de velocidad y accidentes para ambos estados, tanto el año anterior como el año posterior a la ley.

No tenemos que usar datos agregados para ambos estados, podemos reducirlo a carreteras específicas que se encuentran en el límite máximo del estado. Podemos comparar grupos similares de conductores (por ejemplo, menores de 25 años los sábados por la noche).

En este tipo de proyecto, no nos importaría mucho si los estados diferían en la edad o el ingreso promedio de los ciudadanos o las poblaciones urbanas versus rurales o mucho más.

Pero ahora considere una situación diferente. Un estado aprueba una ley de control de armas que exige que los propietarios de armas entreguen todas las revistas que tienen más de nueve rondas. La ley se incorpora paulatinamente a los períodos de advertencia, y la aplicación no comienza de inmediato. Todo lo que tenemos es datos agregados de homicidios de armas entre los dos estados. No tenemos ninguna teoría sólida que vincule las reglas de capacidad de la revista de armas con los homicidios de armas.

En cualquier caso, este estudio será muy débil, y cualquier diferencia entre los dos estados en las tasas de posesión de armas, tasas de criminalidad, tasas de aplicación, poblaciones urbanas versus rurales y muchas otras cosas probablemente hará que los resultados no tengan valor.

More Interesting

¿Cuáles son las diferentes técnicas de minería de texto?

¿Las redes neuronales son siempre convexas con respecto a los pesos? Y si no, ¿cómo funciona tan bien el descenso de gradiente?

¿Cuál es la diferencia entre el aprendizaje probabilístico y el aprendizaje no probabilístico para diferentes situaciones? ¿Cuándo es uno más apropiado que el otro?

¿Cómo puedo explicar que las unidades tradicionales de red neuronal recurrente (RNN) sufren el problema del gradiente de fuga?

¿Qué conjuntos de datos se utilizan como puntos de referencia en los métodos de transcripción de voz / voz y qué métodos tienen los mejores resultados actuales?

Cómo usar la red neuronal convolucional en sus proyectos

¿Puede Quora generar un patrón para el futuro de las personas con sus respuestas y preguntas?

¿Cuáles son algunos problemas de aprendizaje automático que están más allá del poder de scikit-learn para resolver?

¿Cuáles son las intersecciones entre los campos de la ciencia de datos y los sistemas complejos?

¿Por qué el aprendizaje en estructuras de datos complejas (gráficos, árboles, etc.) está tan poco representado en el aprendizaje automático?

Cómo obtener la distribución de probabilidad de clases con píxeles que son 0 o 255

¿Cuándo se deben usar modelos generativos y no modelos discriminativos?

¿Cuáles son los últimos desarrollos en clasificación?

¿Cuál es el mejor código de Python que extrae todas las frases y parte de las etiquetas de voz (POS) de una oración?

¿Qué puedo hacer para mejorar el proceso de clasificación con Weka o NLTK?