No estoy de acuerdo con que “normalmente usamos una regresión diff-in-diff”, no es una técnica muy confiable y tiene pocos éxitos. Cuando hay una respuesta clara que cualquier método encontraría, la regresión de diferencia en diferencia probablemente estará de acuerdo. Pero en la mayoría de los casos realistas, sus resultados no son confiables. Es popular porque es fácil de hacer y puede obtener cualquier respuesta que elija, no porque sea una ruta confiable hacia la verdad. Nunca he visto que se use donde las personas se preocupan por tener la razón (como para las operaciones financieras o las decisiones comerciales) solo cuando las personas se preocupan por publicar o apoyar una vista preconcebida. Es más popular en los campos de ciencias sociales altamente politizados.
Podemos separar la pregunta en dos partes, la diferencia en la lógica de diferencia y la implementación de regresión.
Cuando desee estudiar el efecto de un cambio en A en B (digamos un cambio en las leyes estatales de control de armas en las tasas estatales de homicidios), lo primero que observa naturalmente es lo que sucedió con B cuando A cambió (las tasas de homicidios con armas de fuego subir o bajar después de que cambien las leyes de control de armas?). Pero la correlación no te dice acerca de la causalidad. Entonces, una segunda cosa natural es comparar el cambio con el cambio en una situación similar en la que A no se cambió (como un estado vecino que no cambió sus leyes de control de armas). Esta es la diferencia en la lógica de diferencia.
- ¿Cuáles son algunas habilidades matemáticas altamente relevantes que se requieren si quiero comenzar a investigar en algoritmos de Machine Learning?
- ¿Qué implica el e-Discovery?
- ¿En qué se diferencia LSTM de RNN? En una explicación laica.
- ¿Qué es la optimización de colonias de hormigas y cómo funciona en términos simples?
- ¿Es factible hacer una regresión logística en conjuntos de datos con miles de características sin usar una computadora de clúster? ¿Qué tal decenas de miles?
Si bien la diferencia en la diferencia proporciona un control crudo para los factores que afectaron ambas situaciones por igual (como una disminución nacional en las tasas de homicidios con armas de fuego), no es muy poderoso en la práctica. Por un lado, los resultados a menudo se ven abrumados por el ruido, y nunca veo que las personas prueben la variabilidad de B fuera de los cambios A (cuánto varían las tasas de homicidios entre estados similares, y cambian de año en año cuando las leyes sobre armas permanecen vigentes). ¿mismo?). Por otro lado, las situaciones casi nunca son similares, porque una situación tenía A y la otra no A (si A fue impuesto por el experimentador, o era de algo claramente irrelevante para las relaciones causales, entonces esta objeción no se aplica, pero estas cosas son rara vez es cierto). Finalmente, generalmente no conocemos los retrasos involucrados, ni el alcance geográfico; y nuestras medidas son generalmente defectuosas e inciertas. Por lo tanto, cualquier experimentador medio inteligente puede elegir la similitud de manera que genere cualquier conclusión deseada.
En general, las variables instrumentales funcionan mejor que la diferencia en la regresión de diferencia. También pongo más confianza en cualquier enfoque de modelado decente que la diferencia en la diferencia. Los experimentos reales con controles reales son claramente mejores, aunque pueden ser poco prácticos. No es tanto que estos métodos den mejores respuestas que la diferencia en la diferencia, es que proporcionan una visión más profunda de los problemas y las incertidumbres. La diferencia en la diferencia es una forma cruda de evitar pensar en la causalidad y la complejidad, al incluir todos los controles en una sola comparación.
La segunda parte es que si va a utilizar la lógica de diferencia en diferencia, ¿es la regresión la herramienta correcta? En general no. La gente lo elige porque es fácil de hacer en paquetes estadísticos estándar y están familiarizados con los resultados. Pero si piensa en los supuestos de la regresión, no se acercan a la aplicación. La variable independiente que está estudiando es dependiente, y las variables independientes de control no solo son dependientes, sino desconocidas. No hay ninguna razón para suponer un efecto constante (mucho menos lineal), ni que los errores sean normales.
Imagínese si observara un diagrama de dispersión de B antes y después, con puntos donde A cambiaba en rojo y puntos donde A no cambiaba en verde. Hay mucha información en esa tabla para decirle si y en qué circunstancias A parece influir en B. La regresión dibuja la mejor línea recta a través de los puntos rojos, luego otra a través de los puntos verdes y luego pregunta si el ángulo entre las líneas es más grande de lo que esperaría si recolocara los puntos al azar. Es difícil ver a alguien pensando que esa era la forma correcta de abordar la cuestión de si A causa B. Más importante, es un enfoque de no saber nada. Tira casi toda la información en el diagrama de dispersión para obtener una respuesta clara (pero una respuesta clara a una pregunta que nadie hace).
Algunas formas superiores de analizar una diferencia en la gráfica de diferencia son el análisis de conglomerados o un simple diagrama de tres en raya. Nuevamente, su interés debería ser explicar todas las características del diagrama de dispersión con hipótesis razonables sobre las variables reales (no solo los números) en lugar de hacer una prueba automatizada para decirle si los resultados son significativos o no.
