Desde la perspectiva de la ciencia de datos, ¿qué salió mal al predecir las elecciones presidenciales de 2016 en los Estados Unidos?

Es un caso de basura adentro, basura afuera. En la mayoría de los casos, las modelos no tienen nada de malo (aunque hay que preguntarse qué está haciendo Sam Wang cuando pone las posibilidades de Clinton casi a salvo).

Sin embargo, en lo que se basan abrumadoramente los modelos es en una buena encuesta, y los resultados muestran que las encuestas a menudo fallaban y a menudo fallaban miserablemente.

• Florida , Clinton estaba atado o un poquito en las encuestas; Trump ganó por 1.4.
• Carolina del Norte , Clinton estaba atado o un poquito en las encuestas; Trump ganó por casi 4.
• Virginia , Clinton subió sustancialmente (en promedio unos 5-6 puntos); Clinton ganó por solo 2.
• Pensilvania , Clinton siempre estuvo despierto, nuevamente a menudo a mediados de un dígito; está en camino de perder un poquito. Lo mismo para Wisconsin y Michigan .
• Ohio, Trump estuvo constantemente arriba en Ohio, pero generalmente por 4 o 5 puntos; ganó por 9.

Arriba y abajo, a través de todos los estados cruciales cruciales. Estos estados de oscilación son los que tienen la mayor influencia en las predicciones del modelo (como lo hicieron en la mía), y como resultado, el error de sondeo en esos arruina el modelo aún más que si el error de sondeo hubiera ocurrido en, por ejemplo, Connecticut o Kansas.

Los modelos en sí pueden ser litigados, pero no solo en base a estas elecciones. Esto, en todo caso, es un momento de reflexión por parte de nuestras encuestas de opinión pública; no tenemos forma de saber si hubo algún problema con los modelos cuando el sondeo no fue así.

Nada en lo absoluto.

Tenía dos preocupaciones con la elección.

1. Que los liberales confiaban demasiado en la victoria; nunca se ha demostrado que inhiba la participación y nunca lo será. No es una de esas cosas que se puede probar. Eso no significa que no sea mala idea.
2. Que existió un voto tímido de Trump. La lógica de eso era sólida, ha habido divorcios por esto. No todos sus seguidores son racistas, fanáticos o idiotas. Solo querían probar algo diferente. La guerra cultural es importante para algunos de ellos, pero fue secundaria para poder llegar a fin de mes. Les importaba más el TPP que el LGBT, pero no querían ser etiquetados como idiotas por pensar de esa manera. Muchos de ellos no estaban contentos con gran parte de lo que Trump tenía que decir, pero era innegable a la izquierda de Clinton sobre la política comercial.

Entonces mintieron. O no fueron contados en absoluto. El problema es, ¿cómo compensar eso? Quiero decir, lógicamente, no puedes. Todo lo que puede hacer es intentar adivinar cuántas personas podrían estar sufriendo lo que los encuestadores llaman sesgo de conveniencia social y lo advirtió el día antes de las elecciones. Adivinar no es científico. De hecho, es martingala, por lo que bien podría suponer que es cero.

Que es lo que hicieron la mayoría de las encuestas.

Muestreo defectuoso. Llano y simple. Un descargo de responsabilidad, soy indio y no ciudadano de los EE. UU. No voy a entrar en política de esto, sino solo mirarlo desde el punto de vista de los datos. Francamente, ni siquiera puedo afirmar que entiendo los problemas terrestres de EE. UU. Ya que no vivo allí. Imágenes de CNN: los detalles se pueden encontrar en los resultados de las elecciones de 2016: Florida. Todos los créditos a CNN por su fantástica presentación de datos.

En mi opinión, tomaron la muestra de los centros de población que mostraron que Hillary ganará, lo que demostró fue que Hillary ganará el voto popular que ella hizo. Lo que extrañaron fue el hecho de que los padres fundadores de los Estados Unidos de América diseñaron el sistema de colegio electoral exactamente para evitar tal escenario en el que los centros de población deciden las elecciones de los Estados Unidos. Eso sí, no es perfecto porque los centros de población todavía están decidiendo las elecciones estatales. Mira a IL. Este es un estado que ganó Hillary. ¿Ves algo extraño al respecto?

Los rojos más oscuros y los azules más oscuros indican un margen mayor. De los 5,3 millones de votos, el condado de Cook representa 2,8 millones de votos. Dupage obtuvo otros 400K votos. 280K del lago. En este estado, si realizó un muestreo solo desde el noreste de IL, estaría en lo cierto sobre el resultado de la elección en este estado. Tenga en cuenta el rojo oscuro en el resto del estado. ¿Diría que Hillary representa a todo el estado geográficamente? Si el Noreste no hubiera estado tan poblado, ¿todavía habría ganado?

Ahora echemos un vistazo al estado adyacente que perdió. WI obtuvo 3.197 millones de votos en total.

De estos 884K vinieron de Milwaukee, 302K de Dane. Eso es solo 1.1M de o casi 1/3 de los votos. Sospecho nuevamente que el muestreo se realizó en estos centros de población. Pero a diferencia de IL, existe una distribución de población suficiente que no se representó en la muestra tomada en estos centros de población.

El margen de plomo para Trump, fuera de las principales ciudades donde sospecho que se quedan los partidarios de Clinton, es muy grande. Esto es tanto en IL como en WI. Si el área de Chicago no hubiera estado tan poblada en IL, sospecho que ella también habría perdido IL.

Este patrón se repite en casi todos los estados que tendieron hacia los demócratas, pero finalmente votaron por la República. Aquí hay otros ejemplos.

Florida – Población fuera del área de Miami. Se habría asumido al tomar muestras en Miami, Tampa y Orlando del estado de ánimo del estado, pero nuevamente, como muestra la imagen a continuación, no es representativo.

Nada salió mal desde el punto de vista de la ciencia de datos. Sin embargo, lo que los medios le dijeron a la gente si no se falsificaba estaba muy sesgado. Las encuestas no pudieron modelar la improbable participación de los votantes porque seguían refiriéndose a los votantes registrados y tal y tal. Personalmente me di cuenta de la gravedad de la situación cuando el presidente Obama y Michelle comenzaron a suplicar a la gente que votara. Soy un científico de datos y esa evidencia fue muy crítica para mí. Reveló una completa falta de confianza en el resultado.

Las encuestas tienen un historial. Tres de ellos, en realidad, que la mayoría de la gente ignora cuando ven una encuesta publicada en línea, o escuchan de alguna otra manera. Cada encuesta tiende a favorecer a los republicanos o demócratas, que muy pocos medios mencionarán, cada encuesta tiene un margen de error promedio. También hay un efecto ‘sombra’, que es el margen de error para la encuesta más el porcentaje de votantes ‘indecisos’; Muchas de las encuestas de este año publicaron ‘Trump por 1’ o ‘Clinton por 4’, pero ignoraron el hecho de que una parte significativa de los votos estaba indecisa. Las encuestas tardías mostraron a Clinton por delante por algunos puntos, pero fue como ‘Clinton 44, Trump 40’, lo que significa que incluso otorgando 2 o 3 por ciento a los candidatos de terceros, tienes 13% sin decir cómo van a votar, que es el lo mismo que decir ‘no sabemos’. Excepto que las personas que emiten encuestas para los medios de comunicación nunca quieren parecer indecisas, por lo que dejan de lado eso.

Y luego fueron mordidos por ese error.

Ruido derrotado Señal

Creo que un componente fuerte es el sesgo de deseabilidad social, creo que este es un componente fuerte porque también puede explicar el Brexit y el referéndum de Colombia. Cuando las personas encuestadas tienden a responder lo que creen que se percibirá como “correcto” y el día de las elecciones votan por lo que realmente piensan, porque nadie los está mirando.

Entonces podríamos tener un sesgo de respuesta, las personas que responden las encuestas podrían estar más inclinadas hacia un candidato u opción en particular. Creo que esta es siempre una fuente menor de ruido y podría haber sido mayor en este caso. Algunas de las otras respuestas explican esto muy bien.

También tiendo a pensar que podría haber habido un error al tratar de modelar la probabilidad de que una persona vote el día de las elecciones, si cree que su candidato va a ganar de todos modos, entonces tal vez no vote.

Finalmente:

Jakob Bernoulli estaba muy interesado en cómo calcular estadísticas por muestreo. Postuló que con suficientes muestras podría obtener un error en sus estadísticas tan pequeñas como quisiera. Aplicó este principio a las encuestas políticas de su ciudad: Basilea, pero su error fue tan pequeño que la “n” que obtuvo fue igual a toda la población de la ciudad. Entonces concluyó que tendría que sondear a cada ciudadano para obtener una predicción con el error que quería y eso era lo mismo que la votación real. Se deprimió tanto por este resultado que nunca publicó nada, su hermano fue el que concluyó el trabajo que hoy conocemos como una de las leyes más poderosas del mundo: la Ley de los grandes números.

Esto lleva a la respuesta inevitable: no había suficientes datos. Los encuestadores no pidieron a suficientes personas por sus resultados para superar los prejuicios con un pequeño margen de error.

Es posible que las personas se sorprendieran a sí mismas cuando ingresaron a la cabina electoral y votaron por Trump.

Voté por Hillary, pero decidí DESPUÉS de que obtuve mi voto que no me gustaban tanto a ambos partidos que no votaría por ninguno. Yo voté libertario si tenían un candidato. Escribí en Janet Reno para una carrera sin un candidato no importante del partido.

Para los propósitos más prácticos, un voto por Trump es un voto en contra de ambas partes. Podría haber seguido ese camino si no me hubiera comprometido con bastante firmeza contra Trump.

Parte de esto fue un voto tímido de Trump que nadie vio y no encuestó correctamente. También existía la creencia inherente de muchas organizaciones de encuestas de que Trump simplemente no tenía ninguna posibilidad, dando a Hillary el 90% más o menos con pocos datos para respaldar eso.

Es probable que descubramos mañana que una gran cantidad de jóvenes votaron por Donald Trump, al igual que muchas más personas con educación universitaria de lo previsto. Probablemente no una mayoría, pero quizás un 35%, que fue suficiente para darle la vuelta.

Como explico aquí, la respuesta de Brian Collins a ¿Cómo ganó Donald Trump las elecciones presidenciales de 2016? las encuestas estaban equivocadas porque millones de personas se avergonzaban de votar por él. No iban a decir exactamente eso en una encuesta.

Creo que tiene que ver con modelos probables de votantes y suposiciones falsas.

Si muestras a los votantes al azar y todos te dicen cómo votarán. Las estadísticas no solo le darán el probable ganador, sino que también le darán muchas probabilidades de equivocarse según el tamaño de la muestra.

Tenemos dos problemas aquí: uno son los llamados votos tímidos. Gente que no dice la verdad a los encuestadores. Y lo que creo es que el problema más grande es predecir la participación.

Si le pregunta a alguien anónimamente por quién votará, es probable que obtenga una respuesta razonable. Pero pregúntele qué probabilidad tendrá de votar en realidad, es poco probable que obtenga respuestas confiables. Por lo tanto, los encuestadores ajustan los datos que obtienen en función de lo que creen que será la participación de diversos grupos demográficos. Utilizan encuestas para determinar cómo votará cada grupo demográfico y dependen en gran medida de las elecciones anteriores sobre cómo se muestra cada grupo. Un cambio en la inclinación de los diferentes grupos a mostrarse no se reflejará en las encuestas.

Las muestras utilizadas para hacer pronósticos eran diferentes a las del electorado actual. Por ejemplo, nunca tuvimos una carrera en la que los dos principales candidatos de los partidos tuvieran índices de aprobación tan bajos. Al 35% del electorado no le gustaban ambos candidatos. Ningún análisis estadístico puede hacer un buen pronóstico en esa situación.

Sospecho que construyeron sus modelos asumiendo que el electorado sería similar al que votó en 2012. Sin embargo, Trump pudo obtener un grupo de votantes que no votaron en 2012. También es posible que algunas encuestas hayan sido diseñadas para Muestran a Hillary ganadora ya que hay correos electrónicos, publicados por wikilinks, que son de John Podesta que discuten formas de agregar discretamente sesgo a una encuesta.

Tamaño de la muestra de sondeo. El grupo de participantes no era representativo de la población general.

Podría haber sido un error o partidismo, elige tu opción.

Mi opinión desinformada y completamente especulativa: las encuestas no capturan el comportamiento . Al final, importa menos lo que piensen las poblaciones que lo que hacen, por ejemplo, presentarse y votar.