¿Por qué fallaron las encuestas en 2016? Qué significa un 71% de probabilidad cuando pierde
En resumen: en 2016, las últimas encuestas nacionales de Estados Unidos daban a Hillary Clinton unos 3,2 puntos de ventaja; ganó el voto popular por 2,1, un fallo de alrededor de un punto que la revisión del sector calificó de muy preciso para lo habitual. Las encuestas de varios estados clave fallaron más, en parte porque muchas no ponderaban por nivel de estudios (los universitarios contestan más a las encuestas) y en parte por los votantes que decidieron a última hora. Los pronósticos basados en las encuestas daban a Clinton entre un 71% y un 99%. Un 71% significa perder unas 3 veces de cada 10; una derrota no demuestra que estuviera mal, pero una regla de puntuación como la puntuación de Brier muestra que el pronóstico del 99% se equivocó mucho más que el del 71%.
En la comida del domingo, la conversación llegó a las elecciones, algo que la tía Mari Carmen había pedido expresamente que no pasara. El tío Paco dejó claro que no hablaba de quién debería haber ganado. «La política me da igual», dijo. «Lo que me importa es que los ordenadores dijeron 71% y se equivocaron. O sea, que no sirven para nada».
Lucía le preguntó qué habría pasado si la candidata del 71% hubiera ganado. Paco dijo que entonces habría sido evidente, así que el pronóstico no le habría dicho nada a nadie. Lucía le preguntó qué pronóstico aceptaría. Paco dijo que uno que acertara. Lucía le preguntó si un 71% podía acertar alguna vez. Paco dijo que solo si era un 100%. Mari Carmen sacó el postre, que también había pedido expresamente no tener que sacar antes de tiempo.
Qué decían de verdad los pronósticos
El día de las elecciones de 2016, los pronósticos basados en encuestas daban a Hillary Clinton probabilidades de ganar muy distintas:
- Un modelo conocido: alrededor del 71%.
- Otro: alrededor del 85%.
- Varios más: entre el 98% y el 99%.
Todos usaban más o menos las mismas encuestas. Discrepaban en cuánto podían equivocarse las encuestas a la vez, en la misma dirección, en estados parecidos. El modelo del 71% era el que más lo tenía en cuenta; los del 99%, los que menos.
¿Fallaron las encuestas?
Menos de lo que la gente recuerda. Las últimas encuestas nacionales daban a Clinton una ventaja media de unos 3,2 puntos porcentuales. Ganó el voto popular nacional por 2,1. Una revisión de la asociación estadounidense de investigadores de opinión pública (AAPOR) consideró las encuestas nacionales de las más precisas en décadas.
Los fallos grandes estuvieron en las encuestas de los estados, sobre todo en el Medio Oeste, que decidió el resultado a través del Colegio Electoral. La revisión encontró dos causas principales:
- Quién contesta. La gente con estudios universitarios contesta más a las encuestas. Muchas encuestas estatales no lo corrigieron, y en 2016 el nivel de estudios estaba muy ligado al voto. Es el sesgo de no respuesta: los que responden son distintos de los que no.
- Los indecisos de última hora. Los votantes que se decidieron en los últimos días se inclinaron hacia un lado en varios estados clave, cuando la mayoría de las encuestas ya había terminado.
Esos errores estatales, además, iban en la misma dirección, que es justo el error compartido que tenía en cuenta el pronóstico más prudente.
Cómo puntuar un pronóstico
Un pronóstico del 71% espera perder unas 3 veces de cada 10. Una derrota no demuestra que estuviera mal, igual que un día de lluvia no demuestra que fallara un pronóstico del 30% de lluvia. Lo que sí se puede hacer es puntuar los pronósticos de forma que la seguridad cueste cuando falla. La herramienta habitual es la puntuación de Brier: eleva al cuadrado la probabilidad que diste a lo que no pasó. Cuanto menos, mejor; 0 es perfecto; decir siempre 50% da 0,25.
- 71% para quien perdió: 0,71 × 0,71 = 0,50.
- 85%: 0,72.
- 99%: 0,98, casi la peor puntuación posible.
En una sola elección, a ninguno le fue bien. Pero el pronóstico del 99% recibió casi el doble de castigo que el del 71%, y es justo: decía saber mucho más. A lo largo de muchas elecciones, los 70% de un buen pronosticador se cumplen más o menos el 70% de las veces. Eso es la calibración, y solo se puede comprobar con muchos pronósticos, nunca con uno.
Puntuación de Brier cuando perdió el favorito (cuanto menos, mejor)
Cómo leer un pronóstico
1. Convierte el porcentaje en una frase. Un 71% significa «esto pasa unas 7 veces de cada 10, y las otras 3 no son un escándalo».
2. Pregunta cómo le va al pronosticador con muchos pronósticos. Un acierto o un fallo no dice casi nada. Un historial de cientos dice mucho.
3. Desconfía sobre todo del 99%. Una seguridad muy alta solo vale si los errores son de verdad pequeños e independientes. En unas elecciones, casi nunca lo son.
Dónde te cuesta dinero
«Un 80% de probabilidad de bajada de tipos», «un 90% de probabilidad de recesión»: los pronósticos financieros también son probabilidades, y valen las mismas reglas. No descartes a un pronosticador por un fallo ni lo corones por un acierto. Busca un historial publicado, comprueba si sus 80% se cumplen más o menos el 80% de las veces y desconfía de quien nunca está seguro a menos del 95%.
La moraleja
Lucía le propuso un trato a Paco: durante un año pronosticaría cada acontecimiento familiar con un porcentaje, y ella lo puntuaría. Paco aceptó, con la condición de que se permitiera el 100%. Para marzo había dado un 100% a que la paella de Mari Carmen estaría lista a las dos (lo estuvo a las tres y media), un 100% a que el cuñado llegaría puntual (no llegó) y un 100% a que su equipo ganaría el derbi (empató). Su puntuación de Brier es la peor de la familia. Dice que el sistema está sesgado contra la gente segura de sí misma. Lucía dice que para eso está.
La comida es inventada y no toma partido en ninguna elección. Los datos de encuestas y resultados son de la evaluación de 2017 de la American Association for Public Opinion Research sobre las encuestas de 2016; las probabilidades de los pronósticos son los últimos valores publicados, redondeados; las puntuaciones de Brier son cálculos nuestros para un solo suceso. Contenido educativo, no asesoramiento financiero.