Czy sondaże są wiarygodne? Wybory w USA w 2016 roku i co znaczy 71% szans
W skrócie: w 2016 roku ostatnie sondaże ogólnokrajowe w USA dawały Hillary Clinton przewagę około 3,2 punktu; w liczbie głosów w całym kraju wygrała o 2,1, czyli pomyłka wyniosła około punktu, co przegląd branży sondażowej nazwał bardzo dokładnym jak na historyczne standardy. Sondaże w kilku kluczowych stanach pomyliły się bardziej, częściowo dlatego, że wiele z nich nie ważyło wyników według wykształcenia (absolwenci studiów chętniej odpowiadają na ankiety), a częściowo przez wyborców decydujących w ostatniej chwili. Prognozy oparte na sondażach dawały Clinton od około 71% do 99%. 71% szans znaczy przegraną mniej więcej 3 razy na 10; jedna przegrana nie dowodzi błędu, ale reguła oceny, taka jak wynik Briera, pokazuje, że prognoza 99% pomyliła się dużo bardziej niż 71%.
Przy niedzielnym obiedzie rozmowa zeszła na wybory, choć ciocia Grażyna wyraźnie prosiła, żeby nie schodziła. Wujek Janusz zaznaczył, że nie chodzi mu o to, kto powinien był wygrać. „Polityka mnie nie obchodzi”, powiedział. „Obchodzi mnie, że komputery powiedziały 71% i się pomyliły. Czyli są do niczego”.
Andżelika zapytała, co by było, gdyby kandydatka z 71% wygrała. Janusz odparł, że wtedy to byłoby oczywiste, więc prognoza nikomu nic by nie powiedziała. Andżelika zapytała, jaką prognozę by zaakceptował. Janusz odparł, że trafną. Andżelika zapytała, czy 71% może kiedykolwiek być trafne. Janusz odparł, że tylko jeśli wynosi 100%. Grażyna podała deser, o którego wcześniejsze podawanie też wyraźnie prosiła, żeby nie musiała.
Co naprawdę mówiły prognozy
W dniu wyborów w 2016 roku prognozy oparte na sondażach dawały Hillary Clinton bardzo różne szanse na wygraną:
- Jeden znany model: około 71%.
- Inny: około 85%.
- Kilka innych: 98% do 99%.
Wszystkie korzystały mniej więcej z tych samych sondaży. Różniły się tym, na ile dopuszczały, że sondaże pomylą się razem, w tę samą stronę, w podobnych stanach. Model z 71% brał to pod uwagę najbardziej, modele z 99% najmniej.
Czy sondaże się pomyliły?
Mniej, niż ludzie pamiętają. Ostatnie sondaże ogólnokrajowe dawały Clinton średnio około 3,2 punktu procentowego przewagi. W głosach w całym kraju wygrała o 2,1. Przegląd przygotowany przez amerykańskie stowarzyszenie badaczy opinii publicznej (AAPOR) uznał sondaże ogólnokrajowe za jedne z najdokładniejszych od dziesięcioleci.
Większe pudła zdarzyły się w sondażach stanowych, zwłaszcza na Środkowym Zachodzie, który przez kolegium elektorów rozstrzygnął wynik. Przegląd wskazał dwie główne przyczyny:
- Kto odpowiada. Ludzie z wyższym wykształceniem chętniej odpowiadają na ankiety. Wiele sondaży stanowych tego nie korygowało, a w 2016 roku wykształcenie było mocno związane z głosowaniem. To błąd braku odpowiedzi: ci, którzy odpowiadają, różnią się od tych, którzy nie odpowiadają.
- Decydujący w ostatniej chwili. Wyborcy, którzy zdecydowali się w ostatnich dniach, w kilku kluczowych stanach przechylili się na jedną stronę, gdy większość sondaży była już zakończona.
Te błędy stanowe szły też w tę samą stronę, a właśnie taki wspólny błąd uwzględniała najostrożniejsza prognoza.
Jak ocenić prognozę
Prognoza 71% spodziewa się przegranej mniej więcej 3 razy na 10. Jedna przegrana nie dowodzi, że się myliła, tak jak jeden deszczowy dzień nie dowodzi, że prognoza 30% szans na deszcz była zła. Można za to oceniać prognozy tak, żeby pewność siebie kosztowała, gdy zawiedzie. Zwykle używa się do tego wyniku Briera: podnieś do kwadratu prawdopodobieństwo, które dałeś temu, co się nie stało. Mniej znaczy lepiej; 0 to ideał; mówienie zawsze 50% daje 0,25.
- 71% dla przegranej: 0,71 × 0,71 = 0,50.
- 85%: 0,72.
- 99%: 0,98, prawie najgorszy możliwy wynik.
Przy jednych wyborach żadna nie wypadła dobrze. Ale prognoza 99% dostała karę prawie dwa razy większą niż 71%, i słusznie: twierdziła, że wie dużo więcej. W wielu wyborach dobre prognozy 70% sprawdzają się mniej więcej w 70% przypadków. To kalibracja i da się ją sprawdzić tylko na wielu prognozach, nigdy na jednej.
Wynik Briera, gdy faworyt przegrał (mniej znaczy lepiej)
Jak czytać prognozę
1. Zamień procent na zdanie. 71% znaczy „to się zdarza mniej więcej 7 razy na 10, a pozostałe 3 razy to nie skandal”.
2. Zapytaj, jak prognosta wypada w wielu prognozach. Jedno trafienie albo pudło mówi prawie nic. Historia setek mówi dużo.
3. Najbardziej podejrzliwie patrz na 99%. Bardzo wysoka pewność ma sens tylko wtedy, gdy błędy naprawdę są małe i niezależne. W wyborach rzadko są.
Gdzie to kosztuje pieniądze
„80% szans na obniżkę stóp”, „90% prawdopodobieństwa recesji”: prognozy finansowe to też prawdopodobieństwa i obowiązują je te same zasady. Nie skreślaj prognosty po jednym pudle i nie koronuj go po jednym trafieniu. Szukaj opublikowanej historii prognoz, sprawdź, czy jego 80% sprawdza się mniej więcej w 80% przypadków, i uważaj na każdego, kto nigdy nie jest pewny na mniej niż 95%.
Morał
Andżelika zaproponowała Januszowi układ: przez rok będzie podawał każde rodzinne wydarzenie w procentach, a ona będzie go oceniać. Janusz się zgodził, pod warunkiem że wolno mówić 100%. Do marca dał 100% na to, że bigos Grażyny będzie gotowy na szóstą (był na siódmą), 100% na to, że Seba przyjdzie punktualnie (nie przyszedł), i 100% na to, że jego drużyna wygra derby (zremisowała). Jego wynik Briera jest najgorszy w rodzinie. Mówi, że system oceny jest uprzedzony do pewnych siebie ludzi. Andżelika mówi, że właśnie o to w nim chodzi.
Obiad jest zmyślony i nie bierze strony w żadnych wyborach. Dane o sondażach i wynikach pochodzą z przeglądu sondaży z 2016 roku przygotowanego w 2017 roku przez American Association for Public Opinion Research; prawdopodobieństwa prognoz to zaokrąglone ostatnie opublikowane wartości; wyniki Briera to nasze obliczenia dla jednego zdarzenia. Treść edukacyjna, nie porada finansowa.