Statystyka od zera · Lekcja 6 z 22
Dlaczego sondaże pytają tylko około 1000 osób
W jednym zdaniu: Porządnie wymieszana próba około 1000 osób określa cały kraj z dokładnością do około 3 punktów, bo liczy się wielkość łyżki, a nie wielkość garnka.
Pomysł
Za każdym razem, gdy sondaż podaje, że „zapytano 1000 osób”, ktoś w komentarzach pisze: „W Polsce mieszka 38 milionów ludzi. Co niby może powiedzieć 1000?”
Wróć do garnka bigosu z lekcji 1. Jeśli gar jest dobrze wymieszany, jedna łyżka mówi ci, jak bardzo jest słony. I tu niespodzianka: nie ma znaczenia, czy to rondelek, czy basen. Porządnie wymieszana łyżka z basenu bigosu mówi dokładnie tyle samo, co łyżka z rondelka. Liczy się wielkość łyżki, a nie wielkość garnka.
To jest sedno tej lekcji: dokładność próby zależy od tego, jak duża jest próba, a nie od tego, jak duża jest populacja. (O ile próba jest porządnie losowa. Zapamiętaj tę myśl.)
Sondaż wujka Janusza o bigosie
Po katastrofie na grillu wujek Janusz chce udowodnić, że jego bigos jest lubiany. Pyta 10 osób w barze. 7 z nich mówi, że im smakuje.
„70% poparcia”, ogłasza Janusz. „Więcej niż ma jakikolwiek polityk.”
Ciocia Grażyna zauważa, że gdyby zapytał kolejne 10 osób, mógłby spokojnie dostać 5 odpowiedzi na tak. Albo 9. Przy zaledwie 10 osobach kilka odpowiedzi w jedną czy w drugą stronę przesuwa wynik o 20 punktów.
To chwianie się wyniku między jedną próbą a drugą nazywa się błędem losowym. To nie jest niczyja pomyłka. To po prostu szczęście w tym, kto akurat został wybrany. Dobra wiadomość: maleje w całkowicie przewidywalny sposób, gdy próba rośnie.
Margines błędu
Sondaże zwykle podają margines błędu, na przykład „plus minus 3 punkty”. Oznacza to: nasza liczba jest prawdopodobnie w odległości 3 punktów od tego, co wyszłoby, gdybyśmy zapytali absolutnie wszystkich. („Prawdopodobnie” znaczy tu w 95% przypadków. Lekcja 9 wyjaśnia, co to dokładnie znaczy.)
Dla pytania tak lub nie, gdy odpowiedź jest gdzieś w okolicy pół na pół, margines błędu zależy prawie wyłącznie od wielkości próby:
| Zapytanych osób | Margines błędu (w przybliżeniu) |
|---|---|
| 10 | plus minus 31 punktów |
| 100 | plus minus 10 punktów |
| 1000 | plus minus 3 punkty |
| 4000 | plus minus 1,5 punktu |
Spójrz na wzór. Przejście od 10 do 1000 osób zabiera cię od bezużytecznego do całkiem dobrego. Ale żeby jeszcze raz zmniejszyć błąd o połowę, z 3 do 1,5 punktu, potrzebujesz cztery razy więcej osób. Błąd maleje z pierwiastkiem z wielkości próby: cztery razy więcej osób daje o połowę mniejszy błąd, sto razy więcej osób daje dziesięć razy mniejszy.
Dlatego sondaże zatrzymują się na około 1000. Zapytanie 4000 osób kosztuje cztery razy więcej, a daje tylko 1,5 punktu dokładności. Przy większości pytań 3 punkty wystarczą, a pieniądze lepiej wydać na upewnienie się, że próba jest porządnie losowa.
Margines błędu dla pytania tak albo nie, przy wyniku blisko 50/50
Błąd standardowy
Wykładowca nazwie wielkość tego chwiania błędem standardowym. To odchylenie standardowe z lekcji 3, tyle że dla wyniku z próby, a nie dla pojedynczych wartości. Wyobraź sobie, że robisz ten sam sondaż tysiąc razy, za każdym razem z nowymi losowymi 1000 osobami. Dostałbyś tysiąc trochę różnych odpowiedzi, a one ułożyłyby się w krzywą dzwonową (lekcja 5). Błąd standardowy to odchylenie standardowe tego dzwonu. Margines błędu to mniej więcej dwa błędy standardowe, bo 95% dzwonu leży w dwóch odchyleniach standardowych od środka.
Wzór jest krótki: błąd standardowy = odchylenie standardowe danych ÷ pierwiastek z wielkości próby. Nie musisz go zapamiętywać. Musisz zapamiętać, co mówi: więcej danych to mniej chwiania, ale każda kolejna porcja daje coraz mniej.
Wielkość nigdy nie naprawia obciążenia
A teraz myśl, którą mieliśmy zapamiętać. Wszystko powyżej zakłada, że próba jest losowa. Jeśli nie jest, większa próba tylko daje ci większą pewność co do złej odpowiedzi.
Klasyczny przykład pochodzi z wyborów prezydenckich w USA w 1936 roku. Popularny magazyn rozesłał miliony kart do głosowania, głównie do ludzi z książek telefonicznych i list właścicieli samochodów, i dostał z powrotem około 2,4 miliona. Pewnie przewidział, że wygra pretendent. Franklin D. Roosevelt wygrał w 46 z 48 stanów. W 1936 roku ludzie z telefonem i samochodem byli przeciętnie dużo zamożniejsi od reszty, a ci, którym chciało się odesłać kartę, też nie byli typowi. Obie grupy skłaniały się w tę samą stronę. Prawie dwa i pół miliona łyżek, wszystkie nabrane z wierzchu garnka.
Po co to komuś poza zajęciami
Ta sama matematyka dotyczy wszystkiego, co mierzy się na próbie: badania leku, średniej ocen produktu albo strategii tradingowej sprawdzonej na kilkudziesięciu transakcjach. Strategia, która wygrała 60% z 20 transakcji, mogła łatwo być rzutem monetą, któremu dopisało szczęście: czysta strategia pół na pół radzi sobie co najmniej tak dobrze mniej więcej raz na cztery. Małe próby dają dramatyczne liczby. Dlatego każdy test na tej stronie podaje, na ilu transakcjach się opiera.
Spróbuj sam
Kuzyn Seba ma pomysł na aplikację. Pyta 50 losowo wybranych osób ze swojego miasta, a 60% mówi, że by za nią zapłaciło. Seba jest gotów rzucić pracę.
Korzystając z przybliżonej reguły powyżej: w jakim zakresie prawdopodobnie leży prawdziwy wynik dla całego miasta? I ile osób musiałby zapytać Seba, żeby zejść z marginesem do około 3 punktów?
Pokaż odpowiedź
Przy 50 osobach i wyniku 60% margines błędu wychodzi około plus minus 14 punktów. Czyli prawdziwy wynik leży prawdopodobnie gdzieś między około 46% a 74%. To może być świetny pomysł albo rzut monetą. Pięćdziesiąt osób nie potrafi tego rozróżnić.
Żeby zejść do około 3 punktów, Seba potrzebuje mniej więcej 1000 osób, tyle samo co ogólnopolski sondaż. Nie ma znaczenia, że jego miasto jest dużo mniejsze od kraju.
I jeszcze jedno pytanie do Seby: „czy zapłaciłbyś za to?” to nie to samo, co zapłacenie. To inny rodzaj obciążenia i tego też żadna wielkość próby nie naprawi.
Słowa, których używa wykładowca
| Wykładowca mówi | To znaczy |
|---|---|
| Liczebność próby (n) | Ile osób albo rzeczy zmierzyłeś |
| Błąd losowy (błąd próbkowania) | Naturalne chwianie się wyniku między jedną losową próbą a drugą. Nie pomyłka, tylko szczęście |
| Rozkład z próby | Krzywa dzwonowa, którą dostałbyś, powtarzając tę samą próbę wiele razy |
| Błąd standardowy (SE) | Odchylenie standardowe tego dzwonu: jak bardzo wynik z próby typowo się chwieje |
| Margines błędu | Mniej więcej dwa błędy standardowe: „plus minus” w sondażu |
| Prawo pierwiastka | Cztery razy większa próba daje o połowę mniejszy błąd |
| Centralne twierdzenie graniczne | Powód, dla którego pojawia się dzwon: średnie z losowych prób układają się w krzywą dzwonową, nawet gdy same dane nie |
| Błędy nielosowe | Błędy, których większa próba nie naprawi: obciążenie, źle zadane pytania, ludzie mijający się z prawdą |
Trzy rzeczy do zapamiętania
- Dokładność zależy od wielkości próby, a nie od wielkości populacji. Dobra łyżka działa w każdym garnku.
- Błąd maleje z pierwiastkiem z wielkości próby: cztery razy więcej danych to o połowę mniejszy błąd. Około 1000 osób daje mniej więcej plus minus 3 punkty.
- Większa próba nigdy nie naprawi obciążonej. Dwa miliony złych łyżek to nadal złe łyżki.
Część kursu Statystyka od zera, darmowego kursu dla początkujących od WrongStat. Nie zastąpi wykładowcy, ale mamy nadzieję, że będzie dobrym tłumaczem.