Statystyka od zera · Lekcja 8 z 22
Czy moneta jest oszukana? Testowanie hipotez i wartość p
W jednym zdaniu: Żeby zdecydować, czy coś jest prawdziwe, czy to tylko szczęście, załóż, że to tylko szczęście, i zapytaj, jak zaskakujący byłby twój wynik; wartość p to właśnie to zaskoczenie zapisane jako prawdopodobieństwo.
Pomysł
Wujek Janusz rzuca monetą, żeby ustalić, kto zmywa. Ostatnio strasznie często wypada orzeł, czyli wybór Janusza. Czy moneta jest oszukana, czy rodzina ma po prostu pecha?
Rzucaniem nigdy nie udowodnisz, że moneta jest oszukana. Nawet idealnie uczciwa moneta może dać dziesięć orłów z rzędu. Możesz za to zapytać: gdyby moneta była uczciwa, jak zaskakujący byłby ten wynik? Jeśli odpowiedź brzmi „bardzo”, zaczynasz w monetę wątpić. Na tym polega całe testowanie hipotez.
Jak to działa, w czterech krokach
- Krok 1. Załóż, że nie dzieje się nic ciekawego. Moneta jest uczciwa. Lek nic nie robi. Strategia tradingowa nie jest lepsza od losowej. To nudne założenie początkowe nazywa się hipotezą zerową.
- Krok 2. Zbierz dane. Rzucaj monetą, przeprowadź badanie, przetestuj strategię.
- Krok 3. Zapytaj, jak zaskakujące są dane, gdyby nudne założenie było prawdziwe. To prawdopodobieństwo to wartość p.
- Krok 4. Zdecyduj. Jeśli wartość p jest mała (tradycyjnie poniżej 5%), dane byłyby dość zaskakujące przy nudnym założeniu, więc je odrzucasz. Wynik nazywa się wtedy istotnym statystycznie. Jeśli nie, nie masz dość dowodów, żeby je odrzucić.
To ta sama logika co w sądzie. Oskarżonego uważa się za niewinnego (hipoteza zerowa). Prokurator musi przedstawić dowody, które byłyby bardzo mało prawdopodobne, gdyby oskarżony był niewinny. Uniewinnienie nie znaczy „udowodniono niewinność”. Znaczy, że dowody nie były dość mocne.
Moneta do zmywania staje przed sądem
Ciocia Grażyna konfiskuje monetę i rzuca nią 10 razy. Orzeł wypada 8 razy.
Gdyby moneta była uczciwa, jak często wypadłoby 8 albo więcej orłów na 10? Po przeliczeniu wszystkich możliwości: 56 na 1024, około 5,5%. To jest wartość p.
Podejrzane, ale nie całkiem poniżej tradycyjnej granicy 5%. Jeden test z 10 rzutami nie skaże monety. Grażyna, która jest dokładna, rzuca jeszcze 90 razy. Na 100 rzutów orzeł wypada 60 razy.
Szansa na 60 lub więcej orłów na 100 przy uczciwej monecie wynosi około 2,8%. Teraz moneta jest oficjalnie podejrzana. Janusz twierdzi, że to „po prostu szczęśliwa moneta”. Grażyna zauważa, że właśnie w tym problem.
Zauważ, co się stało: 60% orłów na 100 rzutów przekonuje bardziej niż 80% orłów na 10. Duży efekt w malutkiej próbie łatwo dostać przez przypadek. Mniejszy efekt w większej próbie dużo trudniej (znowu lekcja 6).
Dziesięć rzutów uczciwą monetą: jak często wypada każda liczba orłów
Czego wartość p NIE znaczy
Wartość p to najbardziej źle rozumiana liczba w nauce. Trzy klasyczne błędy:
- To nie jest szansa, że hipoteza zerowa jest prawdziwa. Wartość p równa 2,8% nie znaczy „jest 2,8% szans, że moneta jest uczciwa”. Znaczy „gdyby moneta była uczciwa, tak skrajny wynik zdarzałby się w 2,8% przypadków”. Różnica brzmi niewinnie. Nie jest.
- „Nieistotne” nie znaczy „brak efektu”. Po 10 rzutach moneta nie była istotnie nieuczciwa. To nie dowodziło, że jest uczciwa. Znaczyło, że 10 rzutów to za mało, żeby to rozstrzygnąć.
- „Istotne” nie znaczy „duże” ani „ważne”. Przy ogromnej próbie moneta, która daje orła w 50,1% przypadków, w końcu stanie się „istotna statystycznie”. To prawda, ale nikogo nie powinno to obchodzić.
Pułapka: testowanie wielu rzeczy
Próg 5% znaczy, że gdy nic się nie dzieje, i tak dostaniesz „istotny” wynik w 5% przypadków, przez przypadek. Przetestuj jedną rzecz i to akceptowalne ryzyko. Przetestuj 20 rzeczy, z których żadna nic nie robi, a szansa, że co najmniej jedna wyjdzie istotna, wynosi około 64%.
To się nazywa wielokrotne testowanie i w ten sposób publikuje się mnóstwo bzdur: sprawdź wiele wersji, opisz tę, która „zadziałała”. Lekarstwem jest dostosowanie progu do liczby testów albo ponowne sprawdzenie zwycięzcy na świeżych danych, których nigdy nie widział.
Po co to komuś poza zajęciami
Każdy pomysł tradingowy, który testujemy na tej stronie, przechodzi dokładnie przez to. Hipoteza zerowa brzmi: „ta strategia nie jest lepsza od kupna losowej spółki tego samego dnia”. Mierzymy, jak zaskakujące byłyby wyniki strategii, gdyby to była prawda, a ponieważ zwykle testujemy kilka wersji każdego pomysłu, robimy korektę na wielokrotne testowanie. Większość słynnych strategii nie przeżywa tej korekty. Niektóre przed nią wyglądały na istotne, i właśnie dlatego ta korekta istnieje.
Spróbuj sam
Ciocia Grażyna twierdzi, że odróżnia drogie wino od taniego. Seba przygotowuje test: 10 kieliszków, każdy losowo napełniony drogim albo tanim winem, a Grażyna nie widzi butelek. Trafia 9 na 10.
Jaka jest hipoteza zerowa? Czy wynik jest istotny statystycznie na poziomie 5%? I czy to dowodzi, że Grażyna czuje różnicę?
Pokaż odpowiedź
Hipoteza zerowa: Grażyna zgaduje, więc każda odpowiedź to rzut monetą pół na pół.
Wartość p: szansa na 9 lub więcej trafień na 10 przez zgadywanie to 11 na 1024, około 1,1%. To poniżej 5%, więc wynik jest istotny statystycznie. Zgadywanie słabo to tłumaczy.
Czy to dowód? Nie do końca. To mocna poszlaka, ale fuks z szansą 1,1% nadal zdarza się mniej więcej raz na 90 testów. Gdyby Seba przetestował całą rodzinę, a Grażyna akurat wypadła najlepiej, to znowu wielokrotne testowanie. Uczciwy następny krok to powtórzyć test na nowych kieliszkach. Jeśli znowu jej się uda, wujek Janusz będzie musiał przestać kupować tanie wino i przelewać je do drogiej butelki.
Słowa, których używa wykładowca
| Wykładowca mówi | To znaczy |
|---|---|
| Hipoteza zerowa (H0) | Nudne założenie: brak efektu, brak różnicy, tylko przypadek |
| Hipoteza alternatywna (H1) | Ciekawe twierdzenie, które sprawdzasz: efekt istnieje |
| Statystyka testowa | Liczba podsumowująca, jak daleko dane są od tego, czego oczekuje hipoteza zerowa |
| Wartość p | Gdyby hipoteza zerowa była prawdziwa, szansa na wynik co najmniej tak skrajny |
| Poziom istotności (alfa, α) | Próg wybierany z góry, zwykle 5% |
| Istotny statystycznie | Wartość p wyszła poniżej progu |
| Błąd I rodzaju (fałszywy alarm) | Odrzucenie hipotezy zerowej, choć była prawdziwa: skazanie niewinnej monety |
| Błąd II rodzaju (przeoczenie) | Nieodrzucenie jej, choć efekt naprawdę był: puszczenie oszukanej monety wolno |
| Moc testu | Szansa, że test wykryje prawdziwy efekt. Większe próby dają większą moc |
| Test jednostronny / dwustronny | Czy interesuje cię tylko jeden kierunek (za dużo orłów), czy oba (za dużo orłów albo za dużo reszek) |
| Porównania wielokrotne | Wiele testów naraz, przez co fuksy są dużo bardziej prawdopodobne |
Trzy rzeczy do zapamiętania
- Testowanie hipotez zakłada, że to tylko przypadek, a potem pyta, jak zaskakujące byłyby dane. Wartość p to to zaskoczenie.
- Wartość p to nie szansa, że hipoteza zerowa jest prawdziwa. „Nieistotne” nie dowodzi braku efektu, a „istotne” nie dowodzi dużego.
- Przetestuj wystarczająco wiele rzeczy, a coś wyjdzie istotne przez przypadek. Zawsze pytaj, ile rzeczy sprawdzono.
Część kursu Statystyka od zera, darmowego kursu dla początkujących od WrongStat. Nie zastąpi wykładowcy, ale mamy nadzieję, że będzie dobrym tłumaczem.