Statystyka od zera · Lekcja 15 z 22
Błędy pierwszego i drugiego rodzaju: dlaczego małe testy przegapiają
W jednym zdaniu: Każdy test może się pomylić na dwa sposoby, podnosząc fałszywy alarm albo przegapiając coś prawdziwego, a mała próba popełnia ten drugi błąd dużo częściej, niż większość ludzi sądzi.
Pomysł
W lekcji 8 nauczyłeś się sprawdzać pomysł, zakładając, że jest fałszywy (hipoteza zerowa), i patrząc, czy dane są wystarczająco zaskakujące, żeby ją odrzucić. Ale test i tak może się pomylić, i to dokładnie na dwa sposoby:
- Błąd pierwszego rodzaju, fałszywy alarm: ogłaszasz efekt, którego nie ma.
- Błąd drugiego rodzaju, przegapienie: efekt jest prawdziwy, a test go nie zauważa.
Kursy statystyki poświęcają dużo czasu pierwszemu i bardzo mało drugiemu. W prawdziwym życiu drugi bywa większym problemem.
Sala sądowa
Proces działa dokładnie jak test statystyczny. Oskarżony jest domniemanie niewinny: to hipoteza zerowa. Oskarżenie potrzebuje dowodów „ponad wszelką wątpliwość”, żeby ją odrzucić.
| Naprawdę niewinny | Naprawdę winny | |
|---|---|---|
| Skazany | Błąd pierwszego rodzaju: skazanie niewinnego | Dobrze |
| Uniewinniony | Dobrze | Błąd drugiego rodzaju: winny wychodzi na wolność |
Podnieś poprzeczkę dowodów, a skażesz mniej niewinnych, ale wypuścisz więcej winnych. Obniż ją, a będzie odwrotnie. Przy tych samych dowodach nie da się zbić obu błędów do zera naraz. Jedyny sposób, żeby zmniejszyć oba, to więcej dowodów.
Poziom istotności 5% to poprzeczka sądu: akceptujesz 5% szans na fałszywy alarm. Szansa przegapienia ma własną nazwę, a jej odwrotność to najważniejszy pomysł tej lekcji: moc testu, czyli szansa, że test złapie efekt, który naprawdę istnieje.
Szczęśliwa moneta Seby
Kuzyn Seba ma monetę, którą rozstrzyga, kto płaci za piwo. Wujek Janusz płaci podejrzanie często. Janusz podejrzewa, że moneta jest oszukana. Powiedzmy, że rzeczywiście jest: wypada orłem w 60% przypadków zamiast w 50%.
Janusz rzuca nią 20 razy na próbę.
Żeby przy zwykłym progu 5% uznać monetę za oszukaną, Janusz potrzebowałby 15 albo więcej orłów na 20. Moneta, która wypada orłem w 60% przypadków, osiąga to tylko w około 13% prób. Czyli 87 razy na 100 test Janusza mówi „brak dowodów, że moneta jest oszukana”, a moneta jest oszukana. Seba jest zachwycony.
Tak rośnie szansa złapania monety wraz z liczbą rzutów:
| Rzuty | Ile orłów trzeba, żeby uznać ją za oszukaną | Szansa złapania monety 60% (moc) |
|---|---|---|
| 20 | 15 lub więcej | 13% |
| 100 | 59 lub więcej | 62% |
| 400 | 217 lub więcej | 99% |
Moneta jest w każdym wierszu tak samo oszukana. Zmienia się tylko ilość dowodów. Przy 20 rzutach test jest prawie ślepy; przy 400 prawie nigdy nie pudłuje. Częsty cel przy planowaniu badań to moc 80%, a dla monety 60% wymaga to nieco ponad 150 rzutów.
Dlaczego to ważne przy każdym „nie znaleziono efektu”
Gdy małe badanie nie znajduje „istotnego efektu”, są dwie możliwości: efektu nie ma albo badanie było za małe, żeby go zobaczyć. Bez znajomości mocy nie wiadomo, która. Dlatego „brak dowodu to nie dowód braku” to jedno z najbardziej przydatnych zdań w statystyce.
Dlatego też nasze testy tradingowe robimy na tysiącach albo milionach transakcji, a nie na garstce: przy takiej ilości danych testy mają dość mocy, żeby zobaczyć nawet małą przewagę. Gdy pomysł nadal nic nie pokazuje na setkach tysięcy transakcji, „za mało danych” przestaje być dobrą wymówką.
I druga strona: test o dużej mocy oznaczy jako istotne nawet maleńkie efekty. Przy miliardzie rzutów dałoby się udowodnić, że moneta wypada orłem w 50,01% przypadków. Istotne i bezużyteczne. Zawsze pytaj, jak duży jest efekt, a nie tylko, czy jest.
Spróbuj sam
Wujek Janusz sprawdził swoje szczęśliwe skarpetki na 10 quizach w pubie i nie znalazł „istotnego efektu”. Wnioskuje, że skarpetki nie działają, i wyrzuca je. Ciocia Grażyna mówi, że test niczego nie dowodzi w żadną stronę.
Kto ma rację i jaki błąd może popełniać Janusz?
Pokaż odpowiedź
Formalnie Grażyna. Dziesięć quizów to maleńka próba, więc test miał bardzo małą moc: nawet gdyby skarpetki trochę pomagały, prawdopodobnie by to przegapił. Jeśli działają, Janusz popełnia błąd drugiego rodzaju, przegapienie. „Nieistotne” przy małej mocy znaczy „nie dało się stwierdzić”.
Mimo to wniosek Janusza jest rozsądnym zakładem. Nie ma sensownego powodu, dla którego skarpetki miałyby zmieniać wyniki quizu, więc prawdopodobieństwo a priori (lekcja 11) jest bardzo niskie. Mała moc wyjaśnia, dlaczego test nie może tego wykluczyć; nie sprawia, że skarpetki działają bardziej. Grażyna i tak po cichu uratowała je z kosza, do prania.
Słowa, których używa wykładowca
| Wykładowca mówi | To znaczy |
|---|---|
| Błąd pierwszego rodzaju (fałszywie dodatni) | Odrzucenie hipotezy zerowej, gdy jest prawdziwa: fałszywy alarm |
| Błąd drugiego rodzaju (fałszywie ujemny) | Nieodrzucenie hipotezy zerowej, gdy jest fałszywa: przegapienie |
| Poziom istotności, alfa (α) | Akceptowana szansa błędu pierwszego rodzaju, zwykle 5% |
| Beta (β) | Szansa błędu drugiego rodzaju |
| Moc testu (1 - β) | Szansa złapania efektu, który naprawdę istnieje |
| Wielkość efektu | Jak duży jest prawdziwy efekt (60% orłów zamiast 50%); większe efekty łatwiej złapać |
| Analiza mocy | Wyliczenie przed badaniem, ile danych potrzeba, żeby mieć dobrą szansę złapać efekt |
Trzy rzeczy do zapamiętania
- Test może podnieść fałszywy alarm (pierwszy rodzaj) albo przegapić coś prawdziwego (drugi rodzaj). Oba zmniejsza tylko więcej dowodów.
- Małe próby mają małą moc: „nie znaleziono efektu” często znaczy „za mało, żeby stwierdzić”.
- Ogromne próby uznają maleńkie efekty za istotne: zawsze pytaj, jak duży, a nie tylko czy jest.
Część kursu Statystyka od zera, darmowego kursu dla początkujących od WrongStat. Nie zastąpi wykładowcy, ale mamy nadzieję, że będzie dobrym tłumaczem.