Statystyka od zera · Lekcja 25 z 25
Badanie obserwacyjne a eksperyment: jak poznać, co jest przyczyną czego
W jednym zdaniu: W badaniu obserwacyjnym tylko patrzysz, co ludzie już robią, więc wynik mogą tłumaczyć ukryte różnice; w eksperymencie przydzielasz interwencję losowo, co jest najczystszym sposobem pokazania przyczyny i skutku.
Pomysł
Lekcja 7 ostrzegała, że korelacja to nie przyczynowość. Ta lekcja mówi, co robić zamiast tego. Są dwa podstawowe sposoby zbierania danych o przyczynie:
- Badanie obserwacyjne: patrzysz i notujesz, co ludzie, rośliny albo firmy już robią, i porównujesz grupy. Niczego nie zmieniasz.
- Eksperyment: sam decydujesz, kto dostaje interwencję, najlepiej losowo, i porównujesz wyniki.
Różnica brzmi niewinnie. To różnica między „te rzeczy idą w parze” a „to powoduje tamto”.
Teoria krasnali
Wujek Janusz przeszedł się po osiedlu i dokonał odkrycia: domy z krasnalami ogrodowymi mają wyraźnie ładniejsze trawniki. Wniosek: krasnale poprawiają trawniki, możliwe, że przez morale. Zamówił sześć.
Ciocia Grażyna zauważa, że większość właścicieli krasnali to emeryci, którzy spędzają na trawniku cały dzień.
Janusz przeprowadził badanie obserwacyjne. Domy z krasnalami i bez nich różnią się wieloma rzeczami poza krasnalami: wolnym czasem, wiekiem, pieniędzmi, zamiłowaniem do ogrodu. Każda z nich może tłumaczyć trawniki. Te ukryte różnice to zmienne zakłócające (lekcja 7), a w badaniu obserwacyjnym nigdy nie masz pewności, że pomyślałeś o wszystkich.
Co robi losowy przydział
Teraz wyobraź sobie wersję Grażyny. Bierze 40 chętnych gospodarstw, rzuca monetą przy każdym i daje krasnale 20, którym wypadł orzeł. Po lecie porównuje trawniki.
Monety nie obchodzi, kto jest emerytem, kto jest bogaty, a kto kocha ogród. Średnio te rzeczy rozkładają się równo między obie grupy. Jeśli więc trawniki w grupie z krasnalami wyjdą lepsze, krasnale (albo coś, co przychodzi razem z dostaniem krasnala) są najbardziej prawdopodobnym powodem. Na tym polega siła losowego przydziału (randomizacji): równoważy zmienne zakłócające, o których wiesz, i te, o których nie wiesz.
Gospodarstwa bez krasnali to grupa kontrolna: pokazują, co i tak by się stało, łącznie z pogodą, porą roku i regresją do średniej (lekcja 23).
Pozostałe składniki dobrego eksperymentu
- Uczciwe porównanie: obie grupy traktowane tak samo pod każdym względem poza testowaną rzeczą. Jeśli gospodarstwa z krasnalami dostają też co tydzień wizytę entuzjastycznego Janusza, testujesz Janusza, a nie krasnale.
- Ślepa próba, gdzie się da: osoby oceniające trawniki nie powinny wiedzieć, które domy mają krasnale, żeby oczekiwania nie zabarwiły ocen. Jeśli same gospodarstwa też nie wiedzą, czy są w „prawdziwej” grupie, próba jest podwójnie ślepa.
- Dość przypadków: dwadzieścia trawników na grupę wychwyci tylko dość duży efekt (lekcje 15 i 22).
- Miara ustalona z góry: „jakość trawnika w skali 1 do 10 we wrześniu”, a nie to, co po fakcie wygląda najlepiej (wielokrotne testowanie z lekcji 8).
Gdy eksperyment jest niemożliwy
Na wiele pytań nie da się odpowiedzieć rzutem monetą: nie można losowo przydzielić ludziom palenia, roku urodzenia ani przejścia przez recesję. Wtedy zostają badania obserwacyjne, a staranne nadal są bardzo cenne. Mogą porównywać podobne z podobnym (lekcja 18), uwzględniać znane zmienne zakłócające, śledzić tych samych ludzi przez lata i szukać eksperymentów naturalnych, czyli sytuacji, w których przydział zrobił za ciebie przypadek, na przykład losowanie miejsc w szkole. Uczciwe sformułowanie wyniku obserwacyjnego to „wiąże się z”, a nie „powoduje”.
Dlaczego to ważne przy wynikach tradingowych
Backtest to badanie obserwacyjne przeszłości: nie da się powtórzyć historii z sygnałem losowo włączanym i wyłączanym. Dlatego nasze testy zawsze porównują strategię z grupą kontrolną losowo wybranych spółek w tym samym okresie i dlatego uważamy na to, co wynik może pokazać. Strategia, która wyglądała dobrze w przeszłości, wiązała się wtedy z dobrymi wynikami; to dużo słabsze twierdzenie niż „przynosi zyski”.
Spróbuj sam
(Wymyślony przykład.) Ankieta w szkole pokazuje, że uczniowie, którzy sami wybierają pierwszą ławkę, mają średnio 72 punkty z egzaminów, a uczniowie z tyłu 64. Janusz wnioskuje, że pierwsza ławka dodaje 8 punktów. W następnym roku nauczycielka przydziela miejsca, losując nazwiska z kapelusza. Uczniowie z pierwszych ławek mają średnio 69, a z tyłu 67.
1. Które badanie jest obserwacyjne, a które jest eksperymentem? 2. Dlaczego różnica się zmniejszyła? 3. Jaka jest najlepsza ocena efektu siedzenia z przodu?
Pokaż odpowiedź
1. Ankieta jest obserwacyjna: uczniowie sami wybrali miejsca. Losowanie z kapelusza to eksperyment z losowym przydziałem.
2. Uczniowie, którzy sami wybierają pierwszą ławkę, są pewnie od początku bardziej zmotywowani. W ankiecie 8 punktów różnicy miesza efekt miejsca z motywacją. Kapelusz rozrzucił zmotywowanych równo po sali, więc większość różnicy zniknęła.
3. 2 punkty z eksperymentu, z zastrzeżeniem: jedna klasa w jednym roku to mała próba, więc trzeba podać przedział (lekcja 9), zanim ktoś przestawi meble. Janusz przesiadł się na szczyt stołu przy rodzinnym obiedzie, bez mierzalnego efektu.
Słowa, których używa wykładowca
| Wykładowca mówi | To znaczy |
|---|---|
| Badanie obserwacyjne | Notowanie tego, co się dzieje, bez przydzielania żadnej interwencji |
| Eksperyment (randomizowane badanie kontrolowane, RCT) | Badacz przydziela interwencję, najlepiej losowo, i porównuje z grupą kontrolną |
| Grupa eksperymentalna, grupa kontrolna | Ci, którzy dostają testowaną rzecz, i ci, którzy jej nie dostają |
| Losowy przydział (randomizacja) | Użycie przypadku do decyzji, kto dostaje interwencję, żeby zmienne zakłócające średnio się zrównoważyły |
| Zmienna zakłócająca | Ukryta różnica między grupami, która wpływa na wynik |
| Ślepa próba, podwójnie ślepa próba | Oceniający (i uczestnicy) nie wiedzą, kto dostał interwencję |
| Eksperyment naturalny | Sytuacja z prawdziwego świata, w której „interwencję” przydzielił przypadek |
| Losowy dobór a losowy przydział | Dobór decyduje, kogo badamy (lekcja 1); przydział decyduje, kto dostaje interwencję |
Trzy rzeczy do zapamiętania
- Obserwacja pokazuje, co idzie w parze. Losowy przydział pokazuje, co jest przyczyną czego.
- Losowy przydział równoważy zmienne zakłócające, o których wiesz, i te, o których nie pomyślałeś.
- Gdy możesz tylko obserwować, mów „wiąże się z”, porównuj podobne z podobnym i szukaj grupy kontrolnej.
Część 3 na razie
Lekcje 20-25 dodają narzędzia, które spotkasz na prawie każdym kursie i w każdym raporcie z badań: rozkład dwumianowy i rozkład Poissona do liczenia, ANOVA do porównywania więcej niż dwóch grup, wielkość efektu do oceny, czy istotny wynik ma znaczenie, regresję do średniej do wyłapywania zmian, które nie potrzebują przyczyny, i różnicę między obserwacją a eksperymentem do rozstrzygania, co jest przyczyną czego.
Część kursu Statystyka od zera, darmowego kursu dla początkujących od WrongStat. Nie zastąpi wykładowcy, ale mamy nadzieję, że będzie dobrym tłumaczem.