Statystyka od zera · Lekcja 23 z 25
Regresja do średniej: dlaczego skrajne wyniki nie trwają
W jednym zdaniu: Gdy wynik to po części umiejętności, a po części szczęście, skrajny wynik zwykle zawiera skrajne szczęście, więc następny ląduje bliżej średniej i nie potrzeba do tego żadnej przyczyny.
Pomysł
Większość wyników to mieszanka dwóch rzeczy: czegoś stałego (umiejętności, jakości, tego, jak niebezpieczna jest droga) i czegoś, co zmienia się za każdym razem (szczęścia, pogody, nieprzespanej nocy). Gdy wynik jest skrajny, zwykle obie rzeczy zagrały w tę samą stronę: przyzwoite umiejętności i nietypowe szczęście. Następnym razem umiejętności zostają, ale szczęście losuje się od nowa. Więc następny wynik jest zwykle mniej skrajny.
To regresja do średniej. To nie siła ani prawo natury, które ciągnie wszystko z powrotem. Tak po prostu dzieje się, gdy wybierasz coś dlatego, że było skrajne, a potem patrzysz jeszcze raz.
Odkrycie trenera
Ciocia Grażyna w soboty trenuje dziecięcą drużynę piłkarską. Wujek Janusz pomaga, w tym sensie, że stoi obok niej z termosem kawy i opiniami.
Po fatalnym meczu Grażyna krzyczy na drużynę. W następnym tygodniu grają lepiej. Po świetnym meczu ciepło ich chwali. W następnym tygodniu grają gorzej.
Janusz wyciągnął wniosek. „Krzyk działa. Od pochwał miękną”. Zaczął krzyczeć na żywopłot, który się nie poprawił.
Dowody Janusza są prawdziwe: po krzyku wyniki się poprawiały, a po pochwale spadały. Ale stałoby się to bez krzyku i bez pochwał. Fatalny mecz to zwykle przeciętna drużyna plus pech. Następny mecz losuje szczęście od nowa, więc pewnie będzie lepszy. Świetny mecz to zwykle przeciętna drużyna plus fart, więc następny pewnie będzie gorszy. Słowa trenera padają dokładnie w chwilach, gdy wyniki i tak miały się ruszyć, i zbierają za to zasługi albo winę.
Model, który można sprawdzić
Oto prosty model z liczbami, które zasymulowaliśmy dla miliona uczniów. Każdy uczeń ma poziom umiejętności (średnio 60 punktów, odchylenie standardowe 10), a każdy test dokłada do tego szczęście (odchylenie standardowe 10). Piszą dwa testy. Między nimi nic się nie zmienia: żadnych dodatkowych lekcji, żadnego krzyku.
| Grupa (wybrana po teście 1) | Średnia w teście 1 | Średnia w teście 2 |
|---|---|---|
| Najlepsze 10% w teście 1 | 84,8 | 72,4 |
| Wszyscy | 60,0 | 60,0 |
| Najsłabsze 10% w teście 1 | 35,2 | 47,6 |
Najlepsza grupa spadła o ponad 12 punktów, a najsłabsza podniosła się o tyle samo, bez żadnej zmiany. Najlepsza grupa nadal jest powyżej średniej (naprawdę jest średnio zdolniejsza), tylko nie tak bardzo, jak sugerował jej szczęśliwy pierwszy test. A cała klasa jest dokładnie tam, gdzie była: nikt w sumie się nie pogorszył. Ruszyły się tylko grupy wybrane za to, że były skrajne.
Jak daleko z powrotem? Wzór w jednej linijce
Jeśli korelacja między pierwszym a drugim wynikiem wynosi r (lekcja 7), to średnio:
oczekiwany następny wynik = średnia + r × (ten wynik minus średnia)
W modelu oba testy korelują na poziomie r = 0,5, więc oczekiwany drugi wynik najlepszej grupy to 60 + 0,5 × (84,8 - 60) = 72,4. Dokładnie tyle, ile pokazuje symulacja. Gdyby wyniki były czystą umiejętnością (r = 1), regresji nie byłoby wcale. Gdyby były czystym szczęściem (r = 0), następny wynik byłby zwykłą średnią, cokolwiek zdarzyło się ostatnio. Większość prawdziwych rzeczy leży pomiędzy. Stąd zresztą słowo „regresja” w regresji liniowej (lekcja 12).
Gdzie nabiera ludzi
- Fotoradary i czarne punkty. Fotoradary stawia się zwykle tam, gdzie w zeszłym roku było najwięcej wypadków. Te miejsca były po części niebezpieczne, a po części pechowe, więc wypadków i tak byłoby mniej w następnym roku. W modelu 50 skrzyżowań, które są wszystkie tak samo niebezpieczne (średnio 5 wypadków rocznie), pięć najgorszych w danym roku ma średnio około 9,1 wypadku, a w następnym około 5,0, choć nic nie zrobiono. Każda uczciwa ocena musi porównać je z podobnymi skrzyżowaniami bez fotoradaru.
- Najlepszy w zeszłym roku. Pracownik miesiąca, najlepszy handlowiec, zeszłoroczny najlepszy fundusz: wybrani, bo byli skrajni, więc następnym razem często wyglądają zwyczajniej. To niekoniecznie klątwa czy lenistwo.
- Sposoby, które zaczyna się, gdy jest najgorzej. Ludzie próbują sposobów na ból pleców, zastój albo serię porażek w najgorszym momencie, czyli dokładnie wtedy, gdy i tak było prawdopodobne, że się poprawi. Dlatego poważne badania potrzebują grupy kontrolnej (lekcja 25).
Spróbuj sam
Miasto stawia fotoradary na 5 skrzyżowaniach, na których w zeszłym roku było najwięcej wypadków: średnio po 12. W następnym roku na tych skrzyżowaniach jest średnio po 7. Rada miasta ogłasza, że fotoradary zmniejszyły liczbę wypadków o 42%.
1. Dlaczego 42% może być zbyt hojne? 2. Jakie dodatkowe informacje pozwoliłyby uczciwie ocenić fotoradary?
Pokaż odpowiedź
1. Skrzyżowania wybrano dlatego, że zeszły rok był skrajny. Część tego roku to pech, który się nie powtórzy. Więc część spadku z 12 do 7 nastąpiłaby i bez fotoradarów. 42% miesza efekt fotoradaru z regresją do średniej.
2. Porównanie: skrzyżowania, które w zeszłym roku były równie złe, ale nie dostały fotoradarów (albo, lepiej, losowy wybór, które ze złych skrzyżowań je dostaną). Do tego kilka lat historii sprzed fotoradarów, żeby znać normalny poziom każdego skrzyżowania, a nie jego najgorszy rok. Jeśli skrzyżowania z fotoradarami spadły bardziej niż podobne bez nich, ta nadwyżka to efekt fotoradarów. Może być spora. Chodzi o to, żeby ją zmierzyć, a nie założyć.
Słowa, których używa wykładowca
| Wykładowca mówi | To znaczy |
|---|---|
| Regresja do średniej (powrót do średniej) | Po skrajnych wynikach zwykle przychodzą mniej skrajne, gdy szczęście jest częścią wyniku |
| Wynik prawdziwy i błąd pomiaru | Stała część (umiejętność) i zmienna część (szczęście) wyniku |
| Selekcja na podstawie wyniku | Wybieranie przypadków dlatego, że ich wynik był skrajny, co przygotowuje grunt pod regresję |
| Rzetelność test-retest | Jak mocno zgadzają się dwa pomiary tego samego; im niższa, tym silniejsza regresja |
| Błąd regresji | Przypisywanie przyczynie (krzykowi, fotoradarowi, sposobowi) zmiany, którą tłumaczy regresja |
| Grupa kontrolna | Porównywalna grupa bez interwencji, standardowy sposób oddzielenia efektu od regresji |
Trzy rzeczy do zapamiętania
- Skrajne wyniki zwykle zawierają skrajne szczęście, a szczęście nie powtarza się na zawołanie.
- Oczekiwany następny wynik = średnia + r × (ten wynik minus średnia). Im słabszy związek, tym mocniej ciągnie z powrotem.
- Gdy coś wybrano dlatego, że było najlepsze albo najgorsze, porównaj to z podobną grupą bez żadnej zmiany, zanim cokolwiek pochwalisz.
Część kursu Statystyka od zera, darmowego kursu dla początkujących od WrongStat. Nie zastąpi wykładowcy, ale mamy nadzieję, że będzie dobrym tłumaczem.