Statystyka od zera · Lekcja 27 z 31
Regresja wieloraka: co naprawdę znaczy „kontrolując”
W jednym zdaniu: Regresja wieloraka szacuje związek jednego czynnika z wynikiem przy ustalonych pozostałych zmierzonych czynnikach, co może usunąć mylący związek, ale nie naprawi czynników, których nikt nie zmierzył.
Pomysł
W lekcji 12 rysowaliśmy linię przez chmurę punktów: jedna przyczyna, jeden wynik. W prawdziwym życiu zwykle dzieje się kilka rzeczy naraz. Regresja wieloraka dopasowuje jedno równanie z kilkoma czynnikami objaśniającymi jednocześnie i każdemu daje własną liczbę: o ile zmienia się wynik, gdy ten czynnik rośnie o jeden, przy pozostałych czynnikach w modelu ustalonych.
To ostatnie sformułowanie badacze mają na myśli, mówiąc o „kontrolowaniu” czegoś. To główne narzędzie do radzenia sobie ze zmiennymi zakłócającymi (lekcja 7), gdy nie da się przeprowadzić eksperymentu (lekcja 25).
Kawowa teoria wujka Janusza
Wujek Janusz przeczytał ankietę o kondycji. „Ci, co piją najwięcej kawy, mają najgorszą kondycję”, ogłasza i z namaszczeniem wylewa czwartą filiżankę do zlewu. „Kawa niszczy płuca”.
Ciocia Grażyna zauważa, że połowa znanych jej kawoszy wychodzi z kawą na balkon z papierosem.
Żeby zobaczyć, co się dzieje, zbudowaliśmy wymyśloną ankietę 1000 osób, w której znamy prawdę: 30% pali, palacze piją około dwóch filiżanek kawy dziennie więcej niż niepalący, palenie obniża wynik kondycji (na 100) o 15 punktów, a kawa nie ma żadnego wpływu. Potem przeanalizowaliśmy ją na dwa sposoby i powtórzyliśmy całość 2000 razy, żeby dostać stabilne liczby.
| Model | Efekt jednej filiżanki więcej | Efekt palenia |
|---|---|---|
| Regresja prosta: kondycja od kawy | 3,5 punktu mniej | nie ma w modelu |
| Regresja wieloraka: kondycja od kawy i palenia | 0,0 punktu | 15 punktów mniej |
Przy samej kawie linia opada i to nie przypadek: najwięksi kawosze naprawdę mają gorsze wyniki. Ale dlatego, że najwięksi kawosze to głównie palacze. Dodaj palenie do modelu, a liczba dla kawy spada do zera, bo teraz odpowiada na inne pytanie: czy wśród ludzi o tym samym statusie palenia więcej kawy idzie w parze z gorszą kondycją? Nie idzie.
Jak wygląda „przy pozostałych bez zmian”
To samo widać bez żadnych równań, gdy podzielisz ludzi na grupy:
| Średni wynik kondycji | Poniżej 2 filiżanek dziennie | 4 filiżanki i więcej |
|---|---|---|
| Wszyscy | 79,7 | 66,4 |
| Tylko niepalący | 80,0 | 79,9 |
| Tylko palący | 65,1 | 65,0 |
13 punktów różnicy w pierwszym wierszu bierze się wyłącznie z tego, kto jest w której kolumnie: pali tylko 2% pijących mało kawy, a 91% pijących dużo. W każdej grupie palenia kawa nie robi różnicy. Regresja wieloraka robi ten podział za ciebie, naraz, dla wielu czynników, także takich jak wiek czy dochód, których nie da się podzielić na dwie zgrabne grupy. To bliski krewny paradoksu Simpsona (lekcja 18).
Model z oboma czynnikami też więcej wyjaśnia: R kwadrat (lekcja 12) wzrósł z około 0,23 do około 0,46, bo to palenie naprawdę napędza wyniki.
Średni wynik kondycji według picia kawy, wszyscy i według palenia
Jak czytać wynik
- Każdy współczynnik to oczekiwana zmiana wyniku przy jednej jednostce więcej danego czynnika, gdy pozostałe czynniki w modelu się nie zmieniają.
- Każdy ma błąd standardowy i wartość p (lekcje 8 i 14): czy da się go odróżnić od zera?
- Znak może się odwrócić, gdy dodasz czynnik. To nie błąd, tylko sedno sprawy.
Trzy sposoby, w jakie „kontrolowanie” zawodzi
- Kontrolujesz tylko to, co zmierzyłeś. Gdyby ankieta nie pytała o palenie, efekt kawy zostałby na minus 3,5 i wyglądał przekonująco. Regresja nie widzi zmiennej zakłócającej, której nie ma w danych. Dlatego eksperymenty wciąż wygrywają.
- Kontrolowanie nie tego, co trzeba. Gdyby kawa wpływała na kondycję przez sen, dodanie snu do modelu ukryłoby prawdziwy efekt. Nie kontroluj kroków na ścieżce, którą próbujesz zmierzyć.
- Czynniki, które chodzą razem. Jeśli dwa czynniki to prawie to samo (wzrost w centymetrach i w calach), model nie umie ich rozdzielić, a ich współczynniki stają się dzikie i niewiarygodne.
Spróbuj sam
Badanie pokazuje, że ludzie, którzy mają więcej książek, zarabiają więcej. Po kontroli dochodu rodziców i lat nauki związek wyraźnie maleje, ale nie znika.
1. Dlaczego związek zmalał? 2. Czy to, co zostało, dowodzi, że kupowanie książek podnosi pensję?
Pokaż odpowiedź
1. Część pierwotnego związku brała się ze zmiennych zakłócających: bogatsi rodzice i dłuższa nauka idą w parze i z większą liczbą książek, i z wyższą pensją. Ustalenie ich usuwa ich udział.
2. Nie. Inne niezmierzone czynniki (ciekawość, zdrowie, miejsce zamieszkania) wciąż mogą tłumaczyć resztę związku, a przyczyna może nawet działać odwrotnie: lepiej zarabiający mogą sobie pozwolić na więcej książek. Kontrolowanie czyni przyczynową historię bardziej prawdopodobną; nie dowodzi jej.
Słowa, których używa wykładowca
| Wykładowca mówi | To znaczy |
|---|---|
| Regresja wieloraka | Regresja z dwoma albo więcej czynnikami objaśniającymi naraz |
| Zmienna zależna (objaśniana) | To, co próbujesz wyjaśnić, na przykład wynik kondycji |
| Zmienne niezależne (objaśniające, predyktory) | Czynniki w modelu, na przykład kawa i palenie |
| Cząstkowy współczynnik regresji | Efekt jednego czynnika przy pozostałych ustalonych |
| Kontrolując, po uwzględnieniu | Włączając czynnik do modelu, żeby ustalić jego wpływ |
| Obciążenie pominiętej zmiennej | Błędny współczynnik z powodu pominięcia zmiennej zakłócającej |
| Mediator (zmienna pośrednicząca) | Krok na ścieżce od przyczyny do wyniku; kontrolowanie go ukrywa efekt |
| Współliniowość | Czynniki tak mocno związane, że model nie umie rozdzielić ich efektów |
Trzy rzeczy do zapamiętania
- Każdy współczynnik odpowiada na pytanie: co zmienia się z tym czynnikiem, gdy pozostałe w modelu zostają takie same?
- Dodanie zmiennej zakłócającej może zmniejszyć, wymazać albo odwrócić związek. To znak, że metoda działa.
- Regresja ustala tylko to, co zmierzyłeś. Niezmierzona zmienna zakłócająca wciąż ją oszuka.
Część kursu Statystyka od zera, darmowego kursu dla początkujących od WrongStat. Nie zastąpi wykładowcy, ale mamy nadzieję, że będzie dobrym tłumaczem.