Statystyka od zera · Lekcja 21 z 22
Co to jest ANOVA? Porównanie trzech i więcej średnich naraz
W jednym zdaniu: ANOVA porównuje kilka średnich grupowych w jednym teście, pytając, czy różnice między grupami są duże w porównaniu ze zwykłym rozrzutem wewnątrz nich, i tak unika fałszywych alarmów, które dałaby seria testów t.
Pomysł
Test t (lekcja 14) porównuje dwie średnie. A co, jeśli masz trzy grupy albo pięć? Możesz porównać każdą parę osobnym testem t. Kłopot w tym, że każdy test niesie własne ryzyko fałszywego alarmu, a ryzyka się sumują. ANOVA, czyli analiza wariancji, porównuje wszystkie grupy w jednym teście.
Jej pytanie jest proste: czy średnie są od siebie dalej, niż można by się spodziewać przy tym, jak bardzo wszystko i tak się różni?
Próba pomidorowa
Wujek Janusz jest przekonany, że jego pomidory na działce rosną najlepiej na resztkach piwa. Ciocia Grażyna, która słyszy to co lato od jedenastu lat, proponuje próbę. Dwanaście krzaków, trzy grupy po cztery: sama woda, nawóz z ogrodniczego i piwo Janusza.
Pod koniec lata liczą pomidory na każdym krzaku:
| Grupa | Pomidory na krzaku | Średnia |
|---|---|---|
| Sama woda | 8, 10, 12, 10 | 10 |
| Nawóz ze sklepu | 12, 14, 16, 14 | 14 |
| Piwo Janusza | 10, 12, 14, 12 | 12 |
Janusz zwraca uwagę, że piwo pokonało wodę. Grażyna zwraca uwagę, że nawóz pokonał piwo. Obie rzeczy są prawdą o tych dwunastu krzakach. Pytanie brzmi, co jest prawdą o pomidorach.
Dlaczego nie zrobić po prostu trzech testów t?
Trzy grupy to trzy pary: woda kontra nawóz, woda kontra piwo, nawóz kontra piwo. Każdy test t na zwykłym poziomie 5% ma 5% szans na fałszywy alarm, gdy żadnej różnicy nie ma. Zrób trzy, a szansa, że przynajmniej jeden da fałszywy alarm, rośnie do około 14%. Przy pięciu grupach jest dziesięć par, a ryzyko dochodzi do około 40%. To problem wielokrotnego testowania z lekcji 8, który wszedł furtką od działki.
ANOVA najpierw zadaje jedno pytanie: czy jest jakakolwiek różnica? Dopiero gdy odpowiedź brzmi „tak”, szukasz, gdzie.
Sygnał do szumu: iloraz F
ANOVA porównuje dwa rodzaje zmienności:
- Między grupami: jak daleko średnie grup (10, 14 i 12) są od średniej ogólnej (12). To sygnał: możliwy efekt tego, czym podlewano krzaki.
- Wewnątrz grup: jak bardzo różnią się krzaki, które dostały to samo (od 8 do 12 na samej wodzie). To szum: gleba, słońce, ślimaki, szczęście.
Podziel pierwsze przez drugie (każde przeskalowane przez liczbę grup i krzaków), a dostaniesz iloraz F (statystykę F). Gdyby podlewanie nic nie dawało, średnie grup różniłyby się tylko o ten sam przypadek, przez który różnią się krzaki w jednej grupie, i F wynosiłoby około 1. Im większe F, tym trudniej wytłumaczyć różnice przypadkiem.
Dla pomidorów F = 6,0. Przy 3 grupach i 12 krzakach tak wysoka wartość pojawiłaby się przez przypadek tylko w około 2% przypadków: p = 0,02. Coś się różni.
Te same średnie, inny werdykt
Teraz wyobraź sobie, że krzaki w każdej grupie różniły się dużo bardziej, na przykład 4, 10, 16 i 10 na samej wodzie, a pozostałe grupy były rozrzucone równie szeroko. Średnie nadal wynoszą 10, 14 i 12. Ale szum jest teraz dużo większy niż sygnał: F = 0,67, p = 0,54. Żadnych dowodów na różnicę.
To sedno ANOVA i echo lekcji 3: średnia bez rozrzutu to pół odpowiedzi. Różnica 4 pomidorów znaczy dużo, gdy krzaki są równe, i bardzo mało, gdy każdy rośnie jak chce.
To która grupa się różni?
Istotny wynik ANOVA mówi tylko, że „przynajmniej jedna średnia się różni”. Nie mówi, która. Do tego służy test post hoc (najczęściej test Tukeya), który porównuje pary, utrzymując łączne ryzyko fałszywego alarmu na poziomie 5%.
Dla pomidorów wychodzi, że nawóz pokonał samą wodę (różnica 4 pomidorów, p = 0,02). Różnica 2 pomidorów między piwem a każdą z pozostałych grup jest za mała, żeby ją rozstrzygnąć przy czterech krzakach na grupę (p = 0,25 w obu przypadkach). Próba pokazuje więc, że nawóz pomaga. Nie pokazuje, że piwo pomaga, i nie pokazuje, że nie pomaga. Przy czterech krzakach na grupę efekt 2 pomidorów trudno byłoby wychwycić, nawet gdyby był prawdziwy (lekcja 15).
Janusz zapowiedział większą próbę w przyszłym roku. Grażyna odnotowała, że będzie wymagała więcej piwa.
Drobny druk
- Niezależne obserwacje. Dwanaście osobnych krzaków, a nie jeden krzak policzony dwanaście razy.
- Mniej więcej dzwonowe dane w każdej grupie albo dość danych, żeby pomogło centralne twierdzenie graniczne (lekcja 17).
- Podobny rozrzut w każdej grupie. Jeśli jedna grupa jest dużo bardziej rozrzucona niż reszta, użyj wersji, która to uwzględnia (ANOVA Welcha, kuzynka testu t Welcha).
- Losowy przydział, jeśli chcesz mówić o przyczynach. Jeśli krzaki z piwem stały akurat w najbardziej słonecznym rogu działki, ANOVA nie odróżni słońca od piwa (lekcja 7).
Spróbuj sam
Kuzyn Seba porównuje, ile minut trzy pizzerie wiozą zamówienie, po pięć zamówień z każdej. Średnie to 30, 32 i 35 minut. ANOVA daje p = 0,30.
1. Seba mówi: „Czyli wszystkie trzy są tak samo szybkie”. Czy to pokazuje wynik? 2. Seba robi potem testy t dla wszystkich trzech par i podaje ten, który dał p = 0,04. Co jest z tym nie tak?
Pokaż odpowiedź
1. Nie. p = 0,30 znaczy, że takie różnice zwykły rozrzut daje dość często, więc nie ma dowodów na różnicę. To nie jest dowód, że różnicy nie ma. Przy pięciu zamówieniach z każdej prawdziwa różnica 5 minut spokojnie mogłaby schować się w szumie. „Nie znaleźliśmy różnicy” i „różnicy nie ma” to różne zdania.
2. To dokładnie ta pułapka, przed którą chroni ANOVA. Gdy test ogólny nic nie znalazł, przekopywanie się przez pary i podanie najładniejszej to wielokrotne testowanie: przy trzech próbach p poniżej 0,05 wychodzi przez przypadek dużo częściej niż w 5% przypadków. Jeśli chce porównań parami, powinien użyć testu post hoc, który to koryguje, i spodziewać się, że zgodzi się z ANOVA.
Słowa, których używa wykładowca
| Wykładowca mówi | To znaczy |
|---|---|
| Jednoczynnikowa analiza wariancji | Porównanie średnich trzech lub więcej grup, które różnią się jedną rzeczą (tu: czym podlewano) |
| Czynnik, poziomy czynnika | To, co zmieniasz (podlewanie), i jego wersje (woda, nawóz, piwo) |
| Zmienność międzygrupowa (SSB, MSB) | Jak daleko średnie grup są od średniej ogólnej: sygnał |
| Zmienność wewnątrzgrupowa (SSW, MSW, błąd) | Jak bardzo różnią się obserwacje w każdej grupie: szum |
| Statystyka F (iloraz F) | Zmienność międzygrupowa podzielona przez wewnątrzgrupową; około 1, gdy nic się nie dzieje |
| Stopnie swobody (tu 2 i 9) | Liczba grup minus 1 oraz liczba obserwacji minus liczba grup; wyznaczają wiersz tablicy F |
| Test post hoc (test HSD Tukeya) | Test uzupełniający, który porównuje pary bez zawyżania ryzyka fałszywego alarmu |
| Rodzinny poziom błędu (FWER) | Szansa na przynajmniej jeden fałszywy alarm w całym zestawie testów |
Trzy rzeczy do zapamiętania
- Wiele testów t to wiele szans na fałszywy alarm. ANOVA najpierw pyta: czy jest jakakolwiek różnica?
- F to sygnał do szumu: różnice między grupami w porównaniu z rozrzutem wewnątrz nich.
- Istotna ANOVA mówi, że coś się różni, a nie co. Nieistotna mówi „brak dowodów”, a nie „brak różnicy”.
Część kursu Statystyka od zera, darmowego kursu dla początkujących od WrongStat. Nie zastąpi wykładowcy, ale mamy nadzieję, że będzie dobrym tłumaczem.