Statystyka od zera · Lekcja 14 z 22
Test t: czy różnica jest prawdziwa, czy to szum?
W jednym zdaniu: Test t porównuje różnicę między dwiema średnimi z tym, jak bardzo dane się wahają i ile ich jest, i pyta, czy różnica wystaje ponad szum.
Pomysł
Dwie grupy, dwie średnie i różnica między nimi. Czy różnica jest prawdziwa, czy taką dałoby się dostać przypadkiem? To najczęstsze pytanie w statystyce, a test t to najczęstszy sposób, żeby na nie odpowiedzieć.
Waży trzy rzeczy naraz: jak duża jest różnica, jak bardzo liczby wahają się w każdej grupie i ile masz liczb. Duża różnica, małe wahania i dużo danych dają przekonującą różnicę. Mała różnica, duże wahania i garść danych dają rzut monetą.
Skrót wujka Janusza
Wujek Janusz odkrył skrót do domu dziadka Zenka. Prowadzi przez polną drogę, obok zamkniętej stacji benzynowej, i przez zakręt, którego Janusz odmawia opisać. Mówi, że oszczędza „masę czasu”.
Ciocia Grażyna, która jeździ normalną drogą, zaproponowała test. Każde zmierzyło sześć przejazdów, w minutach:
| Czasy przejazdów (minuty) | Średnia | |
|---|---|---|
| Normalna droga Grażyny | 32, 35, 30, 38, 33, 36 | 34 |
| Skrót Janusza | 30, 34, 28, 33, 31, 30 | 31 |
Skrót Janusza jest średnio o 3 minuty szybszy. Janusz już powiedział dziadkowi. Ale spójrz na czasy: droga Grażyny trwała od 30 do 38 minut, skrót Janusza od 28 do 34. Trasy mocno na siebie zachodzą. Czy 3 minuty to prawdziwa różnica, czy po prostu szczęśliwy tydzień na drogach?
Co robi test t
Test t zamienia pytanie w jedną liczbę, statystykę t:
t = różnica między średnimi ÷ błąd standardowy tej różnicy
Błąd standardowy (lekcja 6) mierzy, jak bardzo różnica skakałaby, gdybyś powtórzył cały eksperyment. Jest większy, gdy czasy się mocno wahają, i mniejszy, gdy masz więcej przejazdów. Tutaj:
- Różnica: 34 - 31 = 3 minuty.
- Błąd standardowy tej różnicy: około 1,5 minuty (z tego, jak bardzo wahają się czasy na każdej trasie, przy sześciu przejazdach).
- t = 3 ÷ 1,5 = około 2,0.
Różnica jest więc mniej więcej dwa razy większa od swojego typowego skoku. Przybliżona reguła z lekcji 9: t w okolicach 2 i więcej to miejsce, gdzie zaczyna się „raczej nie przypadek”. Tutaj jesteśmy na samej granicy. Dokładna wartość p to 0,07: gdyby trasy były naprawdę identyczne, tak duża różnica zdarzałaby się mniej więcej 7 razy na 100. To coś sugeruje, ale nie przekracza zwykłego progu 5%.
To kto wygrał kłótnię?
Na razie nikt. Janusz nie może powiedzieć, że udowodnił, że skrót jest szybszy. Grażyna nie może powiedzieć, że nie jest: „nieistotne” znaczy „nieudowodnione”, a nie „brak różnicy” (lekcja 8). Uczciwy werdykt brzmi: sześć przejazdów na trasę to za mało, żeby rozstrzygnąć.
Lekarstwem jest więcej danych. Gdyby zrobili po dwanaście przejazdów, z tymi samymi średnimi i tymi samymi wahaniami, błąd standardowy by się zmniejszył, a t wzrosłoby do około 3,0, przy wartości p około 0,007. Te same 3 minuty byłyby wtedy przekonujące. W skrócie nic by się nie zmieniło; zmieniłaby się tylko ilość dowodów.
To najbardziej przydatna lekcja z testu t: to, czy różnica jest „prawdziwa”, zależy nie tylko od jej wielkości, ale też od tego, ile szumu ją otacza i ile masz danych.
Który test t?
- Dwie osobne grupy (różne przejazdy na każdej trasie): test t dla prób niezależnych. Wersja, która nie zakłada, że obie grupy wahają się tak samo, to test Welcha i jest bezpiecznym wyborem domyślnym.
- Te same rzeczy zmierzone dwa razy (tych samych dziesięciu kierowców na obu trasach): test t dla prób zależnych (sparowanych). Porównuje każdego kierowcę z nim samym, co usuwa dużo szumu i zwykle wymaga mniej danych.
- Jedna grupa kontra ustalona liczba (czy średni przejazd naprawdę trwa krócej niż 35 minut?): test t dla jednej próby.
Wszystkie trzy robią pod spodem to samo: różnicę dzieloną przez jej błąd standardowy.
Spróbuj sam
Kuzyn Seba twierdzi, że nowy ekspres do kawy poprawił nastroje w biurze. Oceny zadowolenia (na 10) od 50 współpracowników: stary ekspres średnio 6,1, nowy średnio 6,4. Błąd standardowy różnicy to 0,3.
1. Ile wynosi statystyka t? 2. Czy różnica jest przekonująca? 3. Co sprawiłoby, że byłaby bardziej przekonująca?
Pokaż odpowiedź
1. t = (6,4 - 6,1) ÷ 0,3 = 1,0.
2. Nie. Różnica jest tak duża jak jej typowy skok, a taką bardzo łatwo dostać przypadkiem. Nieudowodnione, co nie jest tym samym co „brak efektu”.
3. Więcej współpracowników albo układ sparowany: zapytaj tych samych ludzi przed i po, żeby ogólny nastrój każdej osoby się zniósł. I odrobina podejrzliwości: jeśli Seba sam wybrał dzień i sam zadawał pytania, problemy z doborem próby z lekcji 6 znaczą więcej niż test t.
Słowa, których używa wykładowca
| Wykładowca mówi | To znaczy |
|---|---|
| Test t (test t-Studenta) | Test, czy różnica między średnimi jest większa, niż dałby sam szum |
| Statystyka t | Różnica podzielona przez jej błąd standardowy: ile „typowych skoków” ma różnica |
| Błąd standardowy różnicy | Jak bardzo różnica zmieniałaby się przy powtarzaniu eksperymentu |
| Próby niezależne / test Welcha | Dwie osobne grupy; wersja Welcha nie zakłada równego rozrzutu |
| Test dla prób zależnych (sparowanych) | Te same obiekty zmierzone dwa razy; porównuje każdy z nim samym |
| Stopnie swobody | Liczba wynikająca z wielkości próby, która ustala, jak surowa jest poprzeczka t; przy małych próbach jest nieco wyżej niż 2 |
| Test dwustronny | Sprawdzanie różnicy w obie strony, a nie tylko w tę, na którą liczyłeś |
Trzy rzeczy do zapamiętania
- Test t pyta, czy różnica jest duża w porównaniu z własnym szumem, a nie czy jest duża.
- t w okolicach 2 to początek „raczej nie przypadek”; małe próby potrzebują trochę więcej.
- Nieistotne znaczy nieudowodnione. Więcej danych albo układ sparowany mogą zmienić werdykt bez zmiany różnicy.
Część kursu Statystyka od zera, darmowego kursu dla początkujących od WrongStat. Nie zastąpi wykładowcy, ale mamy nadzieję, że będzie dobrym tłumaczem.