Statystyka od zera · Lekcja 22 z 22
Istotne statystycznie nie znaczy ważne: wielkość efektu
W jednym zdaniu: Istotny statystycznie znaczy, że wynik to raczej nie przypadek, a nie że jest duży albo coś wart; żeby wiedzieć, czy ma znaczenie, patrz na wielkość efektu, w prawdziwych jednostkach i z przedziałem.
Pomysł
W codziennej polszczyźnie „istotny” znaczy duży albo ważny. W statystyce znaczy coś dużo węższego: raczej nie czysty przypadek (lekcja 8). Wynik może być istotny statystycznie i zupełnie nieważny. A ważny efekt może nie wyjść istotny statystycznie. Mylenie tych dwóch znaczeń to jeden z najczęstszych błędów w nagłówkach, raportach firmowych i czasem w odpowiedziach na egzaminie.
Lekarstwem jest druga liczba: wielkość efektu, czyli jak duża jest różnica naprawdę.
Zielony przycisk
Kuzyn Seba pracuje w sklepie internetowym. Jego zespół przetestował zielony przycisk „Kup” przeciwko staremu niebieskiemu, każdy zobaczył milion odwiedzających. Niebieski sprzedał 10,0% odwiedzających. Zielony 10,1%.
Test jest istotny statystycznie: p = 0,02. Kierownik Seby nazwał to „istotnym przełomem”, kazał przemalować wszystkie przyciski w sklepie i zwołał spotkanie w sprawie zieleni.
Seba zrobił drugi rachunek. Zielony przycisk daje jednego dodatkowego klienta na tysiąc odwiedzających.
Obie liczby są poprawne. Wartość p mówi, że różnica jest raczej prawdziwa. Wielkość efektu, 0,1 punktu procentowego, mówi, ile jest warta. Czy to wystarczy na przebudowę, zależy od tego, ilu odwiedzających ma sklep i ile kosztuje przemalowanie, a to pytanie biznesowe, nie statystyczne. Na pewno nie jest to przełom.
Dlaczego ogromne próby czynią wszystko istotnym
Wartość p zależy od dwóch rzeczy: jak duży jest efekt i ile masz danych. Przy wystarczającej liczbie danych błąd standardowy (lekcja 6) kurczy się tak bardzo, że nawet malutka różnica odstaje od szumu. Oto ten sam efekt przy dwóch wielkościach próby.
Dwie grupy piszą ten sam egzamin. Grupa A ma średnio 72 punkty, grupa B 70, a w obu odchylenie standardowe wynosi 10 punktów.
| Studentów w grupie | Różnica | Wartość p | 95% przedział dla różnicy |
|---|---|---|---|
| 20 | 2 punkty | 0,53 | od 4,4 punktu gorzej do 8,4 lepiej |
| 2000 | 2 punkty | poniżej 0,000001 | od 1,4 do 2,6 punktu lepiej |
Różnica za każdym razem to te same 2 punkty. Wartość p zmieniła się z „nic tu nie ma” na „przytłaczające” tylko dlatego, że grupy urosły. Malutkie p nie znaczy więc dużego efektu, a duże p nie znaczy braku efektu. Mówi głównie, czy miałeś dość danych, żeby zobaczyć efekt, który akurat jest.
Jak mierzyć efekt
- Najpierw w prawdziwych jednostkach. „2 punkty na egzaminie”, „1 dodatkowa sprzedaż na 1000 odwiedzających”, „3 minuty szybciej”. Takie liczby ludzie potrafią ocenić. Przy procentach mów, czy chodzi o punkty procentowe, czy o zmianę względną (z 10,0% na 10,1% to 0,1 punktu procentowego albo wzrost o 1% względnie, co brzmi dużo poważniej).
- Jako wielkość standaryzowaną, gdy jednostki trudno porównać. Najpopularniejsza to d Cohena: różnica podzielona przez odchylenie standardowe. Dla egzaminu 2 ÷ 10 = 0,2. Zgrubna, często cytowana reguła nazywa 0,2 małym efektem, 0,5 średnim, a 0,8 dużym. To punkt wyjścia, a nie prawo: „mały” efekt może bardzo się liczyć, gdy dotyczy milionów ludzi albo pieniędzy wydawanych codziennie.
- Z przedziałem. Przedział ufności (lekcja 9) pokazuje wielkość efektu i niepewność naraz. „Od 1,4 do 2,6 punktu” mówi: na pewno na plus, na pewno niewiele. „Od 4,4 gorzej do 8,4 lepiej” mówi: jeszcze nie wiadomo. To więcej niż jakakolwiek wartość p sama w sobie.
Odwrotny błąd
Małe badania mogą przegapić efekty, które mają znaczenie. W lekcji 14 jedna trasa do pracy była średnio o 3 minuty szybsza, ale przy sześciu przejazdach każdą wynik nie był istotny (p = 0,07). Trzy minuty w każdy dzień roboczy to około 12 godzin rocznie. „Nieistotny” znaczyło tam „nieudowodniony na sześciu przejazdach”, a nie „bez znaczenia”. Uczciwe podsumowanie: możliwie przydatny efekt, za mało danych, mierzyć dalej.
Dlaczego to ważne przy wynikach tradingowych
Właśnie dlatego każdy wynik na tej stronie podajemy z kosztami i porównaniami. Dla ilustracji (wymyślony przykład, a nie jeden z naszych testów): strategia, która bije rynek o 0,02% na transakcję przez sto tysięcy transakcji, może być istotna statystycznie. Jeśli każda transakcja w obie strony kosztuje 0,1% w prowizjach i spreadach, strategia i tak traci pieniądze. Istotna, prawdziwa i bezużyteczna. W drugą stronę dotyczy to naszych wyników: gdy nie znajdujemy przewagi, znaczy to „żadnej przewagi, którą dało się wykryć na tych danych”, a nie „dowód, że przewagi nie ma”.
Spróbuj sam
Wujek Janusz czyta, że badanie 100 000 kierowców wykazało, że pewna marka opon daje istotnie mniejsze spalanie: 6,93 l/100 km zamiast 7,0 (p = 0,001). Opony kosztują o 800 zł więcej za komplet i wystarczają na cztery lata. Janusz robi 15 000 km rocznie, a paliwo kosztuje 6,50 zł za litr.
1. Czy efekt jest raczej prawdziwy? 2. Ile Janusz zaoszczędzi przez cały okres używania opon? 3. Czy „istotnie mniejsze spalanie” powinno trafić na opakowanie?
Pokaż odpowiedź
1. Raczej tak. Przy 100 000 kierowców i p = 0,001 przypadek to mało prawdopodobne wyjaśnienie (o ile badanie zrobiono porządnie).
2. Przy 7,0 l/100 km spala 15 000 ÷ 100 × 7,0 = 1050 litrów rocznie. Przy 6,93 l/100 km 1039,5. To 10,5 litra, czyli około 68,25 zł rocznie, więc mniej więcej 273 zł przez cztery lata, wobec 800 zł dopłaty na start. Prawdziwe, istotne i nieopłacalne, jeśli liczyć samo paliwo.
3. Trafi, bo technicznie to prawda. Uczciwa wersja to „około 1% mniejsze spalanie”, która podaje wielkość efektu i pozwala samemu policzyć. Janusz uznał, że opony są istotnie za drogie, co jest poprawnym użyciem tego słowa.
Słowa, których używa wykładowca
| Wykładowca mówi | To znaczy |
|---|---|
| Istotność statystyczna | Wynik raczej nie jest czystym przypadkiem (p poniżej wybranego progu, często 0,05) |
| Istotność praktyczna (kliniczna, ekonomiczna) | Efekt jest dość duży, żeby mieć znaczenie w prawdziwym świecie |
| Wielkość efektu | Jak duża jest różnica albo zależność, niezależnie od wielkości próby |
| d Cohena | Różnica dwóch średnich podzielona przez odchylenie standardowe |
| Różnica bezwzględna a względna | 0,1 punktu procentowego a „o 1% więcej”; ta sama zmiana, brzmi zupełnie inaczej |
| Minimalna istotna różnica | Najmniejszy efekt, dla którego warto coś zrobić, najlepiej ustalony przed badaniem |
| Badanie o nadmiernej mocy | Tak duże, że błahe różnice wychodzą istotne |
Trzy rzeczy do zapamiętania
- Istotny znaczy „raczej nie przypadek”, a nie „duży” ani „ważny”.
- Przy dość dużej liczbie danych wszystko jest istotne; przy zbyt małej nic. Wielkości efektu wielkość próby jest obojętna.
- Zawsze pytaj: jak duży, w jakich jednostkach, z jakim przedziałem i czy jest coś wart po kosztach?
Część 3 na razie
Lekcje 20-22 dodają trzy narzędzia, które spotkasz na prawie każdym kursie i w każdym raporcie z badań: rozkład dwumianowy do liczenia sukcesów, ANOVA do porównywania więcej niż dwóch grup naraz i wielkość efektu do oceny, czy istotny wynik w ogóle ma znaczenie.
Część kursu Statystyka od zera, darmowego kursu dla początkujących od WrongStat. Nie zastąpi wykładowcy, ale mamy nadzieję, że będzie dobrym tłumaczem.