Podglądanie wyników
Decydowanie, kiedy zakończyć eksperyment, na podstawie dotychczasowych wyników, na przykład kończenie, gdy tylko wyglądają na istotne. Znacznie zwiększa szansę na fałszywie pozytywny wynik.
Po ludzku
5% fałszywych alarmów w teście istotności zakłada jedno spojrzenie, w momencie wybranym z góry. Każde dodatkowe spojrzenie to kolejna szansa, żeby szum przekroczył próg, a wczesne wyniki, oparte na małej ilości danych, skaczą najbardziej. Lekarstwa: ustalić wielkość próby przed startem, użyć metody zbudowanej do wielokrotnego zaglądania, z ostrzejszym progiem przy każdym spojrzeniu, albo potwierdzić wynik na świeżych danych.
Wujek Janusz tłumaczy
Marketing co rano sprawdzał test dwóch identycznych przycisków. W naszej symulacji codzienne sprawdzanie przez 20 dni ogłaszało fałszywego zwycięzcę w 25% przypadków, a jedno spojrzenie na końcu w 5%.
Dlaczego to ważne dla twoich pieniędzy
Sprawdzanie nowej strategii codziennie i wejście za wszystko w pierwszym dobrym tygodniu albo zakończenie testu historycznego w najlepszym dniu to ten sam błąd.
Gdzie to sprawdzaliśmy
- Test A/B: dlaczego nie sprawdzać wyników codziennie
- Dlaczego to zawsze jest w ostatnim miejscu, w którym szukasz
Powiązane pojęcia
Wszystkie hasła słownika. Treść edukacyjna, a nie porada finansowa.