Test A/B: dlaczego nie sprawdzać wyników codziennie
W skrócie: test istotności obiecuje 5% szans na fałszywy alarm, jeśli spojrzysz raz, na końcu. Patrz codziennie i kończ przy pierwszym „istotnym” wyniku, a szansa mocno rośnie. W naszej symulacji dwóch identycznych stron po 1000 odwiedzin dziennie każda jedno sprawdzenie po 20 dniach dawało fałszywego zwycięzcę w 5% przypadków, sprawdzanie co tydzień w 13%, codziennie w 25%, a codziennie przez 60 dni w 34%. Ponad połowa fałszywych zwycięzców pojawiała się w pierwszych pięciu dniach. Lekarstwo: ustal wielkość próby z góry albo użyj metody zbudowanej do wielokrotnego zaglądania.
Marketing testuje nowy zielony przycisk „Kup” przeciwko staremu niebieskiemu. Połowa odwiedzających widzi jeden, połowa drugi. Plan jest taki, żeby co rano sprawdzać panel i wdrożyć zwycięzcę, gdy tylko wynik będzie istotny statystycznie.
Czwartego dnia zielony prowadzi przy p = 0,03. Zespół go wdraża, ogłasza 9% więcej konwersji i zamawia babeczki z zielonym lukrem.
Seba pyta, co się stanie, jeśli zrobić ten sam test z dwoma niebieskimi przyciskami. Nikt nigdy nie próbował.
Co obiecuje test istotności
Standardowy test pyta: gdyby obie wersje były naprawdę takie same, jak zaskakująca byłaby taka różnica? Jeśli przypadek dawałby ją rzadziej niż w 5% przypadków (wartość p poniżej 0,05), wynik nazywa się istotnym. Czyli przy dwóch identycznych wersjach i tak dostaniesz fałszywego „zwycięzcę” mniej więcej w 1 teście na 20.
Drobny druk: te 5% dotyczy jednego spojrzenia, w momencie wybranym z góry. Test nie wie, ile razy podglądałeś.
Co robi podglądanie
Zasymulowaliśmy 200 000 testów dwóch identycznych stron: obie zamieniają 5% odwiedzających w kupujących, każda ma 1000 odwiedzin dziennie, a zespół kończy test, gdy tylko różnica jest istotna.
| Jak często sprawdzasz | Szansa na ogłoszenie fałszywego zwycięzcy |
|---|---|
| Raz, po 20 dniach | 5% |
| Co tydzień, przez 4 tygodnie | 13% |
| Codziennie, przez 20 dni | 25% |
| Codziennie, przez 60 dni | 34% |
W każdym przebiegu oba przyciski są identyczne. Każde codzienne spojrzenie to kolejna szansa, żeby losowy szum przekroczył linię, a wystarczy, że przekroczy ją raz. Im więcej spojrzeń, tym szansa dalej rośnie.
Szansa na ogłoszenie fałszywego zwycięzcy między dwiema identycznymi stronami
Dlaczego fałszywi zwycięzcy przychodzą wcześnie
W pierwszych dniach odwiedzających jest mało, więc liczby mocno skaczą, a duże, ekscytujące różnice łatwo dostać przypadkiem. Spośród fałszywych zwycięzców przy codziennym sprawdzaniu 57% pojawiło się w pierwszych pięciu dniach. A 20% wszystkich testów było „istotnych” któregoś dnia, ale już nie na końcu, czyli gdyby zespół poczekał, zwycięzca zniknąłby sam.
Dlatego wczesne wyniki wyglądają tak imponująco: „9% więcej” czwartego dnia jest duże dlatego, że jest wcześnie, a nie mimo to. Kończenie testu, gdy wygląda dobrze, to niezawodny sposób na wybieranie wyników, które wyglądają lepiej, niż są.
Statystyka dla laików: podglądanie wyników
Decydowanie, kiedy skończyć, na podstawie dotychczasowych wyników nazywa się podglądaniem wyników (po angielsku optional stopping). To ten sam problem co testowanie wielu rzeczy naraz i pokazywanie tej jednej, która zadziałała, tylko rozłożony w czasie.
Trzy uczciwe wyjścia: ustal wielkość próby przed startem i patrz dopiero wtedy; jeśli musisz zaglądać po drodze, użyj metody do tego zaprojektowanej, która przy każdym spojrzeniu stawia ostrzejszy próg; albo puść zwycięzcę jeszcze raz na świeżym ruchu, zanim zaczniesz świętować.
Gdzie to kosztuje pieniądze
Sprawdzanie nowej strategii codziennie i wejście za wszystko w pierwszym tygodniu, w którym jest wyraźnie na plusie, to podglądanie. Tak samo zatrzymanie testu historycznego w dniu, w którym wygląda najlepiej. Najpierw ustal okres testu, potem patrz.
Morał
Seba zrobił test z dwoma niebieskimi przyciskami. Trzeciego dnia drugi niebieski przycisk prowadził przy p = 0,04. Marketing poprosił o jego wdrożenie. Seba zwrócił uwagę, że to ten sam przycisk. Marketing odpowiedział, że dane to dane, a babeczki zamówiono w kolorze niebieskim.
Czego ta symulacja nie mówi
- Model jednego układu. Dokładne wartości zależą od ruchu, odsetka konwersji i częstotliwości sprawdzania; kierunek nie zależy.
- Prawdziwe różnice to co innego. Gdy jedna wersja naprawdę jest lepsza, podglądanie może pomóc wcześniej skończyć. Problem w tym, że kończy też na szumie, a z jednego testu nie da się tego odróżnić.
- Niektóre narzędzia uwzględniają podglądanie. Wiele platform do testów ma dziś metody do ciągłego monitorowania; sprawdź, której używa twoja, zanim zaufasz jej „istotnemu”.
Marketing, przyciski i babeczki to ilustracja. Liczby pochodzą z naszej symulacji 200 000 testów (100 000 dla wiersza z 60 dniami) z dwiema identycznymi wersjami, z których każda zamienia w kupujących 5% z 1000 odwiedzających dziennie, przy standardowym teście dwóch proporcji na poziomie 5%. Treść edukacyjna, nie porada finansowa.