Dlaczego zwycięska reklama po wdrożeniu zawsze rozczarowuje
W skrócie: gdy testujesz kilka opcji i wybierasz tę z najlepszym wynikiem, wybierasz ją po części za szczęście, więc jej zmierzony wynik jest za wysoki. W naszej symulacji dziesięciu wersji reklamy z prawdziwymi, ale małymi różnicami zwycięzca miał średnio zmierzony wzrost 6,8%, a prawdziwy 3,2%, czyli mniej niż połowę. Mniej więcej w 1 teście na 10 zwycięzca wcale nie był lepszy od wersji kontrolnej. Ponowny test zwycięzcy na świeżym ruchu daje uczciwy szacunek i to na nim trzeba planować.
Marketing zrobił duży test: dziesięć nowych wersji reklamy na stronie głównej przeciwko starej, po 20 000 odwiedzających na każdą. Wygrała wersja 7, z 6,8% więcej rejestracji. Prognozę na przyszły rok podniesiono o 6,8%.
Trzy miesiące po wdrożeniu wzrost wynosi około 3%. Dyrektor marketingu podejrzewa, że zmienił się rynek. Seba podejrzewa test.
Co się dzieje, gdy wybierasz najlepszy
Każdy pomiar to prawdziwa wartość plus szum. Przy dziesięciu wersjach niektóre dostają szczęśliwy szum, inne pechowy. Ta, która wychodzi na prowadzenie, to zwykle wersja naprawdę niezła, która dodatkowo miała szczęście w teście. Po wdrożeniu szczęścia już nie ma, zostaje tylko prawdziwa część. Dlatego wynik zwycięzcy po wdrożeniu jest średnio niższy niż w teście. To klątwa zwycięzcy.
Jak duża jest klątwa
Zasymulowaliśmy 200 000 takich testów. Każda z dziesięciu wersji miała prawdziwy efekt, wylosowany wokół zera (większość wersji trochę lepsza albo gorsza, kilka wyraźnie), i każdą mierzono na 20 000 odwiedzających w porównaniu z wersją kontrolną.
| Zwycięska wersja | Średnio |
|---|---|
| Wzrost zmierzony w teście | +6,8% |
| Jej prawdziwy wzrost | +3,2% |
| Wzrost w ponownym teście na świeżym ruchu | +3,3% |
| Zwycięzca naprawdę nie lepszy od kontrolnej | mniej więcej 1 test na 10 |
| Zwycięzca naprawdę najlepszy z dziesięciu | 42% |
Zwycięzca to zwykle dobry wybór: jego prawdziwy wzrost przeważnie jest dodatni. Problem to wielkość. Planowanie na liczbie z testu to planowanie na dwukrotności prawdziwego efektu.
Dlaczego więcej opcji pogarsza sprawę
Im więcej wersji testujesz, tym większa szansa, że któraś będzie miała ogromne szczęście, i tym większa różnica między zmierzonym a prawdziwym wynikiem zwycięzcy. Przetestowanie 50 nagłówków i podanie wzrostu najlepszego to niezawodny sposób, żeby obiecać dużo więcej, niż przyjdzie. To ten sam problem co wielokrotne testowanie: wiele prób, pokazujesz najlepszą.
Statystyka dla laików: najlepszy pomiar jest najbardziej zawyżony
Gdy coś wybrano, bo miało najwyższą liczbę, spodziewaj się, że następnym razem ta liczba się skurczy: najlepszy sprzedawca roku, najlepszy fundusz, zwycięska reklama. Nie dlatego, że się pogorszyły; pierwsza liczba zawierała szczęście. Uczciwy szacunek daje świeży pomiar po dokonaniu wyboru.
To bliski krewny regresji do średniej, zastosowanej do wyboru, którego dokonałeś celowo.
Gdzie to kosztuje pieniądze
Przetestuj 20 reguł handlowych, wybierz najlepszy test historyczny, a jego wynik będzie zawyżony dokładnie w ten sposób. Lekarstwo jest to samo: sprawdź zwycięzcę jeszcze raz na danych, które nie brały udziału w wyborze, i spodziewaj się, że druga liczba będzie mniejsza.
Morał
Seba zaproponował, żeby przed zmianą prognoz przez dwa tygodnie przetestować zwycięzcę ponownie. Marketing się zgodził, pod warunkiem że ponowny test obejmie dziewięć nowych wersji, „żeby dalej innowować”. Wygrała wersja 4 z nowej partii, z 7,1% wzrostu. Prognozę znowu podniesiono.
Czego ten model nie mówi
- Nasze założenia o prawdziwych efektach. Jeśli prawdziwe różnice między wersjami są większe, klątwa jest mniejsza; jeśli są jeszcze mniejsze, większa.
- Rynek też może się zmieniać. Prawdziwe wzrosty mogą też słabnąć, gdy mija efekt nowości. To kolejny powód, dla którego liczba z testu jest optymistyczna, a nie powód, by ignorować klątwę.
- Istnieją poprawki statystyczne. Metody, które ściągają szacunek zwycięzcy w stronę średniej wszystkich wersji, dają lepsze prognozy niż surowa liczba zwycięzcy.
Marketing, wersja 7 i prognoza to ilustracja. Liczby pochodzą z naszej symulacji 200 000 testów dziesięciu wersji z prawdziwymi względnymi wzrostami wylosowanymi wokół zera (odchylenie standardowe 3%), bazową konwersją 5% i 20 000 odwiedzających na wersję i na wersję kontrolną. Treść edukacyjna, nie porada biznesowa ani finansowa.