Prawo Twymana: każda ciekawa liczba jest prawdopodobnie błędna
W skrócie: gdy liczba wygląda spektakularnie, najbardziej prawdopodobne wyjaśnienie to błąd, bo błędy są częste, a spektakularne prawdziwe zmiany rzadkie. Jeśli prawdziwy skok konwersji o 50% albo więcej zdarza się mniej więcej raz na 1000 dni, a usterka pomiaru dająca taki skok mniej więcej raz na 100 dni, to z 11 skoków 10 to usterki: skok jest prawdziwy w około 9% przypadków. To prawo Twymana, popularne wśród ludzi prowadzących eksperymenty w internecie. Sprawdź instalację, zanim napiszesz komunikat prasowy.
Wtorek rano. Raport marketingu pokazuje, że konwersje na stronie wzrosły w nocy o 400%. Nowy baner ruszył wczoraj. O 9:30 jest szkic komunikatu prasowego, zamówiony tort i mail do prezesa zatytułowany „Przełom”.
Seba otwiera surowe dane. Wszystkie konwersje od północy mają ten sam znacznik czasu z dokładnością do milisekundy i wszystkie przyszły z jednego adresu IP w biurze firmy. Darek testował stronę płatności. Wielokrotnie.
Prawo
Tony Twyman, brytyjski badacz, który analizował widownię telewizji i mediów, dał nazwisko krótkiej regule: każda liczba, która wygląda ciekawie albo inaczej, zwykle jest błędna. Stała się ulubioną regułą ludzi prowadzących eksperymenty w internecie, którzy widzą więcej spektakularnych i błędnych liczb niż ktokolwiek inny.
Brzmi cynicznie. W rzeczywistości to zdanie o częstości bazowej.
Dlaczego ekscytująca liczba to zwykle ta błędna
Skok w raporcie mogą wywołać dwie rzeczy: coś naprawdę się zmieniło albo coś się zepsuło. Załóżmy, że dla typowej strony prawdziwy skok o 50% albo więcej zdarza się mniej więcej raz na 1000 dni, a usterka pomiaru dająca taki skok (zdublowany tag, bot, konto testowe, pomylona waluta) mniej więcej raz na 100 dni. Przez 1000 dni:
| Przyczyna dużego skoku | Dni na 1000 |
|---|---|
| Coś naprawdę się zmieniło | 1 |
| Coś zepsuło się w danych | 10 |
Gdy więc pojawia się skok, jest prawdziwy mniej więcej raz na 11, czyli w około 9% przypadków. Liczby to nasze założenia, ale kształt się utrzymuje wszędzie tam, gdzie błędy są częstsze niż cuda, czyli prawie wszędzie.
Ta sama logika działa odwrotnie: nagły, katastrofalny spadek też częściej oznacza zepsuty licznik niż załamanie popytu. Prawo Twymana jest bezstronne. Nie ufa ani dobrym, ani złym wiadomościom, byle były dramatyczne.
Pięciominutowa lista kontrolna
- Spójrz na surowe wiersze. Duplikaty, identyczne znaczniki czasu, jedno źródło albo jeden adres IP.
- Sprawdź drugie źródło. Czy zamówienia, płatności albo logi serwera pokazują ten sam skok?
- Szukaj zmiany w pomiarze. Nowy tag, nowa strona, nowy filtr, nowa definicja, nowa strefa czasowa.
- Zapytaj, czy to wiarygodne. Czy wydarzyło się coś, co mogło wywołać tak dużą zmianę? Baner rzadko czterokrotnie zwiększa sprzedaż.
Statystyka dla laików: skrajne wartości zasługują na dodatkowe sprawdzenie
Wartość odstająca to albo najciekawszy punkt w danych, albo pomyłka, a pomyłki są częstsze. Zanim zbudujesz historię na skrajnej wartości, zapytaj, jak często zdarzają się błędy tej wielkości w porównaniu z prawdziwymi zmianami tej wielkości. Im bardziej zaskakująca liczba, tym więcej dowodów potrzebuje.
Gdzie to kosztuje pieniądze
Test historyczny pokazujący 200% rocznie bez ani jednego stratnego miesiąca albo skaner spółek pokazujący wskaźnik cena do zysku 0,3 dużo częściej zawiera błąd w danych niż ukryty majątek. Spektakularne wyniki wymagają spektakularnego sprawdzania.
Morał
Komunikat prasowy odwołano. Tort już przyjechał. Marketing postanowił go zjeść, dla uczczenia nowego banera, który po usunięciu testowych zamówień Darka podniósł konwersje o 2%. Darka poproszono, żeby na przyszłość testował płatności z telefonu. Raport pokazuje teraz 400% wzrostu konwersji na urządzeniach mobilnych.
Czego to nie mówi
- Nasze częstości to założenia. Niektóre systemy danych są bardzo czyste, inne bardzo zaśmiecone; 9% zmienia się razem z nimi.
- Czasem to prawda. Viralowa wzmianka albo duży nowy klient mogą dać prawdziwy skok. Prawo każe najpierw sprawdzić, a nie odrzucić.
- Brzmienie prawa bywa różne. Cytuje się je w kilku wersjach; idea jest ta sama.
Raport, tort i testowe zamówienia Darka to ilustracja. Prawo Twymana jest szeroko cytowane, między innymi w książce o eksperymentach internetowych Kohaviego, Tang i Xu z 2020 roku. Wynik 1 na 11 to nasz rachunek z założonych częstości. Treść edukacyjna, nie porada biznesowa ani finansowa.