Komisja nie znalazła dowodów na dziury w drodze. Sprawdziła 20 metrów.
W skrócie: to, że nic nie znalazłeś, coś znaczy tylko wtedy, gdy twoje sprawdzenie mogło to znaleźć. Na drodze długości 2 km z 10 dziurami sprawdzenie 20 metrów nie trafia na żadną w około 90% przypadków. Żeby mieć 95% szans na znalezienie choć jednej, trzeba sprawdzić około 590 metrów. „Brak dowodów na problem” z małego sprawdzenia nie jest dowodem, że problemu nie ma. Zdolność sprawdzenia do wykrycia czegoś, co naprawdę istnieje, statystycy nazywają mocą testu.
Wujek Janusz zasiada w Gminnej Komisji Bezpieczeństwa Drogowego. Komisję powołano po skargach na dziury na ulicy Młyńskiej, a jej pierwszym aktem było powołanie podkomisji, która miała ustalić, czy skargi mieszczą się w kompetencjach komisji. Mieściły się. Trwało to cztery miesiące.
Oględziny odbyły się we wtorek wieczorem. Padało, więc komisja obejrzała 20 metrów ulicy Młyńskiej bezpośrednio przed świetlicą, gdzie były ciastka. W połowie wyłączono komisyjną latarkę, bo świeciła przewodniczącemu w oczy.
Protokół przyjęto jednogłośnie: brak dowodów na istnienie dziur. Opublikowano go pod tytułem „Sukces oparty na dowodach”. W drodze do domu rower przewodniczącego został pożarty przez dziurę 40 metrów dalej. Komisja wyznaczyła posiedzenie w sprawie ustalenia, czy rower mieści się w jej kompetencjach.
Jaką szansę miała komisja, żeby cokolwiek znaleźć?
Dajmy ulicy Młyńskiej trochę liczb. Ma 2 km długości, które podzielimy na 200 odcinków po 10 metrów. Na dziesięciu odcinkach jest dziura: to 5% drogi. Komisja obejrzała dwa odcinki.
- Szansa, że pojedynczy odcinek nie ma dziury: 95%.
- Szansa, że oba obejrzane odcinki nie mają dziury: około 90%.
Przy dziesięciu dziurach na drodze oględziny komisji wypadłyby czysto dziewięć razy na dziesięć. Protokół nie mówi nic o ulicy Młyńskiej. Mówi dużo o oględzinach.
Szansa znalezienia co najmniej jednej dziury na drodze, na której jest dziesięć
Brak dowodów na problem to nie dowód, że problemu nie ma
To dwa różne zdania, a komisje uwielbiają je zamieniać. „Nie znaleźliśmy dziur” opisuje sprawdzenie. „Nie ma dziur” opisuje drogę. Od pierwszego do drugiego dojdziesz tylko wtedy, gdy sprawdzenie było na tyle dobre, żeby znaleźć dziury, które tam są.
Zdolność sprawdzenia do wykrycia czegoś, co naprawdę istnieje, to moc testu. Malutkie oględziny, krótkie badanie albo mała ankieta mają małą moc: zwykle nic nie znajdą, niezależnie od tego, czy coś jest. Nic nie znaleźć testem o małej mocy to jak szukać kluczy z zamkniętymi oczami i dojść do wniosku, że nie ma się kluczy.
Ile drogi trzeba sprawdzić?
Wciąż przy założeniu 10 dziur na drodze:
- Sprawdzasz 100 metrów: znajdujesz co najmniej jedną w około 40% przypadków.
- Sprawdzasz 300 metrów: około 79%.
- Sprawdzasz około 590 metrów: około 95%. Dopiero teraz „nie znaleźliśmy żadnej” zaczyna znaczyć „pewnie nie ma ich dziesięciu”.
A mniej dziur wymaga większego sprawdzenia. Rzadkie problemy dobrze się chowają. Dlatego jedna osoba w badaniu, jeden tydzień nowego nawyku albo jedna spokojna ulica nie mówią prawie nic o tym, czy coś jest bezpieczne, skuteczne albo naprawione.
Jak czytać „nie znaleźliśmy dowodów”
1. Zapytaj, jak duże było sprawdzenie. 20 metrów, 12 pacjentów, trzy tygodnie. Jeśli odpowiedź jest mała, „brak dowodów” też jest mały.
2. Zapytaj, co sprawdzenie mogło znaleźć. Czy prawdziwy problem realnej wielkości by się pokazał? Jeśli nie, „nic” było spodziewanym wynikiem.
3. Zapytaj, kto wyłączył latarkę. Sprawdzenie przerwane w połowie, zrobione w suchym miejscu albo tam, gdzie były ciastka, zostało osłabione, czy ktoś tego chciał, czy nie.
Gdzie to kosztuje pieniądze
„Nie znaleźliśmy dowodów, że ta strategia traci pieniądze” po dwóch miesiącach i dziewięciu transakcjach to protokół komisji z ulicy Młyńskiej. Tak mały test zwykle nic nie znajdzie, w żadną stronę. Zanim zaufasz czystemu wynikowi, zapytaj, czy test był dość duży, żeby złapać prawdziwą stratę. Dlatego testy na tej stronie używają lat danych i tysięcy transakcji, a gdy próba jest za mała, mówimy o tym wprost.
Morał
Komisja zebrała się ponownie w sprawie roweru. Przegłosowała zlecenie pełnych oględzin ulicy Młyńskiej pod warunkiem, że przeprowadzi je ktoś spoza komisji, za dnia, z włączoną latarką. Nie znaleziono nikogo, kto spełniałby wszystkie trzy warunki, więc oględziny przełożono. Dziury założyły stowarzyszenie mieszkańców.
Ulica Młyńska, jej komisja i dziury są przykładowe; obliczenia traktują każdy odcinek drogi jak niezależne losowanie. Treść edukacyjna, a nie porada finansowa.