Twój wniosek został odrzucony, ponieważ nie złożyłeś go skutecznie
W skrócie: „99% kompletnych wniosków zatwierdzonych” może być prawdą, choć zatwierdza się tylko około jednej trzeciej wszystkich wniosków, jeśli to sam urząd decyduje, które wnioski są kompletne. W naszym przykładzie 640 z 1000 wniosków uznano za niekompletne i nigdy nie trafiły do statystyki; z pozostałych 360 zatwierdzono 356. To 98,9% kompletnych i 35,6% wszystkich. Zanim uwierzysz w jakikolwiek wskaźnik skuteczności, zapytaj, co jest w mianowniku i kto o tym zdecydował.
Ciocia Grażyna chciała postawić w ogrodzie altanę. Na stronie urzędu przeczytała, że wydział zatwierdza 99% kompletnych wniosków, więc wypełniła formularz, dołączyła rysunki i wniosła opłatę.
Po trzech tygodniach przyszło pismo. Wniosek jest niekompletny. Brakuje załącznika C7, czyli Potwierdzenia Kompletności Wniosku.
Grażyna złożyła wniosek o załącznik C7. Ten wniosek również odrzucono: załącznik C7 wydaje się wyłącznie do wniosków kompletnych, a urząd nie ma w ewidencji żadnego kompletnego wniosku Grażyny. Oba pisma wiszą teraz na lodówce, obok siebie, i tłumaczą się nawzajem na wieki.
Jak zatwierdzać 99% wniosków
Oto przykładowy rok w wydziale. Liczby są zmyślone, ale cała sztuczka siedzi w arytmetyce:
- Wpływa 1000 wniosków.
- 640 zostaje uznanych za niekompletne już w okienku: brak załącznika C7, podpis w złym kolorze, rysunek altany, która zdaniem urzędnika zbyt przypomina garaż.
- Pozostałe 360 uznaje się za kompletne. Urząd zatwierdza 356 z nich.
356 z 360 to 98,9%. To liczba ze strony internetowej i jest prawdziwa. Ale 356 z 1000 to 35,6%. Ten sam urząd, ten sam rok, te same altany. Zmieniło się tylko to, przez co dzielisz.
Sztuczka nie tkwi w liczeniu, tylko w sitku przed liczeniem. Wszystko, co nie pasuje do wyniku, zostaje wykluczone ze statystyki, zanim statystykę się policzy, więc statystyka nigdy się nie myli. To ten sam ruch co ankieta „zadowolonych klientów” wysłana tylko do klientów, którzy nie zażądali zwrotu pieniędzy.
Odsetek zatwierdzonych wniosków w przykładowym urzędzie
Kto decyduje, co się liczy
Drugi problem to pytanie, kto trzyma sitko. Wydział jest oceniany według odsetka zatwierdzeń i to wydział decyduje, które wnioski są kompletne. Każdy wniosek, który mógłby odrzucić, może zamiast tego uznać za niekompletny, co nic nie kosztuje i poprawia wskaźnik. Nikt nie musi kłamać. Bodziec robi robotę po cichu. To prawo Goodharta: gdy liczba staje się celem, ludzie znajdują najtańszy sposób, żeby ją przesunąć.
Druga statystyka wydziału jest równie imponująca: średni czas wydania decyzji to 6 dni. Liczy się go od chwili uznania wniosku za kompletny. Wniosek Grażyny czeka od 11 tygodni, ale jeszcze się nie zaczął, więc się nie liczy.
Wnioski, których nie widać
640 niekompletnych wniosków nie pojawia się nigdzie. Nie są odmowami, więc nie ma ich w odsetku odmów. Nie są zgodami, więc nie ma ich w odsetku zgód. Jak upadłe firmy, których brakuje na liście historii sukcesu, znikają, zanim ktokolwiek je policzy. Wskaźnik skuteczności liczony tylko na tych, którzy przetrwali, to błąd przetrwania z pieczątką.
Jak czytać każdy wskaźnik skuteczności
1. Zapytaj, co jest w mianowniku. „99% kompletnych wniosków”, „95% klientów, którzy ukończyli kurs”, „90% pacjentów, którzy dokończyli leczenie”. Słowa po „spośród” rozstrzygają wynik.
2. Zapytaj, kto decyduje, co się liczy. Jeśli ci, których się ocenia, sami wybierają przypadki do oceny, spodziewaj się dobrego wyniku.
3. Zapytaj, co się stało z resztą. Znajdź liczbę tych, którzy odpadli przed liczeniem. Potem policz wskaźnik spośród wszystkich, którzy zaczęli.
Gdzie to kosztuje pieniądze
Towarzystwo funduszy, które ogłasza, że „92% naszych funduszy pobiło benchmark”, może liczyć tylko fundusze, które wciąż prowadzi. Te, które wypadły źle, zamknięto albo połączono z innymi i wypadły z mianownika. Kurs tradingu, który chwali się, że „80% absolwentów zarabia”, może liczyć tylko tych, którzy go ukończyli i odpowiedzieli na ankietę. Pytaj o wynik spośród wszystkich, którzy zaczęli, łącznie z tymi, którzy po cichu zniknęli.
Morał
Grażyna i tak postawiła altanę. Miesiąc później gmina opublikowała roczne sprawozdanie: zgłoszono zero samowoli budowlanych w ogrodach. Formularz zgłoszenia samowoli wymaga numeru pozwolenia. Altana Grażyny go nie ma, więc nie da się jej zgłosić, więc nie istnieje. Statystycznie to najbardziej praworządna altana w powiecie.
Urząd i wszystkie jego liczby są fikcyjne i przykładowe; nie opisujemy żadnego prawdziwego urzędu. Prawdziwa jest arytmetyka wyboru mianownika. Treść edukacyjna, a nie porada finansowa.