Korpo · Wielokrotne testowanie
Dlaczego jakiś KPI w raporcie jest zawsze na czerwono
W skrócie: jeśli każdy KPI ma 5% szans na czerwone w zwykłym miesiącu, raport z 30 KPI pokazuje co najmniej jeden czerwony w 79% miesięcy, choć nic się nie zmienia, średnio 1,5 czerwonego, a w roku tylko około 2,6 całkiem zielonego miesiąca. W 55% lat jakiś KPI jest czerwony dwa miesiące z rzędu, co wygląda na trend. To wielokrotne testowanie: im więcej rzeczy sprawdzasz, tym więcej fałszywych alarmów. Lekarstwo to mniej i ostrzejszych alarmów oraz szukanie wzorów, które się utrzymują.
Miesięczny przegląd biznesu. Raport ma 30 KPI, każdy ze światłem. Zielone: w normalnym zakresie. Czerwone: poza nim. W tym miesiącu dwa są czerwone: średni czas obsługi i reklamacje w regionie północnym. Spotkanie poświęca im 50 minut.
W zeszłym miesiącu czerwony był inny KPI. Miesiąc wcześniej dwa inne. Seba nigdy nie widział miesiąca, w którym wszystkie 30 byłyby zielone, i zastanawia się, czy taki istnieje.
Jak często coś powinno być czerwone?
Załóżmy, że „normalny zakres” każdego KPI ustawiono tak, że w zwykłym miesiącu, gdy nic się nie zmienia, wypada poza niego w 5% przypadków. Dla jednego KPI to rozsądny alarm: czerwone światło jest nietypowe. Ale raport co miesiąc sprawdza 30 takich.
| Liczba KPI | Miesiące z co najmniej jednym czerwonym, gdy nic się nie zmienia |
|---|---|
| 1 | 5% |
| 5 | 23% |
| 10 | 40% |
| 30 | 79% |
| 50 | 92% |
Przy 30 KPI zwykły miesiąc ma średnio 1,5 czerwonego światła, a rok ma tylko około 2,6 całkiem zielonego miesiąca. Spotkanie zawsze ma kryzys do omówienia, i zwykle to szum.
Miesiące z co najmniej jednym czerwonym KPI, gdy nic się nie zmieniło
Fałszywy trend
Jeden czerwony miesiąc łatwo zbyć. Dwa z rzędu wyglądają na wzór. Ale przy 30 KPI i 12 miesiącach nasza symulacja wykazała, że jakiś KPI jest czerwony dwa miesiące z rzędu w 55% lat, przez sam przypadek. Każdy pojedynczy KPI świeci na czerwono co najmniej raz w roku w 46% przypadków.
To wielokrotne testowanie: każde sprawdzenie ma małą szansę na fałszywy alarm, a wiele sprawdzeń daje prawie pewność, że coś się zaświeci.
Jak sprawić, żeby czerwony coś znaczył
- Mniej KPI. Zostaw te kilka, które napędzają decyzje; resztę pokazuj bez świateł.
- Ostrzejsze alarmy w dużych raportach. Przy 30 KPI próg 1 na 600 dla każdego trzyma szansę na jakikolwiek fałszywy czerwony w miesiącu blisko 5%.
- Szukaj trwałości. Trzy albo więcej miesięcy w tym samym kierunku albo zmiana, która pojawia się naraz w powiązanych KPI, dużo częściej jest prawdziwa.
- Zapisz powód, zanim spojrzysz. KPI, który miał się ruszyć z podanego powodu, to test; taki, który zauważysz potem, to szukanie.
Statystyka dla laików: policz swoje szanse
Zanim zareagujesz na zaskakującą liczbę, zapytaj, ile liczb przejrzałeś, żeby ją znaleźć. Jedna niespodzianka na 30 sprawdzeń to norma. Szansa, że co najmniej jedno z n niezależnych sprawdzeń da fałszywy alarm, to 1 minus 0,95 do potęgi n, co przekracza 50% przy 14 sprawdzeniach.
Gdzie to kosztuje pieniądze
Przeglądaj 30 wskaźników co rano, a jeden zawsze będzie „dawał sygnał”. Przeszukaj 500 spółek pod kątem nietypowego wzoru, a dziesiątki go mieć będą. Im więcej przesiewasz, tym wyższa musi być poprzeczka, zanim zaczniesz działać.
Morał
Seba zaproponował skrócenie raportu do ośmiu KPI. Propozycję przyjęto z entuzjazmem i przekazano grupie roboczej, która skonsultowała ją z każdym działem. Każdy dział dodał KPI, na których mu zależy. Nowy raport ma 41 KPI. W zeszłym miesiącu trzy były czerwone. Spotkanie wydłużono do dwóch godzin.
Czego ten model nie mówi
- KPI nie są niezależne. Prawdziwe ruszają się razem, co zmienia dokładne liczby: mniej osobnych alarmów, za to alarmy przychodzą stadami.
- 5% to nasze założenie. Wiele raportów ustawia progi na wyczucie, przez co fałszywe alarmy mogą być częstsze albo rzadsze.
- Prawdziwe problemy się zdarzają. Czerwone światło może być prawdziwe; chodzi o to, że po samym kolorze tego nie poznasz.
Przegląd biznesu i raport to ilustracja. Liczby pochodzą z naszego modelu 30 niezależnych KPI, z których każdy ma 5% szans na czerwony miesiąc, gdy nic się nie zmienia, zasymulowanego dla 200 000 lat. Treść edukacyjna, nie porada biznesowa ani finansowa.