NPS spadł o 12 punktów. Czy jest się czym martwić?
W skrócie: raczej nie, jeśli opiera się na kilkudziesięciu odpowiedziach. NPS to odsetek klientów, którzy dają ocenę 9 albo 10, minus odsetek tych, którzy dają od 0 do 6, więc skacze dwa razy mocniej niż zwykły odsetek. W naszej symulacji prawdziwego wyniku 30, który się nie zmienia, miesięczna ankieta wśród 50 klientów daje wyniki od około 8 do 52, a z miesiąca na miesiąc wynik zmienia się o 10 punktów albo więcej w 55% przypadków. Przy 400 odpowiedziach w 7%. W roku złożonym z miesięcy po 50 odpowiedzi najlepszy i najgorszy miesiąc różnią się zwykle o 36 punktów, choć nic się nie dzieje.
Miesięczny raport. Net Promoter Score: 22, spadek z 34. Liczba jest czerwona. Zespół od doświadczeń klienta zwołał pilne spotkanie pod tytułem „Kryzys NPS: przyczyny i działania”.
Seba czyta drobny druk. W tym miesiącu na ankietę odpowiedziało 47 klientów. W zeszłym 52.
Seba pyta, o ile punktów wynik zwykle się zmienia, gdy nic się nie dzieje. Nikt na spotkaniu nie wie. Za to jest slajd z dziewięcioma przyczynami.
Jak działa NPS
Klienci odpowiadają na jedno pytanie: jak bardzo prawdopodobne, że nas polecisz, w skali od 0 do 10? Ci, którzy dają 9 albo 10, to promotorzy, 7 albo 8 to bierni, od 0 do 6 to krytycy. Wynik to odsetek promotorów minus odsetek krytyków, więc mieści się między minus 100 a plus 100.
Ponieważ to różnica dwóch odsetków, szumi mocniej niż każdy z nich. Jeden klient, który przechodzi od promotorów do krytyków, przesuwa wynik podwójnie: jeden promotor mniej, jeden krytyk więcej. Przy 50 odpowiedziach ten jeden klient przesuwa wynik o 4 punkty.
Jak bardzo wynik skacze, gdy nic się nie zmienia
Zasymulowaliśmy firmę, której klienci się nie zmieniają: połowa to promotorzy, 30% bierni, 20% krytycy, prawdziwy wynik 30. Co miesiąc losowa próbka odpowiada na ankietę.
| Odpowiedzi w miesiącu | 95% miesięcznych wyników mieści się między | Wynik zmienia się o 10+ punktów względem poprzedniego miesiąca |
|---|---|---|
| 30 | 0 a 57 | 64% |
| 50 | 8 a 52 | 55% |
| 100 | 14 a 45 | 39% |
| 400 | 22 a 38 | 7% |
Przy 50 odpowiedziach spadek z 34 do 22 to zwykły szum. W roku złożonym z takich miesięcy najlepszy i najgorszy miesiąc różnią się zwykle o 36 punktów, a w 22% lat gdzieś pojawiają się trzy spadki z rzędu: dość, żeby narysować linię trendu i zorganizować dzień strategiczny, przy dokładnie tych samych klientach co wcześniej.
Miesiące, w których NPS zmienia się o 10+ punktów, choć nic się nie zmienia
Statystyka dla laików: margines błędu wyniku
Każdy wynik ankiety ma margines błędu: jak daleko łatwo może być od prawdy tylko przez to, kto akurat odpowiedział. Maleje z wielkością próby, ale powoli: żeby go zmniejszyć o połowę, potrzeba cztery razy więcej odpowiedzi.
Dwie praktyczne zasady: zanim zareagujesz na zmianę, zapytaj, jak duża zmiana jest normalna przy tej liczbie odpowiedzi; i patrz na kilka miesięcy razem albo na średnią kroczącą, zamiast reagować na każdy z osobna.
Gdzie to kosztuje pieniądze
Miesiąc wyników funduszu, kwartał historii zarządzającego albo tydzień wyników strategii to też mała próba. Duże wahania w małych próbach są normalne, podobnie jak trzy złe miesiące z rzędu. Oceniaj po długiej historii, z jej własnym marginesem błędu.
Morał
Spotkanie kryzysowe uzgodniło dziewięć działań, po jednym na każdą przyczynę. W następnym miesiącu NPS wzrósł do 36. Zespół od doświadczeń klienta przedstawił to jako dowód, że działania zadziałały, choć ruszyły tylko dwa z nich. Seba zaproponował wstrzymanie działań na miesiąc, żeby zobaczyć, co się stanie. Zespół odrzucił to jako zbyt ryzykowne.
Czego ten model nie mówi
- Model losowych odpowiedzi. Prawdziwe ankiety mają też skrzywienia: niezadowoleni albo bardzo zadowoleni klienci mogą chętniej odpowiadać.
- Prawdziwe zmiany się zdarzają. Duży spadek przy setkach odpowiedzi albo taki, który trwa kilka miesięcy, zasługuje na uwagę. Chodzi o to, żeby najpierw sprawdzić szum.
- Przykładowy podział jest nasz. Inne udziały promotorów i krytyków dają nieco inne zakresy, ale przy tak małej liczbie odpowiedzi zawsze tak szerokie.
Raport, spotkanie i dziewięć przyczyn to ilustracja. Liczby pochodzą z naszej symulacji 400 000 prób ankietowych na każdy wiersz, dla klientów z prawdziwym wynikiem 30 (50% promotorów, 30% biernych, 20% krytyków). Treść edukacyjna, nie porada biznesowa ani finansowa.