Ile punktów danych to już trend? Najpierw za mało, potem nagle za dużo
W skrócie: trzy punkty to za mało, żeby mówić o trendzie. Jeśli wynik po prostu przypadkowo skacze, trzy kolejne punkty wszystkie rosną albo wszystkie spadają raz na trzy razy. Na wykresach jakości stosuje się ostrzejszą regułę: pięć (albo sześć) punktów z rzędu w tę samą stronę, co czysty szum daje w z góry wybranym miejscu tylko w 1,7% (0,28%) przypadków. Ale przeszukaj długi wykres, a i to wyskoczy przypadkiem: gdzieś w 36 miesiącach szumu w 37% przypadków. Regułę i skalę czasu wybierz, zanim spojrzysz, i nigdy nie stosuj jej do sum narastających.
W poniedziałek na lodówce w kuchni wisiał wykres. Trzy kropki: lipiec 71, sierpień 73, wrzesień 76. Przez kropki szła linia niebieskim markerem, dalej przez październik i poza kartkę, a skończyła się tylko dlatego, że skończyła się lodówka. U góry: MOMENTUM.
„Trzy miesiące z rzędu”, powiedział szef Seby. „Od kiedy mamy Uśmiech Przede Wszystkim”.
Uśmiech Przede Wszystkim nakazywał każdemu na infolinii mówić do klienta po imieniu trzy razy w rozmowie. Klientów poinformowano o tym trzy razy w rozmowie.
„To jest trend. W piątek zarząd. Przedłuż linię do grudnia”.
Seba przedłużył. Wyszło 83,5. Szef zaokrąglił do 84, bo to ambitna inicjatywa.
Potem Seba ściągnął wyniki z trzech lat. Trzy miesiące wzrostów z rzędu zdarzyły się już sześć razy, w tym wtedy, gdy nowy system gubił co czwarte zgłoszenie. Tamtego wykresu nikt na lodówce nie powiesił. Najwyraźniej klienci są najszczęśliwsi, kiedy nikt nie może znaleźć ich reklamacji.
„Czyli mówisz, że Uśmiech nie działa”, powiedział szef.
„Mówię, że trzy punkty tego nie powiedzą. Czysty szum rośnie trzy miesiące z rzędu raz na sześć razy. W szpitalach trend to pięć punktów. W fabrykach sześć”.
„Zarząd jest w piątek”.
„Weźcie tygodnie”, rzucił Darek, przechodząc z kubkiem. Darek od dziewięciu lat rozwiązywał cudze problemy, przechodząc z kubkiem.
Trzynaście punktów tygodniowych. Nigdzie pięciu z rzędu.
„Dni”, powiedział szef.
Sześćdziesiąt pięć dni roboczych. Pięć rosnących dni w sierpniu. Szef był szczęśliwy przez mniej więcej minutę, czyli tyle, ile zajęło Sebie znalezienie pięciu spadających dni we wrześniu.
„Jak się szuka w dość wielu miejscach, znajdzie się wszystko”, powiedział Seba. „W sześćdziesięciu pięciu dniach szumu pięć z rzędu trafia się częściej, niż się nie trafia”.
„Czyli trzy punkty to za mało, sześćdziesiąt pięć za dużo, a pięć by wystarczyło, ale tylko miesięcznych, których nie mamy”.
„Tak”.
Szef poszedł do lodówki i dopisał bardzo małymi literami pod MOMENTUM: „(wstępnie)”. Było to pierwsze uczciwe słowo na tej lodówce od czasu etykiety na mleku.
W piątek oznajmił zarządowi, że według reguł stosowanych w szpitalach trend nie jest jeszcze potwierdzony. Zarząd pokiwał głowami. Brzmiało to rzetelnie, a rzetelność nic nie kosztuje, dopóki nie ma danych.
Wtedy wstała pani Iwona z finansów. „Koszt Uśmiechu Przede Wszystkim, od kwietnia do września. Sześć punktów, każdy wyższy od poprzedniego. Według reguły, którą rozesłał zespół pana Sebastiana, to nie jest zwykły trend. To trend z certyfikatem fabrycznym. Rozumiem, że linię przedłużamy do grudnia”.
To była suma narastająca. Wydane pieniądze nie mogą spaść. Wszyscy na sali o tym wiedzieli i dlatego nikt tego nie powiedział.
„Przyjęte do wiadomości”, powiedział prezes. „Wrócimy do obu trendów w grudniu”.
W poniedziałek na lodówce wisiał nowy wykres: trzy kropki, dwa puste kółka, żadnej linii. Pod spodem ktoś dorysował ołówkiem kapsułki do ekspresu zużyte od stycznia, narastająco. Każdy punkt wyższy od poprzedniego. MOMENTUM.
Darek powiedział, że to jedyny trend w budynku z potwierdzoną przyczyną.
Jak często szum sam rośnie
Załóżmy, że wynik naprawdę się nie zmienia, tylko skacze wokół tego samego poziomu. Wtedy każdy zestaw punktów może z równą szansą ułożyć się w dowolnej kolejności, a tylko jedna z tych kolejności to „każdy wyższy od poprzedniego”. Trzy punkty można ułożyć na 6 sposobów, cztery na 24, pięć na 120:
| Punktów z rzędu | Szansa, że wszystkie rosną (czysty szum) | Szansa, że wszystkie rosną albo wszystkie spadają |
|---|---|---|
| 3 | 1 na 6 (16,7%) | 1 na 3 (33,3%) |
| 4 | 1 na 24 (4,2%) | 1 na 12 (8,3%) |
| 5 | 1 na 120 (0,8%) | 1 na 60 (1,7%) |
| 6 | 1 na 720 (0,14%) | 1 na 360 (0,28%) |
| 7 | 1 na 5040 (0,02%) | 1 na 2520 (0,04%) |
Jeśli trzy spadające miesiące zmartwiłyby cię tak samo, jak trzy rosnące cię ucieszyły, szum daje ci „trend” raz na trzy razy. „Trzy punkty to trend” to reguła na prezentacje, nie na dowody.
Reguły, których naprawdę się używa
Zespoły od poprawy jakości czytają takie wykresy co tydzień i ustalają reguły, zanim spojrzą. Na wykresach przebiegu w ochronie zdrowia popularna reguła (opisana przez Perlę, Provosta i Murraya w BMJ Quality & Safety w 2011 roku) uznaje za trend pięć lub więcej punktów z rzędu, wszystkie w górę albo wszystkie w dół. W przemyśle jeden z testów Lloyda Nelsona dla kart kontrolnych (Journal of Quality Technology, 1984) wymaga sześciu. Progi są ostre celowo: w jednym miejscu wybranym z góry szum daje pięć takich punktów w 1,7% przypadków, a sześć w 0,28%.
Więcej danych, więcej fałszywych trendów
Haczyk siedzi w słowach „w jednym miejscu wybranym z góry”. Długi wykres ma wiele miejsc, w których może zacząć się seria, i pojawia się ten sam problem co przy wielokrotnym testowaniu: szukaj w dość wielu miejscach, a coś rzadkiego się znajdzie. W naszej symulacji czystego szumu (20 000 losowych serii dla każdej długości):
| Punktów na wykresie | Szansa na 5+ z rzędu gdziekolwiek | Szansa na 6+ z rzędu gdziekolwiek |
|---|---|---|
| 13 (kwartał, tygodniowo) | 13% | 2% |
| 36 (trzy lata, miesięcznie) | 37% | 7% |
| 65 (kwartał, dni robocze) | 59% | 14% |
| 250 (rok, dni robocze) | 97% | 45% |
Dlatego przejście z miesięcy na dni „znalazło” trend w obie strony naraz. Dlatego też badanie symulacyjne Jacoba Anhøja i Anne Vingaard Olesen z 2014 roku (PLoS ONE) uznało regułę trendu za prawie bezużyteczną do wykrywania powolnego, stałego dryfu i zaleciło zastąpienie jej innymi regułami wykresu przebiegu, na przykład nietypowo długą serią punktów po jednej stronie mediany.
Sumy narastające i średnie zawsze „mają trend”
Reguły działają tylko na samych pomiarach. Suma narastająca czegokolwiek, co nie może być ujemne, na przykład wydanych pieniędzy albo wypitej kawy, rośnie w każdym punkcie z samej konstrukcji, więc przejdzie każdy test trendu, jaki kiedykolwiek wymyślono. Średnia krocząca działa subtelniej: każdy punkt dzieli większość danych z sąsiadem, więc sąsiednie punkty ruszają się razem. To autokorelacja i to ona rysuje serie za ciebie. W naszej symulacji trzymiesięczna średnia krocząca z czystego szumu w ciągu trzech lat zawiera pięć lub więcej punktów z rzędu w tę samą stronę w 88% przypadków.
Statystyka dla żółtodziobów: trend to twierdzenie o następnym punkcie
Nazwać coś trendem to postawić prognozę: następny punkt prawdopodobnie pójdzie w tę samą stronę. Szumu nie da się prognozować. Zanim więc to powiesz, zadaj jedno pytanie: gdyby nic się nie zmieniło, jak często pojawiałby się taki wykres? Jeśli odpowiedź brzmi „raz na trzy razy”, patrzysz na złudzenie skupień, a nie na momentum.
Gdzie to kosztuje pieniądze
Kurs akcji, fundusz albo sprzedaż, które rosły trzy okresy z rzędu, to najczęstszy wykres w każdej prezentacji sprzedażowej. Przy czystym szumie zdarza się to raz na sześć razy w dowolnym miejscu, a gdzieś w długiej historii prawie zawsze. Seria niewiele mówi o następnym okresie, jeśli nie wiesz, skąd się wzięła, i jeśli reguły nie ustalono, zanim ktokolwiek spojrzał.
Morał
Trzy punkty nie oddzielą trendu od szumu, a przeszukanie sześćdziesięciu pięciu znajdzie trend bez względu na to, czy on jest. Regułę i skalę czasu ustal przed patrzeniem, licz same pomiary, a nie sumy czy średnie, a kiedy reguła mówi „jeszcze nie”, uczciwa odpowiedź brzmi „jeszcze nie wiemy”, a nie „to nie działa”.
Czego to nie mówi
- Brak serii to nie brak zmiany. Prawdziwa, ale powolna poprawa może się chować w szumie miesiącami, a reguła pięciu punktów na danych miesięcznych potrzebuje pięciu miesięcy nawet wtedy, gdy efekt jest prawdziwy. Brak dowodu trendu to nie dowód, że go nie ma.
- Reguły zakładają stabilny proces. Sezonowość, przedświąteczny szczyt albo zmiana sposobu liczenia wyniku łamią to założenie.
- Seria mówi, że coś się zmieniło, ale nie mówi dlaczego. Uśmiech Przede Wszystkim, nowy produkt albo spokojniejsi klienci latem wyglądają na wykresie tak samo.
- Procenty zakładają czysty szum bez remisów. Tabele dla całych wykresów i dla średnich kroczących pochodzą z naszej własnej symulacji.
Seba, jego szef, Darek, pani Iwona i Uśmiech Przede Wszystkim to ilustracja, a wyniki zadowolenia są zmyślone. Przy czystym szumie szansa, że k punktów ułoży się rosnąco, wynosi 1 do k silnia. Regułę pięciu punktów opisują Perla, Provost i Murray, BMJ Quality & Safety (2011); regułę sześciu punktów to jeden z testów Lloyda Nelsona, Journal of Quality Technology (1984); krytyka reguły trendu pochodzi od Anhøja i Olesen, PLoS ONE (2014). Liczby dla całych wykresów i dla średnich kroczących pochodzą z naszej własnej symulacji 20 000 losowych serii dla każdej długości. Treść edukacyjna, nie porada biznesowa ani finansowa.