Statystyka od zera · Lekcja 31 z 31
Szeregi czasowe: trendy, sezony i fałszywe korelacje
W jednym zdaniu: Dane zbierane w czasie mają trendy, sezony i pamięć, więc porównujesz podobne z podobnym (ten styczeń z zeszłym styczniem) i nigdy nie liczysz korelacji dwóch rosnących szeregów bez spojrzenia najpierw na ich zmiany.
Pomysł
Większość tego kursu traktowała dane jak worek osobnych obserwacji. Szereg czasowy jest inny: to ta sama rzecz mierzona raz za razem w czasie, na przykład miesięczna sprzedaż, dzienne temperatury czy cena akcji. Szeregi czasowe mają trzy nawyki, które łamią zwykłe reguły:
- Trend: powolny dryf w górę albo w dół przez miesiące czy lata.
- Sezonowość: wzór, który powtarza się co rok, tydzień albo dzień.
- Pamięć: dzisiejsza wartość jest bliska wczorajszej, więc obserwacje nie są niezależne (lekcja 4).
Budka z lodami cioci Grażyny
Ciocia Grażyna prowadzi budkę z lodami nad jeziorem. W styczniu trzeciego roku sprzedała 50 lodów, mniej niż 55 w grudniu. Wujek Janusz, jej samozwańczy doradca finansowy, nazywa to „9% zapaścią” i proponuje zamknięcie.
Grażyna zauważa, że jest styczeń.
Oto jej miesięczna sprzedaż w trzecim roku, z prostego modelu budki: wzór sezonowy plus stały wzrost o 1% miesięcznie.
| Porównanie | Zmiana |
|---|---|
| Styczeń wobec poprzedniego grudnia | 9,1% w dół |
| Wrzesień wobec sierpnia | 26,9% w dół |
| Styczeń wobec stycznia rok wcześniej | 11,1% w górę |
| Lipiec wobec lipca rok wcześniej | 10,0% w górę |
| Cały rok wobec poprzedniego | 10,2% w górę (1448 wobec 1314) |
W porównaniach miesiąc do miesiąca dominuje sezon. Każda jesień wygląda na krach, a każda wiosna na boom. Rozwiązanie to porównywać podobne z podobnym: ten styczeń z zeszłym styczniem (rok do roku) albo cały rok z całym rokiem. Urzędy statystyczne publikują dane „wyrównane sezonowo” z tego samego powodu.
Sprzedane lody miesięcznie, trzeci rok
Pamięć: autokorelacja
Dzisiejsza cena akcji to prawie dokładnie wczorajsza plus mała zmiana. Policz korelację szeregu cen z nim samym przesuniętym o jeden dzień, a w naszej symulacji wyjdzie około 0,98: niezwykle silny związek zwany autokorelacją. Policz ją dla dziennych zmian, a wyjdzie około 0,00. Na tym polega cała różnica między poziomem, który pamięta wszystko, a jego zmianą, która może nie pamiętać nic.
Ma to znaczenie, bo większość testów zakłada niezależne obserwacje. Rok dziennych cen to nie 250 niezależnych informacji. To bliżej jednej błądzącej linii.
Pułapka fałszywej korelacji
Oto najdroższy błąd w tym temacie. Wygenerowaliśmy 2000 par zupełnie niezwiązanych błądzeń losowych po 250 kroków (pomyśl o dwóch wymyślonych cenach akcji, które nie mają ze sobą nic wspólnego) i policzyliśmy korelację każdej pary:
| Co korelowaliśmy | Pary z korelacją powyżej 0,5 (dowolny znak) |
|---|---|
| Poziomy („ceny”) | 41% |
| Dzienne zmiany | 0% |
Dwa szeregi, które oba błądzą, często przez jakiś czas błądzą w tę samą stronę, a ich korelacja wygląda na silną przez czysty przypadek. Typowa para miała korelację 0,42. To korelacja pozorna (albo regresja pozorna) i dlatego „te dwa wykresy idą razem” samo w sobie niczego nie dowodzi. Policz korelację zmian, co usuwa wspólne błądzenie, a fałszywy związek znika.
Trzy nawyki dla danych w czasie
- Najpierw narysuj. Wykres liniowy od razu pokazuje trend i sezon.
- Porównuj podobne z podobnym. Rok do roku albo dane wyrównane sezonowo, a nie ten miesiąc z poprzednim.
- Pracuj na zmianach. Zanim policzysz korelację dwóch szeregów albo sprawdzisz związek między nimi, spójrz na ich zmiany (stopy zwrotu, tempo wzrostu), a nie na poziomy.
Spróbuj sam
Blog pokazuje dwie linie rosnące razem od 2000 do 2020 roku: liczbę subskrypcji streamingu i średnią krajową cenę domów. Korelacja wynosi 0,95. Autor sugeruje, że streaming podnosi ceny domów.
1. Dlaczego 0,95 nie robi tu wrażenia? 2. Co sprawdziłbyś zamiast tego?
Pokaż odpowiedź
1. Oba szeregi mają silne trendy wzrostowe, a prawie każde dwa rosnące szeregi są mocno skorelowane. W naszej symulacji nawet niezwiązane błądzenia losowe przekraczają 0,5 w 41% przypadków; dwa szeregi, które oba równo rosną, wypadną jeszcze lepiej.
2. Policz korelację zmian rok do roku: czy ceny domów rosły szybciej w latach, gdy subskrypcje rosły szybciej? Potem zapytaj o wspólne przyczyny, takie jak rosnące dochody i niskie stopy procentowe, które pchają w górę jedno i drugie (lekcja 7).
Słowa, których używa wykładowca
| Wykładowca mówi | To znaczy |
|---|---|
| Szereg czasowy | Ta sama wielkość mierzona wielokrotnie w czasie |
| Trend | Długoterminowy dryf w górę albo w dół |
| Sezonowość | Wzór powtarzający się w stałych odstępach |
| Wyrównanie sezonowe | Usunięcie typowego wzoru sezonowego, żeby dało się porównywać miesiące |
| Autokorelacja | Korelacja szeregu z jego własnymi wcześniejszymi wartościami |
| Błądzenie losowe | Szereg, w którym każda wartość to poprzednia plus losowy krok |
| Stacjonarny | Szereg, którego średnia i rozrzut nie dryfują w czasie; zmiany często są, poziomy często nie |
| Korelacja (regresja) pozorna | Silny, ale bezsensowny związek dwóch szeregów z trendem |
| Różnicowanie | Praca na zmianach z okresu na okres zamiast na poziomach |
Trzy rzeczy do zapamiętania
- Dane w czasie mają trend, sezon i pamięć. Narysuj je, zanim cokolwiek policzysz.
- Porównuj podobne z podobnym: ten styczeń z zeszłym styczniem, a nie z grudniem.
- Nigdy nie ufaj korelacji dwóch linii z trendem. Licz korelację ich zmian.
Część 3 na razie
Lekcje 20-31 dodają narzędzia, które spotkasz na prawie każdym kursie i w każdym raporcie z badań: rozkład dwumianowy i rozkład Poissona do liczenia, ANOVA do porównywania więcej niż dwóch grup, wielkość efektu do oceny, czy istotny wynik ma znaczenie, regresję do średniej do wyłapywania zmian, które nie potrzebują przyczyny, i różnicę między obserwacją a eksperymentem do rozstrzygania, co jest przyczyną czego. Potem praktyczny zestaw: histogramy do oglądania kształtu danych, regresję wieloraką do ustalania innych czynników, bootstrap do przedziałów bez wzorów, ilorazy szans do czytania nagłówków o zdrowiu, testy rangowe do danych, które nie chcą się zachowywać, i szeregi czasowe do wszystkiego, co mierzy się w czasie.
Część kursu Statystyka od zera, darmowego kursu dla początkujących od WrongStat. Nie zastąpi wykładowcy, ale mamy nadzieję, że będzie dobrym tłumaczem.