Statystyka od zera · Lekcja 12 z 22
Regresja liniowa: rysujemy prostą (i wiemy, gdzie przestać)
W jednym zdaniu: Regresja rysuje prostą najlepiej dopasowaną do danych i mówi, o ile zwykle zmienia się jedna rzecz, gdy zmienia się druga, ale zna tylko ten zakres danych, który jej dałeś.
Pomysł
W lekcji 7 poznałeś korelację: jedną liczbę mówiącą, jak ściśle dwie rzeczy zmieniają się razem. Regresja idzie krok dalej. Rysuje samą prostą przez dane, więc możesz powiedzieć, o ile zmienia się jedna rzecz, gdy zmienia się druga, i zrobić prognozę.
Rysuje tę prostą, która w sumie trzyma punkty jak najbliżej siebie. Dokładniej: minimalizuje sumę kwadratów pionowych odległości punktów od prostej, dlatego metoda nazywa się metodą najmniejszych kwadratów. Nigdy nie musisz rysować jej ręcznie; robi to każdy arkusz kalkulacyjny. Musisz wiedzieć, co prosta może ci powiedzieć, a czego nie.
Budka z lemoniadą kuzyna Seby
Kuzyn Seba prowadzi budkę z lemoniadą na letnim jarmarku. Przez pięć sobót zapisywał temperaturę i liczbę sprzedanych kubków:
| Temperatura | 15°C | 18°C | 21°C | 24°C | 27°C |
|---|---|---|---|---|---|
| Sprzedane kubki | 20 | 26 | 29 | 35 | 40 |
Najlepiej dopasowana prosta przez te punkty to:
kubki = 1,63 × temperatura - 4,3
Dwie liczby, dwa znaczenia:
- Nachylenie, 1,63: każdy dodatkowy stopień idzie w parze z mniej więcej półtora kubka więcej. To jest użyteczna liczba. To jest „o ile”.
- Wyraz wolny, -4,3: wartość prostej przy 0°C. Tutaj nic nie znaczy (Seba nie sprzeda minus czterech kubków). To po prostu miejsce, w którym prosta musi się zaczynać, żeby przejść tam, gdzie trzeba.
Przy prognozie 30°C prosta przewiduje 1,63 × 30 - 4,3 = około 45 kubków. Seba kupił cytryny na 45. Rozsądnie.
Jak dobra jest ta prosta?
Punkty nie leżą dokładnie na prostej. Odstępy nazywają się resztami: przy 18°C Seba sprzedał 26 kubków, a prosta mówiła 25,1, więc reszta to +0,9. Małe reszty oznaczają dobre dopasowanie.
Zwykłym podsumowaniem jest R kwadrat: część wahań sprzedaży, którą wyjaśnia prosta. Tutaj wynosi 0,99, czyli temperatura wyjaśnia 99% zmienności sprzedaży Seby. To podejrzanie porządne, bo to wymyślone liczby. Prawdziwe dane są bardziej chaotyczne i R kwadrat 0,3 wciąż może być przydatne, a 0,99 w prawdziwym życiu zwykle znaczy, że zrobiłeś błąd albo mierzysz dwa razy to samo.
Gdzie przestać
Wujek Janusz pożyczył prostą Seby, żeby zaplanować stoisko na zimowym jarmarku. Przy 0°C prosta przewiduje 1,63 × 0 - 4,3 = minus cztery kubki.
Janusz uznał, że klienci przyniosą mu lemoniadę. Postawił dwa puste wiadra. Nikt nie przyszedł, w żadną stronę.
To ekstrapolacja: używanie prostej poza zakresem danych, z których ją zbudowano. Dane Seby obejmowały od 15 do 27°C. Pomiędzy nimi prosta jest dobrą wskazówką. Poza nimi nie ma pojęcia. Może poniżej 10°C sprzedaż przestaje spadać, bo stali klienci zawsze przychodzą. Może przy 35°C wszyscy siedzą w domu. Prosta tego nie wie, bo nigdy nie widziała takich dni.
Rynki wpadają w tę pułapkę bez przerwy. Prosta linia trendu przez trzy dobre lata nic nie mówi o czwartym, a strategia dopasowana do spokojnego okresu nic nie mówi o krachu. Dlatego nasze testy sprawdzają wyniki na danych, do których reguł nigdy nie dopasowywano.
Jeszcze dwa ostrzeżenia
- Prosta to nie przyczyna. Wszystko z lekcji 7 nadal obowiązuje. Sprzedaż lemoniady i oparzenia słoneczne rosną razem z temperaturą; regresja jednego na drugie pasowałaby świetnie i nic by nie znaczyła.
- Regresja do średniej to coś innego, o myląco podobnej nazwie. To skłonność skrajnych wyników do tego, że po nich przychodzą zwyklejsze, jak genialny pracownik miesiąca, który w następnym miesiącu ma zwykły miesiąc. Słowo „regresja” w obu nazwach pochodzi z tego samego XIX-wiecznego badania wzrostu ludzi i tylko dlatego je dzielą.
Spróbuj sam
Badanie jarmarku Seby pokazuje: dzienna liczba odwiedzających = 12 × liczba stoisk + 150, na podstawie dni z 10 do 40 stoiskami.
1. Co znaczy 12? 2. Ilu odwiedzających przewiduje prosta przy 25 stoiskach? 3. Organizator chce wiedzieć, ilu odwiedzających przyniesie 200 stoisk. Co mu powiesz?
Pokaż odpowiedź
1. Każde dodatkowe stoisko idzie w parze z mniej więcej 12 dodatkowymi odwiedzającymi dziennie (średnio, w zakresie danych).
2. 12 × 25 + 150 = 450 odwiedzających.
3. Prosta mówi 2550, ale 200 stoisk to daleko poza zakresem od 10 do 40, który obejmowały dane. Parking może się zapełnić, w mieście może nie być tylu kupujących, a odwiedzający mogą się rozłożyć na więcej stoisk zamiast się mnożyć. To ekstrapolacja; uczciwa odpowiedź brzmi „nie wiemy, a prosta nam tego nie powie”. A nawet w zakresie danych więcej stoisk może przychodzić za odwiedzającymi, a nie ich przyciągać.
Słowa, których używa wykładowca
| Wykładowca mówi | To znaczy |
|---|---|
| Regresja liniowa | Dopasowanie najlepszej prostej do danych |
| Zmienna zależna (y) | To, co próbujesz przewidzieć (sprzedane kubki) |
| Zmienna niezależna (x), predyktor | To, na podstawie czego przewidujesz (temperatura) |
| Nachylenie (współczynnik, b) | O ile średnio zmienia się y, gdy x rośnie o jeden |
| Wyraz wolny (a) | Wartość prostej, gdy x wynosi zero; sam w sobie często bez znaczenia |
| Metoda najmniejszych kwadratów | Sposób: wybierz prostą, przy której suma kwadratów odstępów jest najmniejsza |
| Reszta | Odstęp między prawdziwym punktem a prognozą prostej |
| R kwadrat (współczynnik determinacji) | Część zmienności y, którą wyjaśnia prosta, od 0 do 1 |
| Ekstrapolacja | Używanie prostej poza zakresem danych. Niebezpieczne |
Trzy rzeczy do zapamiętania
- Nachylenie to użyteczna liczba: o ile zmienia się jedna rzecz, gdy druga rośnie o jeden.
- Prosta zna tylko zakres danych, na których ją zbudowano. Poza nim zgaduje z pewną miną.
- Dobre dopasowanie to nie przyczyna, a idealne dopasowanie w prawdziwych danych to powód do podejrzeń.
Część kursu Statystyka od zera, darmowego kursu dla początkujących od WrongStat. Nie zastąpi wykładowcy, ale mamy nadzieję, że będzie dobrym tłumaczem.