Statystyka od zera · Lekcja 28 z 31
Bootstrap: przedział ufności z własnych danych
W jednym zdaniu: Bootstrap szacuje, jak bardzo wynik zmieniałby się między próbami, losując ze zwracaniem z twoich własnych danych tysiące razy, co daje przedział ufności nawet tam, gdzie nie ma wzoru.
Pomysł
Przedział ufności (lekcja 9) potrzebuje wiedzy o tym, jak bardzo twój wynik by się chwiał, gdybyś wziął inną próbę. Dla średniej jest na to wzór, błąd standardowy. Dla wielu innych rzeczy (mediany, percentyla, ilorazu, czegokolwiek nietypowego) prostego wzoru nie ma.
Bootstrap obchodzi to sztuczką: traktuje twoją próbę jak zastępstwo całej populacji, losuje z niej mnóstwo nowych prób z twoich własnych danych i patrzy, jak bardzo wynik się między nimi różni. Ta zmienność to oszacowanie chwiania.
Dojazdy kuzyna Seby
Kuzyn Seba ma nową pracę i zmierzył pierwsze 15 dojazdów, w minutach: 22, 25, 26, 27, 28, 29, 30, 31, 33, 35, 38, 41, 47, 58, 75. 75 to dzień z zepsutym pociągiem.
Chce powiedzieć szefowi, ile dojazd „zwykle” trwa, z jakimś zakresem. Wujek Janusz mówi, żeby podać najgorszy dzień, „na wszelki wypadek”. Ciocia Grażyna mówi, że mediana to 31 minut, ale jak pewny może być po zaledwie 15 dniach?
Dane są prawoskośne (lekcja 26), więc mediana, 31, lepiej opisuje typowy dzień niż średnia, 36,3. Ale wzór z lekcji 9 jest dla średnich. Jak postawić zakres wokół mediany?
Jak działa bootstrap
- Krok 1. Losuj ponownie. Wylosuj 15 wartości z 15 wartości Seby, ze zwracaniem: po wylosowaniu wartość wraca, więc może wypaść znowu. Taka próba może wyglądać tak: 25, 26, 26, 27, 28, 28, 29, 30, 30, 33, 35, 38, 41, 47, 75. Niektóre dni są dwa razy, niektórych nie ma wcale.
- Krok 2. Policz. Wyznacz medianę tej próby. Tutaj to 30.
- Krok 3. Powtórz. Zrób to tysiące razy. Komputer robi 100 000 w sekundę.
- Krok 4. Odczytaj zakres. Posortuj wszystkie mediany z prób. Środkowe 95% z nich, od 2,5 do 97,5 percentyla, to 95% przedział ufności bootstrap.
Dlaczego ze zwracaniem? Bez tego każda nowa próba byłaby 15 dniami Seby w innej kolejności, z dokładnie tą samą medianą. Zwracanie wartości naśladuje losowanie świeżej próby z populacji, która wygląda jak jego dane.
Odpowiedź Seby
Zrobiliśmy 200 000 losowań. Mediany skupiły się wokół 30 i 31 i rozchodziły się od tego miejsca:
| Mediana próby | Udział prób |
|---|---|
| 27 albo mniej | 2,5% |
| 28 do 38 | 95% |
| 41 albo więcej | 2,5% |
Czyli 95% przedział dla typowego dojazdu Seby to mniej więcej 27 do 41 minut, ze środkiem w 31. Przy 15 dniach to cała uczciwa precyzja, na jaką go stać. Może powiedzieć szefowi: „zwykle około pół godziny, w typowy dzień gdzieś między 27 a 41”, co jest dużo bardziej przydatne niż 75 Janusza.
Mediany 200 000 prób bootstrap z 15 dojazdów
Czy zgadza się ze wzorem?
Dla średniej, gdzie wzór istnieje, możemy sprawdzić. Bootstrap daje 95% przedział od 30,1 do 43,9 minuty. Zwykły wzór, średnia plus minus około dwóch błędów standardowych z rozkładu t (lekcja 14), daje 28,5 do 44,2. Blisko, a przedział bootstrap jest lekko przekrzywiony, za skośnością danych. Bootstrapowe oszacowanie błędu standardowego (3,56) też jest blisko wzorowego (3,67). Gdy obie metody są dostępne, zwykle się zgadzają; wartość bootstrapu polega na tym, że działa dalej tam, gdzie wzór się kończy.
Kiedy zawodzi
- Bardzo małe próby. Pięć wartości to za mało, żeby zastąpić populację, a przedział wyjdzie za wąski albo dziwnie ukształtowany.
- Skrajności. Nowa próba nigdy nie zawiera wartości większej niż największa w twoich danych. 64% prób Seby miało to samo maksimum, 75 minut, więc bootstrap nie powie nic sensownego o jego najgorszym możliwym dojeździe.
- Dane zależne. Losowanie pojedynczych dni niszczy każdy wzór w czasie, na przykład jeden zły tydzień remontów. Dane, które przychodzą seriami (w tym ceny rynkowe), wymagają specjalnych wersji, które losują całe bloki.
- Obciążona próba zostaje obciążona. Gdyby Seba mierzył tylko dni, w które wyszedł wcześnie, milion losowań tego nie naprawi (lekcja 1).
Spróbuj sam
Właścicielka kawiarni zapisała liczbę klientów z 30 dni i chce 95% przedziału dla 90. percentyla (ruchliwego dnia). Robi 10 000 losowań bootstrap i widzi, że 90. percentyl prób w środkowych 95% mieści się między 61 a 78 klientami.
1. Co powinna wywnioskować? 2. Dlaczego bootstrap byłby słabym narzędziem dla najbardziej ruchliwego dnia, jaki kiedykolwiek ją czeka?
Pokaż odpowiedź
1. Typowy ruchliwy dzień (90. percentyl) to prawdopodobnie gdzieś między 61 a 78 klientów; na taki zakres warto planować obsadę. Przedział jest szeroki, bo w 30 dniach są tylko trzy dni powyżej 90. percentyla.
2. Bootstrap nie wytworzy dnia bardziej ruchliwego niż najbardziej ruchliwy z jej 30 dni, więc nic nie mówi o rzadkich, skrajnych dniach. Do tego potrzebuje dłuższego zapisu albo modelu ogona.
Słowa, których używa wykładowca
| Wykładowca mówi | To znaczy |
|---|---|
| Bootstrap (metoda samowsporna) | Szacowanie zmienności wyniku przez wielokrotne losowanie z danych |
| Losowanie ze zwracaniem | Losowanie wartości i odkładanie każdej z powrotem, żeby mogła wypaść znowu |
| Próba bootstrapowa | Jedna nowa próba tej samej wielkości wylosowana z twoich danych |
| Rozkład bootstrapowy | Rozrzut wyniku we wszystkich losowaniach |
| Przedział percentylowy | Środkowe 95% rozkładu bootstrapowego, używane jako 95% przedział ufności |
| Bootstrapowy błąd standardowy | Odchylenie standardowe rozkładu bootstrapowego |
| Bootstrap blokowy | Wersja, która losuje serie kolejnych wartości, dla danych w czasie |
| Nieparametryczny | Niezakładający konkretnego kształtu danych, na przykład krzywej dzwonowej |
Trzy rzeczy do zapamiętania
- Losuj ze zwracaniem z własnych danych, za każdym razem licz wynik od nowa i weź środkowe 95%.
- Działa dla median, percentyli i innych wyników bez prostego wzoru, a gdy wzór jest, zgadza się z nim.
- Nie wymyśli tego, czego nie ma w próbie: żadnych wartości poza twoimi skrajnościami, żadnej naprawy obciążenia, a przy bardzo małych albo uporządkowanych w czasie danych trzeba uważać.
Część kursu Statystyka od zera, darmowego kursu dla początkujących od WrongStat. Nie zastąpi wykładowcy, ale mamy nadzieję, że będzie dobrym tłumaczem.