Statystyka od zera · Lekcja 9 z 22
Między dwoma a sześcioma piwami: przedziały ufności
W jednym zdaniu: Pojedyncza liczba z próby jest prawie na pewno trochę nietrafiona, więc dobre oszacowanie przychodzi z zakresem, a szerokość tego zakresu mówi, ile ta liczba jest warta.
Pomysł
Gdy szacujesz coś z próby, dostajesz jedną liczbę: „przeciętny student wypija na imprezie 4 piwa”. Ta liczba jest prawie na pewno trochę nietrafiona przez chwianie próby z lekcji 6. Zapytaj inną grupę, a wyjdzie 3,6 albo 4,5.
Więc zamiast udawać, że liczba jest dokładna, statystycy podają zakres: „gdzieś między 2 a 6 piwami”. Ten zakres to przedział ufności. To uczciwa wersja oszacowania. Liczba w środku to najlepszy strzał; szerokość zakresu mówi, jak poważnie go traktować.
Ankieta kuzyna Seby o piwie
Seba pisze na studia esej o życiu studenckim. Pyta 9 znajomych, ile piw wypijają na typowej imprezie. Średnia odpowiedź to 4, z odchyleniem standardowym 3. (Znajomi Seby się różnią. Część gra w drużynie rugby. Jeden ma na imię Marcin i pije lemoniadę.)
Seba pisze: „Studenci wypijają na imprezie 4 piwa”.
Promotor dopisuje na marginesie: „Z twoich danych: mniej więcej między 2 a 6. Poza tym to są twoi znajomi”.
Promotor ma rację w obu sprawach. Druga to obciążenie (lekcja 1) i żaden przedział tego nie naprawi. Pierwsza to przedział ufności, a oto skąd się wziął.
Jak buduje się zakres
Masz już wszystkie elementy z wcześniejszych lekcji:
- Oszacowanie: średnia z próby, 4 piwa.
- Błąd standardowy (lekcja 6): odchylenie standardowe ÷ pierwiastek z wielkości próby. Tu to 3 ÷ 3 = 1 piwo.
- Reguła krzywej dzwonowej (lekcja 5): około 95% dzwonu leży w 2 odchyleniach standardowych od środka. (Dokładna liczba to 1,96, którą wszyscy zaokrąglają do 2.)
Razem: oszacowanie plus minus mniej więcej 2 błędy standardowe. 4 plus minus 2 daje mniej więcej od 2 do 6 piw. To jest 95-procentowy przedział ufności.
Chcesz mieć większą pewność? Przedział 99% używa około 2,6 błędu standardowego zamiast 2, więc jest szerszy: mniej więcej od 1,4 do 6,6. Większa pewność zawsze kosztuje szerszy zakres. Jedynym sposobem na zakres jednocześnie wąski i wiarygodny jest więcej danych.
Gdyby Seba zapytał 36 osób zamiast 9 (cztery razy więcej), błąd standardowy spadłby o połowę, do 0,5, a 95-procentowy przedział skurczyłby się mniej więcej do od 3 do 5 piw. Prawo pierwiastka z lekcji 6 w akcji.
(Przy bardzo małych próbach, jak 9 osób Seby, dokładny rachunek używa trochę większego mnożnika niż 2. Do tego służy „rozkład t-Studenta” z twojego podręcznika. Idea jest dokładnie ta sama.)
Co naprawdę znaczy „95% ufności”
Tu większość ludzi, i sporo podręczników, trochę się gubi. Prawdziwa średnia dla wszystkich studentów to stała liczba. Albo jest w przedziale Seby, albo nie. Więc „95%” tak naprawdę nie dotyczy tego jednego przedziału.
Dotyczy metody. Gdybyś powtarzał ankietę wiele razy, za każdym razem na nowej losowej próbie, i za każdym razem budował przedział w ten sam sposób, mniej więcej 95% tych przedziałów zawierałoby prawdziwą wartość. Mniej więcej 1 na 20 by ją całkiem minął, bez niczyjej winy.
Pomyśl o tym jak o sieci rybackiej. Sieć 95% łapie rybę w 95% przypadków. Gdy już ją zarzuciłeś, ryba albo jest w tej konkretnej sieci, albo nie, ale użyłeś sieci, która rzadko chybia.
Dwadzieścia powtórzonych ankiet, dwadzieścia przedziałów 95%
Przedziały i istotność to ten sam pomysł
Przedziały ufności i testy hipotez z lekcji 8 to dwa spojrzenia na tę samą matematykę. Jeśli 95-procentowy przedział dla różnicy nie obejmuje zera, różnica jest istotna statystycznie na poziomie 5%. Jeśli obejmuje, nie jest. Przedział pokazuje po prostu więcej: nie tylko, czy efekt może wynosić zero, ale też, jak duży może sensownie być.
Spróbuj sam
Dwie strategie tradingowe sprawdzono na danych historycznych. Wyniki to średni zysk na transakcję z 95-procentowym przedziałem ufności. (To zmyślone przykłady na potrzeby ćwiczenia.)
Strategia A: średnio +0,4% na transakcję, 95-procentowy przedział od minus 0,2% do +1,0%.
Strategia B: średnio +0,10% na transakcję, 95-procentowy przedział od +0,06% do +0,14%.
Koszty transakcyjne wynoszą około 0,05% na transakcję (kupno i sprzedaż razem). Która strategia, jeśli którakolwiek, pokazała, że zarabia?
Pokaż odpowiedź
Strategia A ma ekscytującą średnią, ale jej przedział obejmuje zero, a do tego trochę liczb ujemnych. Dane są zgodne ze strategią, która traci pieniądze. Nieistotne. Potrzeba dużo więcej transakcji, zanim ktokolwiek będzie mógł coś powiedzieć.
Strategia B jest wiarygodnie powyżej zera: cały przedział jest dodatni, więc wynik jest istotny statystycznie. Ale teraz odejmij koszty. 0,10% minus 0,05% zostawia 0,05% na transakcję, a dolny koniec przedziału, 0,06%, zostawia zaledwie 0,01%. Prawdziwe, ale malutkie, a jedno trochę gorsze założenie o kosztach to zjada.
Więc żadna nie pokazała przekonująco, że zarabia po kosztach. A to wielkie „może”. B to małe „tak”, które po kosztach zmienia się w „raczej nie warto”. To bardzo typowe dla tego, co znajdujemy, testując pomysły tradingowe, i dokładnie dlatego zawsze pokazujemy zakres, liczbę transakcji i koszty, a nie tylko średnią.
Słowa, których używa wykładowca
| Wykładowca mówi | To znaczy |
|---|---|
| Oszacowanie punktowe (estymator punktowy) | Jeden najlepszy strzał (te 4 piwa) |
| Oszacowanie przedziałowe | Zakres zamiast pojedynczej liczby |
| Przedział ufności (CI) | Zakres zbudowany jako oszacowanie plus minus kilka błędów standardowych |
| Poziom ufności | Jak często metoda łapie prawdziwą wartość: zwykle 95%, czasem 90% albo 99% |
| Margines błędu | Połowa szerokości przedziału: część „plus minus” |
| Wartość krytyczna | Mnożnik: około 1,96 dla 95%, około 2,58 dla 99% |
| Rozkład t-Studenta | Trochę szersza wersja krzywej dzwonowej, używana przy małych próbach |
| Pokrycie | Jaka część przedziałów zawierałaby prawdziwą wartość, gdyby powtórzyć wszystko od nowa |
Trzy rzeczy do zapamiętania
- Dobre oszacowanie zawsze przychodzi z zakresem. Pojedyncza liczba bez zakresu ukrywa, jak bardzo jest niepewna.
- Przedział 95% to mniej więcej oszacowanie plus minus 2 błędy standardowe. Więcej danych go zwęża; większa pewność go poszerza.
- Jeśli przedział obejmuje zero, efektu może nie być. Jeśli leży cały powyżej zera, ale jest malutki, zapytaj, czy przeżyje koszty.
Część kursu Statystyka od zera, darmowego kursu dla początkujących od WrongStat. Nie zastąpi wykładowcy, ale mamy nadzieję, że będzie dobrym tłumaczem.