Co oznacza 30% szans na deszcz? Aplikacja pogodowa nie skłamała
W skrócie: 30% szans na deszcz to obietnica dotycząca wielu dni, a nie jednego. U dobrego prognosty dni z 30% kończą się deszczem mniej więcej 3 razy na 10. Zostaw parasol w domu przez dziesięć takich dni, a przemokniesz co najmniej raz w 97% przypadków. Prognozę da się ocenić tylko na wielu dniach naraz i to się nazywa kalibracja.
Aplikacja podała 30% szans na deszcz. Wujek Janusz przeczytał to tak, jak czyta wszystko, czyli wielkodusznie wobec siebie. „Trzydzieści procent znaczy, że przez siedemdziesiąt procent czasu pogoda nie ma prawa mnie zaskoczyć”, oznajmił i zostawił parasol przy drzwiach.
Padało przez czterdzieści minut, głównie na Janusza. Wrócił do domu, stanął ociekający w przedpokoju i skasował aplikację. „Skłamała”, powiedział. „Znowu”.
Ciocia Grażyna zauważyła, że 30% to nie 0%. Janusz zauważył, że jest mokry. Oba stwierdzenia były prawdziwe. Tylko jedno dotyczyło statystyki.
Co naprawdę obiecuje 30%
Prognoza 30% nie obiecuje niczego o jutrze. To obietnica dotycząca wszystkich dni, które dostają tę samą prognozę. Jeśli prognosta jest dobry, to ze wszystkich dni oznaczonych „30%” pada mniej więcej w 3 na 10. Janusz trafił na jeden z tych trzech. To nie jest porażka prognozy. To prognoza działająca dokładnie tak, jak opisano, tyle że na Januszu.
(Dla porządku: w prognozach amerykańskich procent oznacza szansę, że w danym miejscu obszaru prognozy spadnie choć trochę mierzalnego deszczu w danym okresie. To nie jest 30% dnia ani 30% miasta. Miejscem Janusza była droga od drzwi do przystanku.)
Dziesięć dni po 30%, parasol w domu
Strategia Janusza brzmi: „30% znaczy, że nie będzie potrzebny”. Puśćmy ją przez dziesięć dni z prognozą 30%:
- Oczekiwana liczba deszczowych dni: 3.
- Szansa, że wszystkie dziesięć będą suche: 0,7 pomnożone przez siebie dziesięć razy, około 2,8%.
- Szansa, że przemokniesz co najmniej raz: około 97%.
Plan Janusza nie jest więc zakładem. Jest rezerwacją. 30% wydaje się małą szansą w dowolnym pojedynczym dniu, ale powtarzane staje się cotygodniowym spotkaniem z deszczem.
Szansa, że przemokniesz co najmniej raz, zostawiając parasol w dni z prognozą „30%”
Jak sprawdzić, czy prognosta jest coś wart
Prognozy w procentach nie da się ocenić po jednym dniu. Czy „30%” było błędne, bo padało? Czy byłoby trafne, gdyby nie padało? Ani to, ani to. Jedyny test to zebrać wiele prognoz i sprawdzić, czy każdy procent sprawdza się tak często, jak zapowiada. To się nazywa kalibracja:
| Prognoza mówiła | Dni z taką prognozą | Dni z deszczem u dobrze skalibrowanego prognosty |
|---|---|---|
| 10% | 40 | około 4 |
| 30% | 30 | około 9 |
| 70% | 20 | około 14 |
| 90% | 10 | około 9 |
Jeśli dni z 30% w aplikacji są mokre w połowie przypadków, aplikacja jest źle skalibrowana i Janusz ma rację. Jeśli są mokre mniej więcej 3 razy na 10, aplikacja jest w porządku, a Janusz ma ręcznik. Prognostów naprawdę ocenia się w ten sposób, na tysiącach dni, wzorem zwanym miarą Briera. Janusz ocenia prognostów na jednym wtorku, wzorem zwanym „jestem mokry”.
To parasol czy nie?
Prognoza daje prawdopodobieństwo. To, czy wziąć parasol, zależy od stawki. Powiedzmy, że noszenie parasola przez cały dzień kosztuje cię 2 jednostki irytacji, a przemoknięcie 10. Wtedy zostawienie go w domu opłaca się tylko wtedy, gdy szansa na deszcz jest mniejsza niż 2 na 10, czyli 20%.
Przy 30% oczekiwany koszt zostawienia parasola to 0,3 × 10 = 3 jednostki, więcej niż 2 jednostki noszenia. Bierz parasol. Jeśli nie znosisz noszenia rzeczy bardziej niż moknięcia, twój próg się przesuwa. To nie jest nieracjonalne. To po prostu znajomość własnych liczb.
Gdzie to kosztuje pieniądze
Sygnały tradingowe też przychodzą z procentami: „w 70% przypadków ta formacja idzie w górę”. Jedna stratna transakcja nie dowodzi, że to nieprawda, a jedna zyskowna nie dowodzi, że prawda. Jedyny test jest taki sam jak dla aplikacji pogodowej: setki sygnałów, sprawdzonych z tym, jak często miały działać, i z tym, co dałby losowy wybór. Tak robi każdy mit na tej stronie.
Morał
Janusz zainstalował aplikację z powrotem. Znalazł też nowego prognostę, własnego ojca, któremu przed deszczem łamie w kolanie. Dziadek Zenek nigdy się nie pomylił, mówi Janusz. Nikt tego nigdy nie sprawdził. My sprawdziliśmy: Czy bolące stawy przepowiadają pogodę? Kolano dziadka, sprawdzone.
Tabela kalibracji ilustruje, jak wygląda dobra kalibracja, i nie pochodzi od prawdziwego prognosty. Koszty parasola to przykład. Treść edukacyjna, a nie porada finansowa.