Prawdopodobieństwo warunkowe i twierdzenie Bayesa na przykładzie alarmu samochodowego

Około 6 minut · Bez strasznych wzorów · Dla każdego, kto zgubił się na zajęciach

W jednym zdaniu: Szansa na coś zależy od tego, co już wiesz, a gdy to coś jest rzadkie, nawet bardzo dokładny alarm zwykle jest fałszywy.

Pomysł

Większość prawdopodobieństw, które spotykasz w życiu, ma doczepiony warunek: szansa na deszcz, gdy są ciemne chmury, szansa, że akcja spadnie, gdy przyszła zła wiadomość, szansa na włamanie, gdy wyje alarm. To „gdy” zmienia wszystko i właśnie tu myli się większość ludzi, także sporo ekspertów.

Klasyczny błąd to pomylenie dwóch pytań, które brzmią tak samo: „jak często alarm się włącza, gdy jest złodziej?” i „jak często jest złodziej, gdy alarm się włącza?”. Odpowiedzi mogą być zupełnie różne.

Alarm wujka Janusza

Wujek Janusz założył nowy alarm samochodowy. Na pudełku napisano, że wykrywa 99% prób włamania. Janusz jest zachwycony. Za każdym razem, gdy alarm włącza się w nocy, wybiega na ulicę w szlafroku, z latarką i trzonkiem od siekiery, którym nigdy niczego nie rąbał.

W tym roku zrobił to 34 razy. Znalazł: wiatr, kota, znowu wiatr, Sebę, a pewnej pamiętnej nocy jeża. Żadnego złodzieja.

Janusz uznał, że alarm jest zepsuty. Nie jest. Działa dokładnie tak, jak opisano. Janusz po prostu odpowiedział na złe pytanie.

Licz ludzi, nie procenty

Procenty od procentów mylą każdego. Prawdziwe liczby nie. Wyobraź sobie więc 10 000 nocy na ulicy Janusza i załóż, że:

Prawdziwa próba włamania zdarza się w 1 nocy na 1000. To 10 nocy.
Alarm wykrywa 99% prawdziwych prób: włącza się w mniej więcej 10 z tych 10 nocy.
Ale włącza się też przez pomyłkę w 5% spokojnych nocy (wiatr, koty, jeże). Spokojnych nocy jest 9990, więc to około 500 fałszywych alarmów.

Alarm włącza się więc w około 510 nocy, a tylko mniej więcej 10 z nich to prawdziwe włamania. Gdy Janusz go słyszy, szansa, że naprawdę jest złodziej, to około 10 na 510, czyli mniej więcej 2%. Alarm ma rację w 99% przypadków, gdy jest złodziej, i myli się w 98% przypadków, gdy wyje.

Oba zdania są prawdziwe. Odpowiadają na różne pytania. A tak bardzo się różnią, bo prawdziwe włamania są rzadkie. Gdy szukasz czegoś rzadkiego, fałszywe alarmy z ogromnej sterty zwykłych nocy zagłuszają te prawdziwe.

To jest twierdzenie Bayesa

To, co właśnie zrobiłeś, ma słynną nazwę: twierdzenie Bayesa. To reguła aktualizowania przekonania, gdy dostajesz nowy dowód. Zaczynasz od tego, jak często coś występuje przed jakimkolwiek dowodem (to częstość bazowa, czyli prawdopodobieństwo a priori: 1 noc na 1000), patrzysz, jak dobrze dowód rozdziela przypadki (99% wykrytych, 5% fałszywych alarmów), i kończysz z uaktualnioną szansą (około 2%).

Wzór z podręcznika robi dokładnie to liczenie, tylko literami. Jeśli wzór cię przeraża, nie używaj go. Wyobraź sobie 10 000 ludzi albo nocy, podziel ich i odczytaj wynik. Statystycy nazywają to „częstościami naturalnymi” i wielu z nich tak właśnie sprawdza własne rachunki.

Gdzie to się chowa w życiu

Filtry antyspamowe, które oznaczają maile od cioci, bo zwykłych maili jest dużo więcej niż spamu.
Bramki na lotniskach, które przez cały dzień piszczą na klamry od pasków.
Sygnały giełdowe: wskaźnik, który „włączył się przed 9 z ostatnich 10 krachów”, brzmi niesamowicie. Ale krachy są rzadkie. Jeśli włącza się też w 5% zwykłych dni, to prawie za każdym razem, gdy się włączy, nic się nie dzieje. Pytaj, jak często się włącza, gdy potem nic nie następuje. Wersję tego sprawdziliśmy na kolanie dziadka.

Spróbuj sam

Ciocia Grażyna dostaje 1000 maili miesięcznie. 10% z nich to spam. Jej filtr łapie 90% spamu, ale błędnie oznacza też 2% zwykłych maili.

Jaka część maili, które trafiają do folderu ze spamem, to naprawdę spam? A jaka część maili, które zostają w skrzynce, to spam?

Pokaż odpowiedź

Policz je. 100 to spam: filtr oznacza 90, a 10 przepuszcza. 900 to zwykłe maile: błędnie oznacza 2%, czyli 18.

W folderze ze spamem jest 90 + 18 = 108 maili, z czego 90 to spam: około 83%. Mniej więcej co szósty mail w spamie to prawdziwa wiadomość i dlatego zaproszenie na wesele kuzynki wylądowało właśnie tam.

W skrzynce jest 10 maili ze spamem i 882 zwykłe, razem 892, więc spamu jest tylko około 1,1%. Spam jest tu dużo częstszy niż złodzieje, więc filtr radzi sobie znacznie lepiej niż alarm Janusza. To samo narzędzie, zupełnie inna częstość bazowa.

Słowa, których używa wykładowca

Wykładowca mówi	To znaczy
Prawdopodobieństwo warunkowe, P(A \| B)	Szansa na A, gdy wiesz już, że zaszło B. Kreskę czytaj jako „pod warunkiem, że”
Twierdzenie Bayesa	Reguła zamiany P(B \| A) na P(A \| B) z użyciem częstości bazowej
Prawdopodobieństwo a priori (częstość bazowa)	Jak prawdopodobne jest coś, zanim zobaczysz nowy dowód
Prawdopodobieństwo a posteriori	Jak prawdopodobne jest to po uwzględnieniu dowodu
Czułość	Jak często test mówi „tak”, gdy odpowiedź naprawdę brzmi „tak” (99% alarmu)
Odsetek fałszywie dodatnich	Jak często mówi „tak”, gdy odpowiedź naprawdę brzmi „nie” (5% spokojnych nocy)
Błąd zaniedbania częstości bazowej	Ignorowanie tego, jak rzadkie coś jest, przez co za bardzo ufamy wynikowi dodatniemu

Trzy rzeczy do zapamiętania

„Jak często test mówi tak, gdy to prawda?” i „jak często to prawda, gdy test mówi tak?” to różne pytania.
Gdy szukasz czegoś rzadkiego, większość alarmów jest fałszywa, nawet z dobrego testu.
Jeśli wzór cię myli, policz 10 000 wymyślonych przypadków i je podziel. To ta sama matematyka.

Część kursu Statystyka od zera, darmowego kursu dla początkujących od WrongStat. Nie zastąpi wykładowcy, ale mamy nadzieję, że będzie dobrym tłumaczem.