Algorytm ma 98,7% trafności. Mówienie wszystkim „nie” też.
W skrócie: gdy szukasz czegoś rzadkiego, trafność prawie nic nie znaczy. Jeśli do siebie pasuje 1,3% par, program, który odrzuca wszystkich, ma rację w 98,7% przypadków i nie znajduje ani jednej pary. W naszym przykładzie aplikacja, która proponuje 200 dopasowań, z czego 100 dobrych, też ma 98,7% trafności. Ważne pytania brzmią: ile z proponowanych dopasowań jest dobrych (precyzja) i ile z istniejących dobrych dopasowań aplikacja znajduje (czułość)?
Ciotka Halina, siostra Grażyny, jest świeżo samotna i zapisała się do aplikacji randkowej. Aplikacja twierdzi, że jej algorytm dopasowania ma 98,7% trafności. Wyszkolono go na milionach par, bierze pod uwagę 400 cech osobowości, a w reklamie jest zachód słońca trafny w 98,7%.
W pierwszym tygodniu algorytm dopasował Halinę do pana, który opisał się jako „między hobby”, pana, który opisał się jako „między żonami”, i pana, który okazał się jej dentystą. Halina zapytała aplikację, jak wygląda pozostałe 1,3%.
Program, który wszystkim mówi „nie”
Zbudujmy lepszy algorytm. Jest bardzo krótki. Dla każdej pary ludzi mówi: „nie pasujecie”. To cały program.
Załóżmy, że na 10 000 możliwych par 130 naprawdę do siebie pasuje: 1,3%. Nasz program myli się co do tych 130 i ma rację co do pozostałych 9870. To 98,7% trafności. Zgadza się z liczbą aplikacji co do miejsca po przecinku, napisanie go zajęło cztery sekundy i jeszcze nigdy nikogo z nikim nie poznał.
Dlatego trafność to fatalna miara przy rzadkich rzeczach. Gdy prawie każda odpowiedź brzmi „nie”, mówienie „nie” za każdym razem wypada znakomicie. Całą robotę wykonuje częstość bazowa, a zasługi zbiera algorytm.
Co naprawdę robi aplikacja
Teraz powiedzmy, że prawdziwa aplikacja z tych samych 10 000 par proponuje 200 dopasowań. 100 z nich jest dobrych. Przegapia też 30 ze 130 dobrych par.
- Trafne odpowiedzi: 100 dobrych dopasowań plus 9770 słusznie odrzuconych par = 9870. Znowu 98,7%.
- Z 200 proponowanych dopasowań dobra jest połowa: 50%. To się nazywa precyzja.
- Ze 130 istniejących dobrych par aplikacja znajduje 100: 77%. To się nazywa czułość.
Aplikacja i program „wszystkim nie” mają dokładnie tę samą trafność. Jedno znajduje 100 par, drugie żadnej. Trafność ich nie odróżni. Precyzja i czułość tak.
Dwa programy, 10 000 par, 130 naprawdę pasujących
Dwa pytania, które warto zadać
1. Gdy mówi „tak”, jak często ma rację? To precyzja: odsetek propozycji, które są coś warte. Dla Haliny to odsetek randek wartych biletu na autobus.
2. Ile z tego, co warto znaleźć, znajduje? To czułość: odsetek dobrych dopasowań, które naprawdę łapie. Ostrożny program z wysoką precyzją może i tak przegapić większość.
3. Porównaj z nicnierobieniem. Jeśli „zawsze mów nie” dostaje ten sam wynik, wynik mierzy częstość bazową, a nie algorytm.
Gdzie to kosztuje pieniądze
„Nasz model trafnie przewidział rynek w 99% dni” brzmi imponująco, dopóki nie zauważysz, że krachy zdarzają się mniej więcej w 1% dni, a model, który każdego ranka mówi „krachu nie będzie”, ma ten sam wynik. Każda deklaracja wysokiej trafności przy rzadkim zdarzeniu (krachy, oszustwa, spółki, które urosną dziesięciokrotnie) wymaga podania skuteczności przy samym rzadkim zdarzeniu: gdy model mówi „krach”, jak często ma rację i ile krachów przegapił?
Morał
Halina złożyła reklamację. Aplikacja odpowiedziała, z trafnością 98,7%, że reklamacja wpłynęła. Halina poznała tymczasem kogoś w kolejce na poczcie, metodą o precyzji jeden na jeden i czułości, której nikt nie zmierzył. Aplikacja przysłała jej ankietę z pytaniem, czy algorytm pomógł. Odpowiedziała, że nie. Aplikacja zapisała to jako trafną prognozę.
Aplikacja, jej algorytm i wszystkie liczby są zmyślone i przykładowe. Treść edukacyjna, a nie porada finansowa.