Statystyka od zera · Lekcja 10 z 22
Jak kłamać statystyką (żeby umieć to wyłapać)
W jednym zdaniu: Większość mylących statystyk nie jest fałszywa; to prawdziwe liczby wybrane, podane albo zmierzone tak, żeby wskazywały w złą stronę, a garść prostych pytań wyłapuje prawie wszystkie.
Pomysł
Najgroźniejsze statystyki nie są zmyślone. Zmyślone liczby łatwo wyłapać. Groźne są te zupełnie prawdziwe, które zostały wybrane, podane albo zmierzone tak, żeby doprowadzić cię do złego wniosku. Nikt nie musi kłamać. Wystarczy, że wybierze.
Każdą sztuczkę z tej lekcji już poznałeś w tym kursie. Ta lekcja zbiera je w jednym miejscu, daje każdej twarz i kończy się listą pytań, której możesz używać do każdego nagłówka, reklamy i oferty inwestycyjnej do końca życia.
Sztuczka 1: wybierz datę startu
Fundusz kryptowalutowy kuzyna Seby w pierwszym roku stracił 80% wartości. Potem wzrósł o 300% od tego dołka.
Nowa strona Seby głosi: „300% w górę!” Co jest prawdą, jeśli zaczniesz liczyć od dna. Licząc od dnia, w którym inwestorzy Seby faktycznie wpłacili pieniądze, nadal są 20% pod kreską. (Spadek o 80% zostawia 20 groszy z każdej złotówki. Wzrost o 300% od tego poziomu daje cztery razy więcej, czyli 80 groszy.)
To jest wybieranie wisienek: dobór okresu, przykładów albo danych, które opowiadają historię, jakiej chcesz. Gdy widzisz wynik, zapytaj: kto wybrał datę początkową i końcową i co się stanie, gdy je przesunę? Strategia, która „zarobiła 500% od marca 2009”, mogła po prostu kupić na dnie najgorszego krachu od dziesięcioleci. Od tamtego momentu prawie wszystko radziło sobie dobrze.
Sztuczka 2: utnij wykres
Wykres słupkowy pokazuje oceny klientów dwóch pubów: 99 i 100. Jeśli oś pionowa zaczyna się od 0, słupki wyglądają identycznie, i to jest uczciwe. Zacznij oś od 98, a drugi słupek wygląda na dwa razy wyższy od pierwszego. Dane się nie zmieniły. Zmienił się obrazek.
Zawsze patrz, od czego zaczyna się oś. Jeśli nie od zera, różnice są mniejsze, niż wyglądają.
Te same dwie oceny, 99 i 100
Sztuczka 3: powiedz „podwaja” zamiast „jeden na dziesięć tysięcy”
„Codzienne jedzenie tej przekąski podwaja ryzyko rzadkiej choroby!” Przerażające. Ale jeśli ryzyko rośnie z 1 na 10 000 do 2 na 10 000, to na każde 10 000 osób, które jedzą ją codziennie, choruje jedna dodatkowa. Ryzyko względne się podwoiło. Ryzyko bezwzględne wzrosło o jeden na dziesięć tysięcy.
Obie liczby są prawdziwe. Nagłówki i reklamy wybierają tę, która brzmi dramatyczniej. Zawsze pytaj o liczbę bezwzględną: na ile osób?
Sztuczka 4: użyj malutkiej próby
„4 na 5 osób woli nasz produkt.” Na ile? Jeśli dosłownie na pięć osób, jedna osoba zmieniająca zdanie zamienia 80% w 60% albo 100% (lekcja 6). Małe próby łatwo dają dramatyczne liczby, więc jeśli wielkość próby nie jest podana, zakładaj, że jest mała.
Sztuczka 5: pokaż tylko ocalałych
„Wielu najbardziej znanych założycieli firm rzuciło studia!” Prawda. Ale studia rzuciła też ogromna liczba ludzi, którzy nie zostali znanymi założycielami firm, i nigdy o nich nie słyszysz, bo nikt nie pisze o nich artykułów. To jest błąd przetrwania: patrzenie tylko na zwycięzców, bo przegrani zniknęli z pola widzenia. Fundusze inwestycyjne, którym szło źle, po cichu się zamykają. Te, które zostały, wyglądają średnio świetnie, po części dlatego, że złych już się nie liczy.
Sztuczka 6: sprawdź wszystko, opisz zwycięzcę
Przetestuj 20 rzeczy, które nic nie robią, a jedna z nich prawdopodobnie wyjdzie „istotna statystycznie” przez przypadek (lekcja 8). Opisz tylko tę jedną i masz nagłówek. To się nazywa p-hacking albo „łowienie danych” i jest grzeczniejszą wersją problemu szczęśliwych skarpetek z lekcji 7. Pytaj: ile innych rzeczy sprawdzili?
Sztuczka 7: wybierz wygodną przeciętną
„Przeciętny klient zaoszczędził 500 zł!” Średnia czy mediana? Jeden klient, który zaoszczędził 40 000 zł, może sprawić, że średnia wygląda wspaniale, podczas gdy większość ludzi nie zaoszczędziła prawie nic (lekcja 2).
Sztuczka 8: pomiń porównanie
„Nasza strategia zarobiła 80% w ciągu dziesięciu lat.” W porównaniu z czym? Jeśli zwykłe trzymanie funduszu indeksowego dało w tych samych dziesięciu latach więcej, strategia przegrała z nicnierobieniem. Wynik bez porównania to nie wynik. Dlatego każdy test na tej stronie porównujemy z S&P 500 i z losową spółką kupioną w te same dni.
Lista kontrolna
Osiem pytań. Razem wyłapują prawie każdą mylącą statystykę, jaką kiedykolwiek spotkasz:
- W porównaniu z czym? Z rynkiem, z grupą kontrolną, z nicnierobieniem?
- W jakim okresie i kto go wybrał? Co się stanie, gdy przesuniesz daty?
- Na ile? Wielkość próby i liczby bezwzględne zamiast „podwaja”.
- Która przeciętna? Średnia czy mediana i czy całą robotę nie robi jedna obserwacja odstająca?
- Kogo brakuje? Porażek, ludzi, którzy nie odpowiedzieli, funduszy, które się zamknęły.
- Ile rzeczy sprawdzono? Czy to jeden szczęśliwy zwycięzca z wielu?
- Czy coś innego może to wyjaśnić? Ukryta trzecia rzecz albo przyczyna i skutek na odwrót?
- Od czego zaczyna się oś wykresu?
Spróbuj sam
Wujek Janusz dostał taką reklamę newslettera inwestycyjnego i chce wiedzieć, czy się zapisać:
„Nasze 5 najlepszych typów od marca 2009 zarobiło średnio 900%! Nasi subskrybenci mają 3 razy większą szansę na wcześniejszą emeryturę. 4 na 5 ankietowanych subskrybentów poleca nas znajomym.”
Ile sztuczek potrafisz znaleźć?
Pokaż odpowiedź
„5 najlepszych typów”: wybieranie wisienek i błąd przetrwania. Ile było typów w sumie i jak poradziła sobie reszta?
„Od marca 2009”: data startu na samym dnie ogromnego krachu. Od tamtego momentu prawie wszystko mocno poszło w górę.
„Średnio 900%”: średnia czy mediana? Jeden spektakularny typ z pięciu mógł sam w sobie dać taką średnią.
Brak porównania: jak w tym samym okresie poradził sobie S&P 500?
„3 razy większą szansę na wcześniejszą emeryturę”: względnie, a nie bezwzględnie (3 razy z czego?), i prawie na pewno trzecia rzecz: ludzie, których stać na newslettery inwestycyjne, już mają więcej pieniędzy na emeryturę. Korelacja, a nie przyczyna.
„4 na 5 ankietowanych subskrybentów”: ilu ankietowano? I pytano tylko tych, którzy nadal są subskrybentami, więc niezadowoleni, którzy odeszli, nie zostali policzeni. Znowu błąd przetrwania.
To co najmniej sześć sztuczek w trzech zdaniach, a prawdopodobnie każda pojedyncza liczba jest prawdziwa. Ciocia Grażyna anulowała subskrypcję. Janusz poprosił, żeby „chociaż zostawiła darmowy kubek”.
Słowa, których używa wykładowca
| Wykładowca mówi | To znaczy |
|---|---|
| Wybieranie wisienek (cherry-picking) | Wybieranie tylko danych, przykładów albo dat, które wspierają twoją historię |
| Ucięta oś | Oś wykresu, która nie zaczyna się od zera, przez co różnice wyglądają na większe |
| Ryzyko względne | Ile razy większe jest ryzyko („podwaja”) |
| Ryzyko bezwzględne | Faktyczna szansa, na ile osób („1 na 10 000”) |
| Błąd przetrwania | Patrzenie tylko na tych, którzy przetrwali jakiś proces selekcji |
| p-hacking (łowienie danych) | Sprawdzanie wielu analiz i opisywanie tylko tej, która wyszła istotna |
| Błąd publikacyjny | Ekscytujące wyniki się publikuje, a nudne „nic nie dało” nie, więc opublikowane badania wyglądają lepiej niż rzeczywistość |
| Częstość bazowa | Jak często coś zdarza się w ogóle. Pomijanie jej sprawia, że „podwaja” brzmi strasznie |
| Punkt odniesienia (benchmark) | To, z czym wynik powinien być porównany |
Trzy rzeczy do zapamiętania
- Mylące statystyki to zwykle prawdziwe liczby, wybrane i podane tak, żeby wskazywały w złą stronę.
- Dwa najmocniejsze pytania to „w porównaniu z czym?” i „na ile?”
- Najbardziej podejrzliwy bądź wobec liczb, w które najbardziej chciałbyś uwierzyć.
Ukończyłeś część 1
To dziesięć podstawowych lekcji. Jeśli chcesz pójść dalej, część 2 zaczyna się od lekcji 11: prawdopodobieństwo warunkowe i twierdzenie Bayesa, a potem regresja, wartość oczekiwana i najczęstsze testy (test t, chi-kwadrat). Wiesz teraz więcej o tym, jak naprawdę działa statystyka, niż większość ludzi, którzy cytują ją w telewizji. Gdy wykładowca, nagłówek albo wujek Janusz rzuci w ciebie liczbą, masz pytania, które trzeba zadać. Idź i je zadaj.
A jeśli chcesz zobaczyć te pomysły zastosowane do prawdziwych pieniędzy, nasze testy popularnych pomysłów tradingowych używają każdego z nich: grup kontrolnych, wielkości próby, kosztów, korekty na wielokrotne testowanie i porównania z S&P 500.
Część kursu Statystyka od zera, darmowego kursu dla początkujących od WrongStat. Nie zastąpi wykładowcy, ale mamy nadzieję, że będzie dobrym tłumaczem.