Statystyka od zera · Lekcja 18 z 22
Paradoks Simpsona: lepszy w każdej grupie, gorszy w sumie
W jednym zdaniu: Trend widoczny w każdej grupie może się odwrócić po połączeniu grup, bo grupy są zmieszane w różnych proporcjach, więc zawsze pytaj, co siedzi w środku ogólnej liczby.
Pomysł
Oto zdanie, które brzmi jak niemożliwe: A może być lepsze od B w każdej grupie z osobna i gorsze od B w sumie. To nie sztuczka ani błąd zaokrąglenia. W prawdziwych danych zdarza się zaskakująco często i ma nazwę: paradoks Simpsona.
Przyczyna jest zawsze ta sama. Grupy są zmieszane w różnych proporcjach u A i u B, a ogólna liczba miesza je razem, nic o tym nie mówiąc.
Rodzinny quiz
Rodzina urządza wieczór z quizem. Pytania są w dwóch stosach, łatwe i trudne, i każdy sam wybiera, z którego losuje. Na koniec wujek Janusz odpowiedział dobrze na 72% swoich pytań, a ciocia Grażyna tylko na 39%. Janusz robi rundę honorową po salonie.
Grażyna prosi o rozbicie.
| Łatwe pytania | Trudne pytania | Razem | |
|---|---|---|---|
| Grażyna | 9 z 10 (90%) | 30 z 90 (33%) | 39 ze 100 (39%) |
| Janusz | 70 z 90 (78%) | 2 z 10 (20%) | 72 ze 100 (72%) |
Grażyna wypadła lepiej w łatwych pytaniach (90% wobec 78%). Grażyna wypadła lepiej w trudnych pytaniach (33% wobec 20%). Janusz „wygrał” w sumie, bo wziął 90 łatwych pytań, a Grażyna 90 trudnych. Ogólny odsetek nie mierzy umiejętności quizowych. Mierzy głównie to, z którego stosu się losowało.
Runda honorowa została odwołana.
Co się dzieje
Ogólny odsetek to średnia ważona odsetków z grup, a wagi to liczba przypadków, które każda osoba miała w każdej grupie. Ogólny wynik Janusza to głównie jego wynik z łatwych pytań (90 ze 100 jego pytań). U Grażyny głównie wynik z trudnych. Porównanie ich porównuje łatwe pytania z trudnymi, a nie Janusza z Grażyną.
Trudność pytania to zmienna zakłócająca (lekcja 7): ukryta trzecia rzecz, która wpływa i na to, kto na co odpowiadał, i na to, jak mu poszło. Gdy grupy różnią się składem, ogólne porównanie może wskazywać w złą stronę.
Gdzie to się chowa w życiu
- Rekrutacja na studia: słynne badanie jednej z uczelni z lat 70. wykazało niższy ogólny odsetek przyjętych kobiet, podczas gdy większość wydziałów przyjmowała kobiety w podobnym lub wyższym odsetku. Kobiety częściej aplikowały na wydziały, na które najtrudniej było się dostać.
- Rankingi: szkoła, oddział albo zespół z gorszym ogólnym wynikiem może po prostu zajmować się najtrudniejszymi przypadkami.
- Inwestycje: jeden fundusz może pokonać drugi w każdym sektorze, który posiada, a i tak przegrać w sumie, bo trzymał więcej sektorów, które miały zły rok. Zawsze porównuj podobne z podobnym: te same rynki, ten sam okres, to samo ryzyko.
Jak się chronić
1. Zapytaj, co jest w środku ogólnej liczby. Czy grupy są zmieszane w tych samych proporcjach po obu stronach?
2. Patrz na rozbicie, jeśli istnieje. Jeśli każda grupa wskazuje w jedną stronę, a suma w drugą, ufaj grupom, a potem zapytaj, dlaczego skład się różni.
3. Ale nie dziel w nieskończoność. Pokrój dane na dość grup, a coś się odwróci przypadkiem (wielokrotne testowanie z lekcji 8). Dziel tylko według rzeczy, które sensownie mogą mieć znaczenie, jak trudność pytań.
Spróbuj sam
Dwa oddziały pizzerii porównują, jak często dostawy się spóźniają. Oddział A: 31 spóźnionych na 200 (15,5%). Oddział B: 18 spóźnionych na 200 (9%). Centrala planuje szkolenie dla oddziału A. Wtedy ktoś rozbija dane według pory dnia:
Godziny szczytu: A 30 spóźnionych na 150, B 12 na 50. Spokojne godziny: A 1 na 50, B 6 na 150.
Który oddział naprawdę lepiej dowozi na czas?
Pokaż odpowiedź
Godziny szczytu: A spóźnia się w 20% przypadków, B w 24%. Spokojne godziny: A 2%, B 4%. Oddział A jest lepszy w obu. W sumie wygląda gorzej tylko dlatego, że trzy czwarte jego dostaw przypadało na szczyt, gdy wszyscy spóźniają się częściej, a trzy czwarte dostaw B na spokojne godziny. Centrala miała szkolić lepszy oddział. Seba, który kieruje oddziałem B, poprosił, żeby tej analizy nie rozsyłać.
Słowa, których używa wykładowca
| Wykładowca mówi | To znaczy |
|---|---|
| Paradoks Simpsona | Trend w każdej grupie, który odwraca się (albo znika) po połączeniu grup |
| Dane zagregowane | Dane połączone w jedną ogólną liczbę |
| Dane rozwarstwione | Dane podzielone na grupy (warstwy), jak łatwe i trudne pytania |
| Zmienna zakłócająca (ukryta) | Ukryty czynnik, który wpływa i na podział na grupy, i na wynik |
| Średnia ważona | Średnia, w której niektóre grupy liczą się bardziej, bo są większe |
| Stratyfikacja / kontrolowanie zmiennej | Porównywanie wewnątrz grup, żeby ukryty czynnik nie zniekształcił wyniku |
Trzy rzeczy do zapamiętania
- Lepszy w każdej grupie i gorszy w sumie to możliwe, gdy tylko grupy są zmieszane inaczej.
- Ogólny odsetek to średnia ważona: zawsze pytaj, jakie są wagi.
- Dziel według rzeczy, które sensownie mają znaczenie, a nie według wszystkiego, aż coś się odwróci.
Część kursu Statystyka od zera, darmowego kursu dla początkujących od WrongStat. Nie zastąpi wykładowcy, ale mamy nadzieję, że będzie dobrym tłumaczem.