Paradoks Simpsona w pracy: gdy każdy dział mówi coś odwrotnego niż suma
W skrócie: łączny odsetek może wskazywać w stronę przeciwną niż każda grupa w środku, gdy grupy mocno się różnią, a ludzie rozkładają się między nie nierówno. W naszym przykładzie kobiety awansują częściej niż mężczyźni w obu działach, ale łącznie awansuje 43% mężczyzn i 22,5% kobiet, bo większość kobiet pracuje w dziale, w którym awanse są rzadkie. Najsłynniejszy prawdziwy przypadek: w 1973 roku Uniwersytet Kalifornijski w Berkeley przyjął na studia magisterskie i doktoranckie około 44% kandydatów i 35% kandydatek, choć większość wydziałów przyjmowała kobiety równie często albo częściej. Suma i grupy odpowiadają na różne pytania.
HR opublikował dane o awansach. W całej firmie awans dostało 43% mężczyzn, którzy o niego wnioskowali, i 22,5% kobiet. Dyrektor nazwał to skandalem i poprosił szefów działów o wyjaśnienia.
Obaj szefowie działów wrócili z tą samą odpowiedzią: w ich dziale kobiety awansowały częściej niż mężczyźni. Dyrektor kazał sprawdzić liczby. Sprawdzono. Wszystkie są poprawne.
Liczby
| Mężczyźni | Kobiety | |
|---|---|---|
| Dział A (sprzedaż): awansowali | 50 ze 100 (50%) | 12 z 20 (60%) |
| Dział B (inżynieria): awansowali | 2 z 20 (10%) | 15 ze 100 (15%) |
| Cała firma: awansowali | 52 ze 120 (43%) | 27 ze 120 (22,5%) |
W każdym dziale kobietom idzie lepiej. Łącznie mężczyznom idzie dużo lepiej. Nic nie jest źle policzone. Różnica bierze się z tego, gdzie kto jest: większość mężczyzn wnioskowała w dziale A, gdzie awansuje połowa, większość kobiet w dziale B, gdzie awansuje bardzo mało osób. Suma miesza oba działy w innych proporcjach dla każdej grupy.
To paradoks Simpsona: wzór obecny w każdej grupie odwraca się po połączeniu grup, bo grupy różnią się wielkością i bazowym odsetkiem.
Słynny przypadek
Jesienią 1973 roku na studia magisterskie i doktoranckie na Uniwersytecie Kalifornijskim w Berkeley zgłosiło się 8442 mężczyzn i 4321 kobiet. Przyjęto około 44% mężczyzn i 35% kobiet. Wyglądało to na wyraźną dyskryminację, więc statystyków poproszono, żeby przyjrzeli się bliżej.
Wydział po wydziale różnica w większości znikała: w większości wydziałów kobiety przyjmowano równie często jak mężczyzn albo częściej. Kobiety częściej zgłaszały się na wydziały, które przyjmowały niewielu kandydatów obu płci, a mężczyźni na takie, które przyjmowały wielu. Łączna różnica była prawdziwa, ale wynikała z tego, gdzie kto się zgłaszał, a nie z tego, jak wydziały traktowały kandydatów.
Która liczba jest prawdziwa?
Obie, dla różnych pytań. Na pytanie „czy działy traktują nierówno równych kandydatów?” odpowiadają liczby działów. Na pytanie „dlaczego kobiety w tej firmie rzadziej awansują?” odpowiada suma, a odpowiedź wskazuje gdzie indziej: dlaczego w dziale B awanse są tak rzadkie i dlaczego pracują tam głównie kobiety? To może być prawdziwy problem wart naprawienia; tylko nie ten, którego szukał dyrektor.
Statystyka dla laików: zawsze rozbij, potem pytaj dlaczego
Gdy porównujesz odsetki dwóch grup, zapytaj, czy rozkładają się różnie względem jakiejś trzeciej rzeczy: działu, regionu, wieku, produktu, trudności. Jeśli tak, patrz na porównanie w każdym kawałku i łącznie. Jeśli odpowiedzi się różnią, ta trzecia rzecz to zmienna zakłócająca i historia dotyczy właśnie jej.
Gdzie to kosztuje pieniądze
Fundusz może pokonywać rywala w każdym roku i mieć niższy łączny wynik, jeśli miał więcej pieniędzy w złych latach. Strategia może wygrywać w każdym typie rynku i przegrywać łącznie. Zanim wybierzesz według sumy, sprawdź porównanie w każdym okresie.
Morał
Dyrektor przyjął liczby działów i uznał sprawę za zamkniętą. Seba zapytał, dlaczego dział B awansuje tylko 15% wnioskujących i dlaczego zgłaszają się tam głównie kobiety. Dyrektor odpowiedział, że to inne pytanie. Seba się zgodził i zauważył, że to właśnie pytanie zadawała suma.
Czego ten przykład nie mówi
- Firma to model. Liczby dobrano tak, żeby wyraźnie pokazać efekt; prawdziwe dane rzadko są tak schludne.
- Rozbicie też może zmylić. Jeśli same kawałki są efektem niesprawiedliwości, na przykład kierowania ludzi do określonych działów, liczby w działach to ukrywają.
- Berkeley to jedno badanie. Pokazuje, jak paradoks działa w danych o przyjęciach, a nie co dzieje się w konkretnej firmie.
Dyrektor, szefowie działów i dane o awansach to ilustracja. Liczby z Berkeley pochodzą z badania opublikowanego w Science w 1975 roku. Treść edukacyjna, nie porada kadrowa, prawna ani finansowa.