Najniebezpieczniejsze równanie: dlaczego najlepsze i najgorsze biura są malutkie
W skrócie: gdy układasz ranking grup według odsetka albo średniej, najmniejsze grupy lądują na obu końcach, bo małe próby bardziej się wahają. Typowy błąd odsetka zmierzonego na n osobach to pierwiastek z p(1 - p)/n: około 13 punktów przy 5 osobach i 2 punkty przy 200. W naszym modelu 50 małych i 50 dużych biur o dokładnie tej samej prawdziwej stopie 10% małe biura zajęły 98% miejsc w pierwszej dziesiątce i 100% w ostatniej. Zanim nagrodzisz albo ukarzesz skrajności, sprawdź, jak są duże.
Centrala ułożyła ranking wszystkich 100 oddziałów według rotacji pracowników. Dziesięć najlepszych nie straciło w tym roku nikogo i wszystkie dziesięć jest malutkich. Powstaje projekt notatki: „Małe jest piękne. Propozycja: podzielić każde duże biuro na zespoły po osiem osób”.
Seba przewija na dół tego samego rankingu. Dziesięć najgorszych oddziałów, z których odeszła jedna trzecia albo połowa ludzi, też jest malutkich.
Prawo
Statystyk Howard Wainer nazwał je „najniebezpieczniejszym równaniem” w artykule w American Scientist z 2007 roku. Abraham de Moivre wyprowadził je w XVIII wieku: typowy błąd średniej maleje tylko z pierwiastkiem z liczby uśrednianych rzeczy. Przykłady Wainera to między innymi hrabstwa w USA z najniższą i najwyższą zachorowalnością na raka nerki, w obu przypadkach głównie małe, wiejskie, oraz kosztowna kampania na rzecz małych szkół po tym, jak okazało się, że najlepsze szkoły są małe. Wiele najgorszych też było.
Model
Zbudowaliśmy 50 małych biur (4 do 12 osób) i 50 dużych (80 do 300) i każdej osobie daliśmy tę samą szansę 10%, że odejdzie w ciągu roku. Żadne biuro nie jest lepsze ani gorsze od innych. Potem wielokrotnie układaliśmy ranking:
| Grupa w rankingu | Udział małych biur |
|---|---|
| Pierwsza dziesiątka (najniższa rotacja) | 98% |
| Ostatnia dziesiątka (najwyższa rotacja) | 100% |
W typowym przebiegu małe biura miały rotację od 0% do 50%, a duże mieściły się między 6% a 16%. Ośmioosobowe biuro o prawdziwej stopie 10% ma 43% szans, że nie straci nikogo. To cały wynik „małe jest piękne”: przypadek i nic więcej.
Ile szumu się spodziewać
Błąd standardowy odsetka zmierzonego na n osobach to pierwiastek z p × (1 - p) ÷ n. Przy prawdziwej stopie 10% to około 13 punktów procentowych przy 5 osobach, 9 przy 10, 4 przy 50 i 2 przy 200. Ranking, który miesza takie wielkości, to głównie ranking wielkości.
Typowy przypadkowy błąd zmierzonej rotacji według wielkości biura
Statystyka dla laika: małe próby bardziej się wahają
To efekt wielkości próby w najbardziej praktycznej postaci. Zanim cokolwiek wyczytasz z góry albo dołu listy, sprawdź, czy skrajności to małe grupy. Jeśli tak, porównaj każdą grupę z tym, co dałby sam przypadek przy jej wielkości, albo łącz małe grupy, aż będą na tyle duże, żeby coś powiedzieć.
Gdzie to cię kosztuje
Rankingi funduszy mają ten sam problem: małe, młode fundusze dominują i górę, i dół tabel rocznych. Znakomity pierwszy rok małego funduszu mówi dużo mniej, niż się wydaje, tak samo jak fatalny.
Morał
Seba odesłał notatkę z dołączonym dołem rankingu. Centrala wycofała propozycję dzielenia dużych biur i zastąpiła ją propozycją zamknięcia dziesięciu małych biur z dołu listy. Seba zauważył, że za rok na dole będzie inny zestaw małych biur. Centrala odpowiedziała, że w takim razie zamknie też te.
Czego ten model nie powie
- W naszym modelu prawdziwa stopa jest identyczna. W rzeczywistości niektóre biura naprawdę są lepsze; szum tylko utrudnia ustalenie, które.
- Małe może być naprawdę inne. Wielkość może zmieniać sposób pracy; chodzi o to, że sam ranking tego nie pokaże.
- Są lepsze metody. Wykresy lejkowe, dane z kilku lat albo statystyczne ściąganie wyników do średniej dają uczciwsze porównania.
Oddziały, notatka i centrala to ilustracja. „The Most Dangerous Equation” to artykuł Howarda Wainera w American Scientist (2007). Liczby pochodzą z naszej symulacji 50 małych i 50 dużych biur o prawdziwej rotacji 10%, powtórzonej 20 000 razy. Materiał edukacyjny, nie porada biznesowa ani finansowa.