Czy ranking wymuszony działa? Krzywa dzwonowa w zespole dziesięciu osób
W skrócie: krzywa dzwonowa opisuje dużą grupę, a nie każdy jej mały kawałek. Jeśli w firmie naprawdę jest 20% najlepszych, 70% środka i 10% najsłabszych, losowo złożony zespół dziesięciu osób ma dokładnie taki skład tylko w około 12% przypadków. Wciskanie każdego zespołu w kwotę daje średnio 1,7 źle oznaczonej osoby na zespół, nawet gdy kierownik zna prawdziwe wyniki wszystkich. W 35% zespołów nikt nie należy do najsłabszych 10% firmy, a ktoś i tak zostaje tak oceniony.
Trwa sezon ocen. Firma kuzyna Seby stosuje skalibrowany rozkład wyników. Zasady są w intranecie, za loginem, który wygasa co 30 dni. Mówią, że każdy dziesięcioosobowy zespół musi mieć dokładnie dwie osoby z oceną „Powyżej oczekiwań”, siedem z „Zgodnie z oczekiwaniami” i jedną „Poniżej oczekiwań”.
Zespół Seby miał dobry rok. Każdy zrealizował cele. Ta informacja została odnotowana i nie ma wpływu na proces. Jedna osoba będzie „Poniżej”. Zasady nie mówią która, tylko że musi być jedna, a decyzja kierownika jest ostateczna i podlega weryfikacji.
Krzywa dotyczy tłumu
Ranking wymuszony bierze się z rozkładu normalnego: w odpowiednio dużej grupie większość ludzi jest blisko środka, a nieliczni na obu końcach. Dla firmy liczącej 10 000 osób stwierdzenie „około 10% to nasi najsłabsi” może być z grubsza prawdziwe.
Błąd polega na założeniu, że każdy zespół dziesięciu osób jest miniaturką całej firmy. Nie jest. Mała próba skacze. Jeden zespół przypadkiem ma trzech najlepszych ludzi w firmie, inny żadnego, jeszcze inny dwóch najsłabszych. Kwota udaje, że tak się nie dzieje.
Jak często zespół dziesięciu osób pasuje do kwoty?
Zróbmy to tak sprawiedliwie, jak się da. Załóżmy, że w firmie naprawdę jest 20% najlepszych, 70% środka i 10% najsłabszych, zespoły składa się losowo, a każdy kierownik dokładnie wie, jak dobry jest każdy pracownik, i po prostu ich sortuje. Bez uprzedzeń, bez ulubieńców, bez polityki. Wtedy:
| Losowy zespół dziesięciu osób, idealny kierownik | Wynik |
|---|---|
| Prawdziwy skład zespołu zgadza się z kwotą 2 / 7 / 1 | 11,9% zespołów |
| Co najmniej jedna osoba dostaje złą etykietę | 88,2% zespołów |
| Średnia liczba źle oznaczonych osób w zespole | 1,7 |
| Nikt w zespole nie należy do najsłabszych 10% firmy, ale ktoś dostaje „Poniżej” | 34,9% zespołów |
34,9% łatwo sprawdzić: każda osoba ma 90% szans, że nie należy do najsłabszych 10%, więc wszystkie dziesięć unika tego z prawdopodobieństwem 0,9 do potęgi 10, czyli około 0,35. W zespole pięcioosobowym jest gorzej: 59% zespołów nie ma nikogo z najsłabszych 10% firmy, a jedna osoba i tak dostaje „Poniżej”.
I to przy idealnym kierowniku. Prawdziwe oceny zawierają jeszcze szum, humory i pamięć, które dokładają błędy do tych, które kwota tworzy sama.
Losowe zespoły dziesięciu osób wciśnięte w kwotę 20 / 70 / 10, idealny kierownik
Reguła, której nie da się spełnić
Co roku więc w mniej więcej co trzecim zespole kierownik musi znaleźć najsłabszego pracownika, którego nie ma. I znajduje, bo formularz nie przyjmuje odpowiedzi „nikt”. Ta osoba mogła być w środku firmy albo blisko szczytu. Etykieta trafia do jej teczki. Wygląda dokładnie tak samo jak etykieta zasłużona.
Ranking wymuszony nie mierzy rozkładu. Narzuca go. A w następnym roku firma patrzy na swoje oceny, widzi idealną krzywą dzwonową i dochodzi do wniosku, że krzywa od początku miała rację.
Statystyka dla noobów: fakty o dużych grupach, życie w małych
Odsetek prawdziwy dla dużej populacji to stwierdzenie o średniej z wielu małych grup, a nie o każdej z nich. „10% ludzi to leworęczni” nie znaczy, że w każdej grupie dziesięciu osób jest dokładnie jeden leworęczny; w około jednej trzeciej nie ma żadnego. Im mniejsza grupa, tym bardziej odbiega od liczby dla populacji.
Jeśli już trzeba rankingować, rób to w grupie na tyle dużej, żeby odsetki coś znaczyły, albo oceniaj ludzi względem standardu, a nie względem siebie nawzajem.
Gdzie to kosztuje pieniądze
Rankingi funduszy działają tak samo. „Najsłabsze 10% funduszy w tym roku” brzmi jak wyrok, ale w małej kategorii podobnych funduszy ktoś musi być ostatni, nawet jeśli różnica to przypadek. Patrz, o ile jest w tyle i od jak dawna, a nie tylko na miejsce w tabeli.
Morał
Kierownik Seby wybrał osobę „Poniżej” w procesie, który zasady nazywają holistycznym. Padło na Darka, który był na urlopie podczas spotkania kalibracyjnego. Darek się odwołał. Odwołanie zostanie skalibrowane względem innych odwołań, z których 10% musi zostać odrzuconych. Było tylko jedno odwołanie.
Czego ten model nie mówi
- To model. Prawdziwe zespoły nie są losowe: rekrutacja i przeniesienia mogą skupiać mocnych albo słabych ludzi, co powiększa albo zmniejsza niedopasowanie.
- Wyniki to nie jedna liczba. Założyliśmy jeden prawdziwy wynik na osobę; prawdziwa praca jest bardziej złożona.
- Duże grupy są inne. W grupie kilkuset osób kwota pasuje do prawdziwego składu dużo lepiej; problemem jest stosowanie jej do każdego małego zespołu.
Firma Seby, Darek i kwota to ilustracja. Liczby pochodzą z naszego modelu: wyniki w firmie mają rozkład normalny, kwota 20% / 70% / 10%, zespoły dziesięciu osób składane losowo, kierownik sortuje bezbłędnie. Dokładne dopasowanie to prawdopodobieństwo z rozkładu wielomianowego (11,9%), reszta to symulacja 400 000 zespołów. Treść edukacyjna, nie porada prawna, zawodowa ani finansowa.