Ocena okresowa pracownika: czy jest trafna? Co naprawdę mierzy ocena
W skrócie: pojedyncza ocena pracownika mówi więcej o oceniającym niż o ocenianym. W najbardziej znanym badaniu 4492 menedżerów oceniało dwóch przełożonych, dwóch kolegów i dwóch podwładnych; około 62% zróżnicowania ocen wynikało z indywidualnych przyzwyczajeń oceniającego, a około 21% z rzeczywistych wyników. W naszej symulacji zespołu dziesięciu osób najwyżej oceniony jest naprawdę najlepszy tylko w 27% przypadków, w 22% pochodzi z dolnej połowy, a dwóch niezależnych oceniających wskazuje tę samą gwiazdę mniej więcej w co szóstym zespole.
Sezon ocen. Seba dostał 3 na 5: „spełnia oczekiwania”. Darek, który siedzi obok, dostał 4. Seba dokładnie wie, co Darek robi cały dzień, i są to głównie przekazywane dalej maile Seby z dopiskiem „poniżej”.
Kierowniczka Darka jest hojna i wszystkim daje czwórki. Szef Seby uważa, że 5 jest dla Pana Boga, a 4 dla ludzi, którzy uratowali komuś życie. Oboje uważają swoje oceny za trafne.
Z czego składa się ocena
Ocena miesza kilka rzeczy: jak dobrze ktoś naprawdę pracuje, jak oceniający widzi świat (surowo czy łagodnie, co zauważa, kogo lubi), jego pozycję (szef widzi co innego niż kolega) i zwykły losowy szum. Pytanie brzmi, jak duża jest każda część.
Najbardziej znana odpowiedź pochodzi z badania z 2000 roku na 4492 menedżerach. Każdego oceniało na tych samych umiejętnościach dwóch przełożonych, dwóch kolegów i dwóch podwładnych, co pozwoliło oddzielić to, w czym wszyscy oceniający się zgadzali, od tego, co było właściwe każdemu z nich.
| Część oceny | Udział w różnicach między ocenami |
|---|---|
| Indywidualne przyzwyczajenia oceniającego | około 62% |
| Rzeczywiste wyniki ocenianego | około 21% |
| Pozycja oceniającego i losowy szum | reszta |
Mówiąc prościej: gdy dwie osoby dostają różne oceny, najbardziej prawdopodobny powód jest taki, że oceniali je różni ludzie. Ocena mierzy oceniającego mniej więcej trzy razy mocniej niż ocenianego.
Z czego składa się ocena pracownika
Co to robi z zespołem dziesięciu osób
Zasymulowaliśmy 400 000 zespołów po dziesięć osób, w których każda ocena to w 21% rzeczywiste wyniki, a reszta to szum, a osoba z najwyższą oceną dostaje „przekracza oczekiwania”.
| Wynik | Przy takich ocenach | Czysty przypadek |
|---|---|---|
| Najwyżej oceniony jest naprawdę najlepszy | 27% | 10% |
| Najwyżej oceniony pochodzi z dolnej połowy | 22% | 50% |
| Dwóch niezależnych oceniających wskazuje tę samą gwiazdę | 17% | 10% |
Oceny są wyraźnie lepsze od losowania nazwisk z kapelusza i wyraźnie gorsze, niż sugerują formularze, gdy proszą o liczbę z dokładnością do jednego miejsca po przecinku.
Statystyka dla laików: błąd pomiaru
Każdy pomiar to prawdziwa wartość plus jakiś błąd. Waga łazienkowa, która dokłada losowy kilogram, przydaje się w skali miesiąca, ale jest bezużyteczna, gdy chcesz wiedzieć, czy od wczoraj schudłeś 20 dekagramów. Błąd pomiaru to powód, dla którego jedna zaszumiona liczba nie powinna decydować o niczym ważnym.
Lekarstwa są wszędzie te same: mierzyć więcej niż raz, mieć więcej niż jednego oceniającego, uśredniać i oceniać rzeczy konkretne („zamknął 30 zgłoszeń bez ponownego otwarcia”), a nie wrażenia („świetny komunikator”).
Gdzie to kosztuje pieniądze
Ratingi funduszy, rekomendacje analityków i „gwiazdki” to pomiary z własnymi błędami i przyzwyczajeniami oceniających. „Zdecydowanie kupuj” jednego analityka mierzy po części samego analityka. Kilka niezależnych opinii, a jeszcze lepiej długa, porównywalna historia wyników, więcej mówią o tym, co oceniane.
Morał
Firma Seby postanowiła rozwiązać problem, każąc wszystkim kierownikom kalibrować oceny na długim spotkaniu. Na spotkaniu kierownik, który mówił najgłośniej, podniósł oceny swojego zespołu. Firma ma teraz drugą warstwę efektu oceniającego na pierwszej. Darek dostał 4 od obojga, co według systemu dowodzi, że ocena jest wiarygodna.
Czego to nie mówi
- Jeden rodzaj ocen. Badanie dotyczyło ocen umiejętności menedżerów z kilku źródeł, zbieranych dla rozwoju, a nie do ustalania pensji. Oceny powiązane z premiami mogą być zniekształcone jeszcze bardziej albo mniej.
- Nasza symulacja to model. Traktuje wszystko poza wynikami jako szum, który różni się między oceniającymi; w rzeczywistości część skrzywień jest wspólna, na przykład dla wszystkich z tego samego biura.
- Konkretne miary pomagają. Prace z jasnymi wynikami (sprzedaż, wyprodukowane sztuki) da się ocenić dużo trafniej niż prace oceniane na podstawie wrażeń.
Seba, Darek i ich przełożeni to ilustracja. Liczby 62% i 21% pochodzą z badania z 2000 roku w Journal of Applied Psychology, w takiej postaci, w jakiej są powszechnie cytowane, między innymi w Harvard Business Review w 2015 roku. Procenty dla zespołu dziesięciu osób pochodzą z naszej symulacji 400 000 zespołów. Treść edukacyjna, nie porada zawodowa, prawna ani finansowa.