Czy rozmowa kwalifikacyjna coś mówi o kandydacie? Co znaczy korelacja 0,19
W skrócie: rozmowy pomagają, ale dużo mniej, niż myślą rekruterzy. Ponowna analiza dziesięcioleci badań z 2022 roku wykazała, że swobodna, nieustrukturyzowana rozmowa koreluje z późniejszymi wynikami w pracy na poziomie około 0,19, a nie 0,38 jak w starszym szacunku; rozmowy ustrukturyzowane, z tymi samymi pytaniami i kluczem oceny dla każdego kandydata, wypadły najlepiej: 0,42. W naszej symulacji wyboru najlepszego z dziesięciu kandydatów rozmowa o korelacji 0,19 trafia na naprawdę najlepszego w 16% przypadków (moneta w 10%), a w 38% zatrudnia kogoś z dolnej połowy. Rozmowa ustrukturyzowana: 25% i 24%.
Seba ma siedzieć na rozmowach kwalifikacyjnych. Prowadzi je szef. Pytania brzmią: „Proszę opowiedzieć o sobie”, „Jaka jest pana największa wada?” i „Gdyby był pan sprzętem kuchennym, to jakim i dlaczego?”.
Szef mówi, że po pięciu minutach wie, czy ktoś się nadaje. Robi to od dwudziestu lat. Gdy Seba zapytał, skąd wie, że ma rację, szef odpowiedział, że ludzie, których zatrudnia, są przeważnie w porządku. Seba zapytał o tych, których nie zatrudnił. Szef zapytał Sebę, jakim byłby sprzętem kuchennym.
Jak to sprawdzić
Żeby się dowiedzieć, czy rozmowy działają, ocenia się kandydatów, zatrudnia, czeka, a potem porównuje oceny z rozmowy z tym, jak naprawdę radzili sobie w pracy. Siła tego związku to korelacja: 1 znaczyłoby, że rozmowa idealnie układa ludzi w kolejności, 0, że to rzut monetą. Psycholodzy nazywają to trafnością prognostyczną metody i mierzą ją od dziesięcioleci.
W 2022 roku zespół badaczy ponownie przeanalizował najbardziej znane podsumowanie tych badań, z 1998 roku, i uznał, że jego poprawki statystyczne były zbyt hojne. Większość liczb spadła:
| Jak wybierasz ludzi | Szacunek z 1998 | Szacunek z 2022 |
|---|---|---|
| Rozmowa ustrukturyzowana | 0,51 | 0,42 |
| Test wiedzy zawodowej | 0,48 | 0,40 |
| Próbka pracy (wykonanie kawałka zadania) | 0,54 | 0,33 |
| Test zdolności ogólnych | 0,51 | 0,31 |
| Rozmowa nieustrukturyzowana | 0,38 | 0,19 |
| Lata doświadczenia | 0,18 | 0,07 |
Poprawka ma znaczenie, bo firmy widzą tylko, jak radzą sobie zatrudnieni, nigdy odrzuceni. Dawna metoda uzupełniała tę brakującą grupę i, jak przekonuje zespół z 2022 roku, robiła to z przesadą.
Co znaczy 0,19 w praktyce
Korelację trudno poczuć, więc ją zasymulowaliśmy: dziesięciu kandydatów, pracę dostaje ten z najlepszą oceną z rozmowy, powtórzone 400 000 razy.
| Rozmowa skorelowana z wynikami w pracy na poziomie | Zatrudnia naprawdę najlepszego z dziesięciu | Zatrudnia kogoś z dolnej połowy |
|---|---|---|
| 0 (moneta) | 10% | 50% |
| 0,19 (nieustrukturyzowana) | 16% | 38% |
| 0,42 (ustrukturyzowana) | 25% | 24% |
| 1 (idealna) | 100% | 0% |
Swobodna rozmowa jest więc lepsza od monety i dużo bliższa monecie niż pewności siebie szefa. Kwadrat korelacji pokazuje to inaczej: 0,19 do kwadratu to około 0,04, więc rozmowa odpowiada za mniej więcej 4% różnic w późniejszych wynikach.
Szansa na zatrudnienie naprawdę najlepszego z dziesięciu kandydatów
Dlaczego struktura pomaga
Rozmowa ustrukturyzowana zadaje każdemu kandydatowi te same pytania związane z pracą, w tej samej kolejności, i ocenia odpowiedzi według uzgodnionego klucza, często z więcej niż jednym rekruterem. To usuwa dużo szumu: humor danego dnia, pogawędkę o piłce, kandydata, który przypomina szefowi jego samego sprzed lat. Mniej szumu w ocenie to wyższa korelacja z pracą. Z tego samego powodu linijka wygrywa z mierzeniem na oko.
Statystyka dla laików: pewność siebie to nie trafność
Rekruter nigdy się nie dowie, jak poradziliby sobie odrzuceni, a zatrudnieni są „przeważnie w porządku”, bo większość ludzi jest przeważnie w porządku. Taka informacja zwrotna nie odróżni metody o trafności 0,19 od metody o trafności 0,9. Jedyny sposób to zapisywać oceny, a potem porównać je z wynikami w pracy.
Gdzie to kosztuje pieniądze
Wybór zarządzającego funduszem albo doradcy, bo „zrobił dobre wrażenie”, to rozmowa nieustrukturyzowana o twoje oszczędności. Wyniki porównane z uczciwym punktem odniesienia przez długi czas to wersja ustrukturyzowana.
Morał
Szef zatrudnił kandydata, który odpowiedział „toster”, bo to świadczyło o zdecydowaniu. Seba zaproponował, żeby następnym razem spróbować rozmowy ustrukturyzowanej. Szef się zgodził i poprosił Sebę o przygotowanie standardowej listy pytań. Lista została zatwierdzona z jedną zmianą: pytanie 7, „Gdyby był pan sprzętem kuchennym, to jakim?”, z kluczem oceny. Toster dostaje 5 punktów.
Czego to nie mówi
- Średnie ukrywają różnorodność. Liczby uśredniają wiele zawodów i badań; w niektórych pracach rozmowa przewiduje lepiej, w innych gorzej.
- Wynik w pracy to głównie ocena przełożonego. Te oceny też mają szum, który obniża każdą korelację.
- Nasza symulacja to model. Zakłada rozkłady normalne i dziesięciu podobnych kandydatów; prawdziwe krótkie listy są już przesiane.
- Eksperci spierają się o poprawki. Szacunki z 2022 roku są niższe od dawnych, a dyskusja o właściwej poprawce trwa.
Seba, jego szef i toster to ilustracja. Liczby o trafności pochodzą z opublikowanej ponownej analizy (Journal of Applied Psychology, 2022), porównanej z podsumowaniem z 1998 roku, które poprawiła. Odsetki zatrudnień pochodzą z naszej symulacji 400 000 rund z dziesięcioma kandydatami. Treść edukacyjna, nie porada zawodowa, prawna ani finansowa.