Silna korelacja w ośmioosobowym zespole: ile jest warta
W skrócie: w małej grupie silne korelacje pojawiają się przypadkiem bez przerwy. Przy ośmiu osobach dwie zupełnie niepowiązane odpowiedzi korelują na poziomie 0,5 albo więcej (w którąkolwiek stronę) w 21% przypadków. Zadaj dziesięć pytań, a masz 45 par do porównania: w naszej symulacji co najmniej jedna para osiągała 0,7 w 92% ankiet, a najsilniejsza para miała zwykle około 0,81, choć nic prawdziwego się nie działo. Przy 50 osobach korelacja 0,5 między niepowiązanymi rzeczami prawie się nie zdarza. Wielkość korelacji niewiele znaczy bez wielkości próby.
Ośmioosobowy zespół Seby wypełnił dziesięciopytaniową ankietę zaangażowania. HR przeliczył wyniki i znalazł uderzającą zależność: ci, którzy wysoko oceniają ekspres do kawy, wysoko oceniają też kierownika. Korelacja wynosi 0,81. HR uznał, że dobra kawa buduje zaufanie do kierownictwa, i zamówił lepszy ekspres.
Darek ocenił jedno i drugie na 2 z 10, bo tego ranka miał zły humor. Seba podejrzewa, że to ma znaczenie.
Co zwykle znaczy korelacja 0,81
Korelacja mierzy, jak ściśle dwie rzeczy zmieniają się razem, od minus 1 do plus 1. Przy setkach osób 0,81 byłoby bardzo mocnym dowodem prawdziwego związku. Przy ośmiu jedna albo dwie osoby, które na wszystko odpowiedziały wysoko albo nisko, potrafią ją wytworzyć same.
Jak często robi to sam przypadek
Zasymulowaliśmy wiele razy pary zupełnie niepowiązanych odpowiedzi dla grup różnej wielkości:
| Liczba odpowiadających | Niepowiązane odpowiedzi korelują na 0,5 albo więcej (w którąkolwiek stronę) |
|---|---|
| 8 | 21% |
| 20 | 2,5% |
| 50 | poniżej 0,1% |
Przy ośmiu osobach co piąta para niepowiązanych pytań koreluje na 0,5 albo więcej. To wielkość próby mówi, czy korelacja jest zaskakująca.
Jak często dwie niepowiązane odpowiedzi korelują na 0,5 albo więcej (w którąkolwiek stronę)
Dziesięć pytań, 45 szans
Ankieta miała dziesięć pytań, co daje 45 różnych par do porównania. Zasymulowaliśmy osiem osób odpowiadających na dziesięć pytań bez żadnego związku między nimi:
- Co najmniej jedna para korelowała na 0,7 albo więcej w 92% ankiet.
- Średnio 9 z 45 par osiągało 0,5 albo więcej.
- Najsilniejsza para miała zwykle około 0,81.
Główny wynik HR to więc dokładnie to, co zwykle daje ośmioosobowa ankieta z niepowiązanymi pytaniami. Przejrzenie 45 par i pokazanie najsilniejszej to wielokrotne testowanie, a w małej próbie zawsze coś znajduje.
Statystyka dla laików: najpierw wielkość, potem siła
Zanim ucieszysz się korelacją, zapytaj o dwie rzeczy: na ilu osobach albo punktach danych się opiera i ile korelacji przejrzano, żeby ją znaleźć? Zgrubna reguła: przy mniej niż około 30 przypadkach od przypadku odróżniają się tylko bardzo silne korelacje, a gdy sprawdzono wiele par, nawet te mogą być szczęściem. Jeszcze lepiej sprawdzić wzór ponownie na nowej grupie.
Gdzie to kosztuje pieniądze
„Ten wskaźnik korelował na 0,8 z rynkiem przez ostatnie osiem kwartałów” to korelacja z ośmiu punktów, pewnie jednego z wielu sprawdzonych wskaźników. Ta sama pułapka. Poproś o dużo więcej danych i o wynik w okresie, którego nie użyto do znalezienia wzoru.
Morał
Przyjechał nowy ekspres. W następnej ankiecie oceny kawy wzrosły, a oceny kierownika spadły, i korelacja wyniosła minus 0,6. HR uznał, że nowa kawa podkopuje autorytet kierownictwa, i analizuje umowę. Seba zwrócił uwagę, że najsilniejsza korelacja w nowej ankiecie łączyła „rozumiem naszą strategię” z liczbą liter w nazwisku. HR analizuje i to.
Czego ten model nie mówi
- Prawdziwe odpowiedzi nie są niezależne. W prawdziwych ankietach nastrój barwi wszystkie odpowiedzi, co dokłada prawdziwe, ale nieciekawe korelacje do przypadkowych.
- Nasz model używa płynnych wyników. Prawdziwe ankiety mają skale 1-5 albo 1-10, przez co korelacje w małych próbach skaczą jeszcze bardziej.
- Małe zespoły i tak mogą się czegoś dowiedzieć. Rozmowa z ośmioma osobami jest przydatna; liczenie korelacji między ich odpowiedziami przeważnie nie.
HR, ekspres do kawy i humor Darka to ilustracja. Liczby pochodzą z naszych symulacji niepowiązanych odpowiedzi o rozkładzie normalnym: 400 000 par na każdą wielkość grupy i 100 000 ankiet z dziesięcioma pytaniami dla ośmiu osób. Treść edukacyjna, nie porada kadrowa ani finansowa.