Czy menedżerowie są zbyt pewni siebie? Przedziały 80%, które trafiały w 36%
W skrócie: tak, przynajmniej co do giełdy. W ankiecie dyrektorów finansowych (CFO) amerykańskich firm z lat 2001-2011, z ponad 13 300 prognozami, menedżerowie podawali przedział rocznej stopy zwrotu S&P 500, co do którego byli w 80% pewni, że ją obejmie. Prawdziwy wynik wpadał do niego tylko w 36% przypadków. Przedziały były zdecydowanie za wąskie: przy typowej zmienności rynku uczciwy przedział 80% na rok ma około 40 punktów procentowych szerokości. Ta sama pewność siebie pojawiała się w planach ich firm.
Spotkanie budżetowe. Dyrektorka finansowa przedstawia przyszły rok: wzrost przychodów o 8%, „w przedziale od 6 do 10%”. Szef Seby zapisuje. Przedział wygląda starannie i profesjonalnie.
Seba pyta, jak często w poprzednich latach prawdziwy wynik mieścił się w przedziale. Dyrektorka mówi, że przedziały tak nie działają. Okazuje się, że działają dokładnie tak.
Co obiecuje przedział
Jeśli mówisz, że na 80% wynik będzie między 6 a 10, składasz obietnicę, którą da się sprawdzić: z wielu takich przedziałów około 8 na 10 powinno zawierać prawdziwy wynik. Jeśli trafia 9 na 10, przedziały są za szerokie. Jeśli 4 na 10, za wąskie. Prognosta, którego przedziały trafiają tak często, jak obiecał, ma dobrą kalibrację.
Ankieta dyrektorów finansowych
Przez mniej więcej dziesięć lat, od 2001 do 2011 roku, uniwersytecka ankieta co kwartał prosiła dyrektorów finansowych amerykańskich firm o prognozę stopy zwrotu S&P 500 na kolejny rok. Podawali najlepszy typ i dwie liczby: poziom, poniżej którego jest tylko 10% szans, i poziom, który z 10% szans zostanie przekroczony. Między nimi: przedział 80%.
Badacze zebrali ponad 13 300 takich prognoz i porównali je z tym, co rynek naprawdę zrobił.
| Udział lat w przedziale | |
|---|---|
| Co obiecuje przedział 80% | 80% |
| Co dały przedziały dyrektorów finansowych | 36% |
Jak szeroki powinien być przedział? Roczna stopa zwrotu giełdy zwykle waha się o około 16 punktów procentowych w każdą stronę (to jej odchylenie standardowe). Uczciwy przedział 80% to około 1,28 odchylenia standardowego w każdą stronę od typu: razem mniej więcej 40 punktów procentowych. Przedziały menedżerów były ułamkiem tego.
Jak często giełda trafiała w przedział prognozy 80%
Dlaczego wąski wydaje się właściwy
Szeroki przedział brzmi jak niewiedza. „Gdzieś między minus 10% a plus 30%” nie brzmi jak coś, co dyrektorka finansowa powinna powiedzieć na posiedzeniu zarządu. Wąski przedział brzmi jak fachowość. Efekt to nadmierna pewność siebie: przedziały dobrane tak, żeby brzmiały kompetentnie, a nie żeby trafiały w 80%. Badacze ustalili też, że firmy prowadzone przez gorzej skalibrowanych dyrektorów finansowych więcej inwestowały i więcej pożyczały.
Statystyka dla laików: oceń własne przedziały
Zapisz dziesięć prognoz z przedziałami 80%: terminy dostaw, koszty projektu, sprzedaż w przyszłym miesiącu. Potem policz, ile trafiło. Jeśli dużo mniej niż 8, poszerzaj przedziały, aż przestanie tak być. Większość ludzi musi je poszerzyć dużo bardziej, niż wydaje się wygodne.
Przedział ufności w statystyce działa tak samo: jego szerokość wynika z tego, jak niepewne są dane, a nie z tego, jak pewnie ktoś się czuje.
Gdzie to kosztuje pieniądze
Strategia, która ma dawać „od 8 do 12% rocznie”, składa obietnicę dotyczącą rynku, który w typowym roku rusza się o 16 punktów. Zanim zaufasz nowemu przedziałowi, poproś o historię dawnych przedziałów prognosty i planuj na wyniki poza nim.
Morał
Seba wyciągnął pięć ostatnich budżetów. Prawdziwy wzrost był w „przedziale” raz. Dyrektorka finansowa zgodziła się poszerzyć przedział na przyszły rok do 2-14%. Zarząd odrzucił go jako „zbyt niepewny, żeby planować” i zatwierdził 6-10%, który uznał za bardziej uspokajający. Wzrost wyniósł 1%.
Czego to badanie nie mówi
- Prognozy giełdy. Menedżerowie prognozowali rynek, nie własne firmy; swój biznes mogą znać lepiej.
- Burzliwa dekada. Lata 2001-2011 to dwa wielkie krachy, przy których wąskie przedziały wypadały szczególnie źle. Ale w zwykłych latach też mocno chybiały.
- Nasz szacunek szerokości jest przybliżony. 40 punktów zakłada typową roczną zmienność około 16%; w spokojniejszych albo dzikszych latach to się zmienia.
Spotkanie budżetowe i dyrektorka finansowa to ilustracja. 36% i liczba prognoz pochodzą z badania ankiety Duke CFO (Quarterly Journal of Economics, 2013). Szerokość uczciwego przedziału to nasz własny szacunek. Treść edukacyjna, nie porada finansowa.