Prawo Sturgeona: 90% pomysłów jest kiepskich. Co to robi ze skrzynką pomysłów?
W skrócie: gdy większość kandydatów jest słaba, nawet przyzwoite sito przepuszcza głównie słabych. Jeśli 10% pomysłów jest dobrych, a komisja ocenia trafnie w 80% przypadków, zatwierdza 26% pomysłów, a tylko 31% z nich jest dobrych. To efekt częstości bazowej: 20% złych pomysłów, które zatwierdza przez pomyłkę, pochodzi z dużo większej kupki. Druga niezależna runda podnosi udział dobrych do 64%, trzecia do 88%, kosztem utraty coraz większej części dobrych pomysłów (36% po dwóch rundach). Udział naprawdę dobrych wśród zatwierdzonych to precyzja sita.
Program innowacji dostał w tym roku 200 pomysłów. Komisja pięciu starszych menedżerów je oceniła i 52 zatwierdziła do finansowania. Prezes ogłosił „52 przełomowe pomysły”.
Rok później około 16 wygląda obiecująco. Szef Seby obwinia komisję. Komisja obwinia pomysły. Seba obwinia pisarza science fiction z lat 50.
Prawo Sturgeona
Theodore Sturgeon, broniąc fantastyki naukowej przed krytykami, którzy mówili, że jest w większości śmieciem, odpowiedział, że 90% wszystkiego to śmieci: powieści, filmy, towary. Prawo Sturgeona stosuje się od tamtej pory do maili, spotkań i dokumentów strategicznych. Zastosujmy je do skrzynki pomysłów i przyjmijmy hojnie, że kiepskich jest tylko 90%.
Dobra komisja na słabym zbiorze
Załóżmy, że komisja jest całkiem dobra: zatwierdza 80% dobrych pomysłów i odrzuca 80% złych. Z 200 pomysłów:
| Dobre pomysły (20) | Złe pomysły (180) | |
|---|---|---|
| Zatwierdzone | 16 | 36 |
| Odrzucone | 4 | 144 |
Komisja zatwierdza 52 pomysły, a dobrych jest wśród nich tylko 16, czyli 31%. Przez pomyłkę zatwierdza tylko 20% złych pomysłów, ale 20% dużej kupki to więcej niż 80% małej. To działa częstość bazowa: gdy to, czego szukasz, jest rzadkie, większość tego, co łapie sito, to coś innego.
Udział naprawdę dobrych wśród zatwierdzonych to precyzja sita. Komisja może być „trafna w 80%” i mieć precyzję 31%.
Druga runda
Daj zatwierdzone pomysły drugiej, niezależnej komisji równie dobrej jak pierwsza, a potem trzeciej:
| Rundy oceny | Zatwierdzone pomysły | Z nich dobrych | Utracone dobre pomysły |
|---|---|---|---|
| 1 | 26% | 31% | 20% |
| 2 | 10% | 64% | 36% |
| 3 | 6% | 88% | 49% |
Każda runda czyści kupkę i każda wyrzuca przy okazji część dobrych pomysłów. Tego kompromisu nie da się uniknąć; jedyne pytanie brzmi, która pomyłka kosztuje więcej: finansowanie bubli czy utrata perełek. Tania pierwsza runda, a po niej mały prawdziwy test każdego ocalałego pomysłu, często wypada lepiej niż jedna wielka ocena.
Udział naprawdę dobrych wśród zatwierdzonych pomysłów, według liczby rund oceny
Statystyka dla laików: precyzja zależy od zbioru
„Nasza selekcja jest trafna w 80%” nic nie mówi o tym, ile z wybranych jest dobrych, dopóki nie wiesz, jak częste są dobre przypadki. Im rzadszy cel, tym niższa precyzja, choćby oceniający byli najstaranniejsi. To ta sama arytmetyka co w badaniach przesiewowych i alarmach o oszustwach.
Gdzie to kosztuje pieniądze
Jeśli tylko niewielka część spółek, funduszy czy startupów staje się wielkimi zwycięzcami, inwestor, który przeważnie ma rację, i tak skończy z portfelem pełnym niezwycięzców. Zanim zaufasz czyjejś skuteczności, zapytaj, jak rzadkie jest to, co ta osoba wybiera.
Morał
Seba zaproponował drugą rundę oceny. Prezesowi się spodobało i poprosił tych samych pięciu menedżerów, żeby jeszcze raz ocenili te same 52 pomysły, „dla porządku”. Zatwierdzili wszystkie 52, bo za pierwszym razem też je zatwierdzili. Seba zauważył, że druga runda działa tylko wtedy, gdy jest niezależna. Program ma teraz trzecią rundę, którą tych samych pięciu menedżerów też przeszło.
Czego ten model nie mówi
- Liczby to założenia. Prawdziwe zbiory mogą mieć więcej albo mniej dobrych pomysłów, a komisje mogą być lepsze albo gorsze niż 80%.
- „Dobry” nie zawsze jest jasny. Wiele pomysłów nie jest ani dobrych, ani złych, dopóki ktoś ich nie spróbuje; mały test często mówi więcej niż komisja.
- Rundy nie zawsze są niezależne. Ci sami oceniający albo oceniający, którzy ze sobą rozmawiają, dodają dużo mniej niż świeża komisja.
Program innowacji, komisja i prezes to ilustracja. Liczby to nasz rachunek przy założeniu, że 10% pomysłów jest dobrych, a każda niezależna runda oceny trafia w 80% przypadków. Treść edukacyjna, nie porada biznesowa ani finansowa.