Sciencemag.cz
Doporučujeme
Kdy jsou předpovědi expertů přesnější než jednoduché algoritmy? Skoro nikdy.
Paul Meehl z Minnesotské univerzity otestoval úspěšnost expertů v celé řadě oborů z hlediska jejich schopnosti předvídat na základě svých odborných znalostí, „intuice“ / „zkušenosti“. Ukázalo se, že většinu expertů dokázaly překonat jednoduché algoritmy. Na základě průměrných známek na nižším stupni školy a výsledků testů (nemusí se ani použít všechny dostupné) lze úspěšnost budoucího studenta předpovědět lépe, než dokážou profesionální poradci. Takže lze dokonce přímo říci, že provedení speciálního pohovoru přesnost výběrového procesu snižuje. Lékaři dokázali hůře odhadnout očekávanou dobu dožití pacientů s rakovinou. Totéž platilo pro výsledky fotbalových zápasů nebo předpovědi ceny vína.
Speciálně poslední otázkou se pak zabýval Osley Ashefelter z Princetonu. U některých bordeauxských vín trvá roky, než dosáhnou své špičkové kvality. Investoři je proto kupují dopředu a na základě dostupných informací se budoucí cenu pokoušejí nějak odhadnout. Cely vín z různých ročníků se liší až řádově. Ashefelter do svého vzorečku zařadil pouze tři parametry: teplotu v létě (obecně teplá a suchá léta kvalitu tohoto vína zlepšují) a množství srážek v době sklizně. Více srážek na jaře zvýší množství vína, aniž by v průměru snížilo jeho kvalitu, pro vinaře je to tedy informace důležitá, ale pro investora už prakticky zanedbatelná (alespoň v příslušném modelu). Jednoduchý vzorec dokázal budoucí cenu vína odhadnout s nebývalou přesností, mnohem úspěšnější než znalci, kteří víno v určité fázi navíc měli možnost ochutnat (což asi pro jejich odhad byl nejdůležitější faktor a zde si věřili).
Proč experti dosahují tak neslavných výsledků? Často je to kvůli tomu, že se snaží zahrnout až příliš mnoho faktorů, „myslet jinak“, přece věci hrozně rozumí, a proto nemohou skončit u selského rozumu (což je do určité míry v pořádku, selský rozum také nemá vždy pravdu). Lidé mívají pocit, že jsou přece chytřejší než jednoduchý vzoreček, pro experty to platí dvojnásob. V řadě případů ale komplexní přístup validitu předpovědi snižuje. Experti nebývají mimochodem ani sami se sebou konzistentní, když po nějaké době dostanou k vyhodnocení stejnou sadu dat, podávají odlišné prognózy. Přitom to vždy samozřejmě dělají s odpovídající sebedůvěrou.
Některá prostředí mají tak vysokou míru nahodilosti, že příliš úspěšné nejsou ani předpovědi založené na jednoduchých vzorcích. V takovým případech na tom ale ani experti nebývají o mnoho lépe. V řadě případů se ukazuje, že snaha původní jednoduchý vzoreček zesložiťovat (třeba už jen tím, že ladíme relativní váhy, které přikládáme jednotlivým faktorům) kvalitu předpovědi již prakticky nezlepšuje nebo dokonce naopak.
Samozřejmě různí experti dávají různě validní předpovědi. Z dalších výzkumů nevyšli dobře kliničtí psychologové (předpověď stavu pacienta za delší dobu), politologové (předpověď výsledků voleb apod.) ani obchodníci na burze.
Samozřejmě experti obvykle algoritmy kritizovali, tyto postupy měly být „mechanistické“, povrchní, příliš zjednodušující nebo dokonce nelidské (rozhodování o léčbě apod.), zatímco experti měli postupovat globálně, holisticky, přirozeně či realisticky (blabla…).
Nicméně nositel Nobelovy ceny za ekonomii Daniel Kahneman dále upozorňuje, že jiní experti bývají mnohem důvěryhodnější. Hasiči dokážou dobře říct, jak se bude oheň dále vyvíjet. Také třeba zdravotní sestry bývají schopné dobrých odhadů.
Předvídat lze obecně v prostředí, které je nějak pravidelné a z minulosti vyplývá budoucnost, schémata se opakují. To platí pro experty i pro algoritmy. Experti získávají dovednosti ale pouze tam, kde mají ze své práce přímou odezvu. Klinický psycholog bude třeba úspěšný v odhadu, co mu pacient vzápětí řekne (dokáže tedy s těmito okamžitými reakcemi pracovat, pacienta uklidnit apod.), ale už neumí odhadnout jeho stav za x let ani efektivně navrhnout nějakou dlouhodobější léčbu. Takový anesteziolog získává během práce bezprostřední zpětnou vazbu, takže když získá pocit, že něco není v pořádku, ostatní by ho měli brát vážně.
Takže další z možných závěrů z toho všeho: experti selhávají především v dlouhodobých předpovědích.
Zdroj: Daniel Kahneman: Myšlení rychlé a pomalé, Jan Melvil publishing 2012
