Sciencemag.cz
Doporučujeme
Výsledky, které se nepodaří zopakovat, jsou citovány častěji. Platí to pro články v předních psychologických, ekonomických, ale i vědeckých (přírodovědeckých) časopisech. K tomuto závěru vede statistika provedená na University of California v San Diegu.
Již dříve byla publikována podobná zjištění pro oblast sociálních věd a medicíny, kdy se ukazuje, že velký podíl studií publikovaných v odborných časopisech se vůbec nikdy nepodaří reprodukovat.
Nyní se výzkumníci podívali na přední vědecké časopisy z oblasti psychologie, ekonomie a „obecné“ vědy (Nature/Science). Co se týče psychologie, úspěšně se podařilo replikovat pouze 39 % ze 100 experimentů. V ekonomii to bylo 61 % z 18 studií, z 21 studií publikovaných v Nature / Science pak 62 %.
Co je ještě horší, není ani tak samotný podíl nevěrohodných studií, ale především jejich další dopad. Články, jejichž výsledky se podařilo reprodukovat, byly v průměru citovány 153krát méně. V Nature/Science byl přitom vztah až takový, že nereprodukované výsledky byly citovány až 300krát častěji. (Množství citací bylo sledováno pomocí Google Scholar.)
Marta Serra-Garcia a Uri Gneezy uvádějí jako další paradox, že reprodukovatelnost výsledků lze přitom celkem spolehlivě odhadnout už při posuzování práce. Jinak řečeno, recenzenti a další lidé, kteří o tom ve vědeckých časopisech rozhodují, vlastně záměrně doporučují „publikovat pravděpodobné blbosti“ ve srovnání s pracemi, jejichž výsledky budou spolehlivější. Proč to dělají? Je to nejspíš z toho důvodu, že když výsledky vypadají zajímavěji, uplatňují pro tyto práce nižší standardy. (Snad lze i říct, že namísto toho, aby silnější tvrzení vyžadovala silnější oporu, je tomu právě naopak.) A to ne v bulváru, ne ve všeobecném zpravodajství, ne v populárně-vědeckých médiích, ale i v těch skutečně odborných.
Z toho pak lze dále odvodit, proč jsou nereprodukovatelné, řekněme i přímo chybné výsledky, také citovány častěji a mnohem rychleji: je to zřejmě právě pro tu jejich zajímavost. Ani když se práci podaří reprodukovat, moc se tím už nezmění a více citována kvůli tomu být nezačne. Naopak pokud se reprodukce výsledků nepodaří, další vědci původní práci často citují dál, jako by k příslušnému problému vůbec nedošlo a vše bezproblémově platilo. Pouze 12 % citací článků, jejichž výsledky se nepodařilo potvrdit (a bylo to publikováno), tu skutečnosti zmiňuje. Autoři výzkumu jsou motivováni publikovat především práce dále citované, nikoliv „pravdivé“, čili už ve fázi vzniku článku existuje vlastně tlak na nižší standard.
Zkoumaly se i další možnosti, proč by některé studie měly být častěji citovány (počet autorů, počet mužů mezi autory, to, jak/zda je článek přístupný on-line), ale ani s jejich zahrnutím se vztah mezi reprodukcí a citovaností nezměnil.
K tomu se přidává, že články svým nemají dopad pouze v odborných časopisech, ale i mimo ně. Co se nepodaří reprodukovat, je mnohem častěji sdíleno na Twitteru a přebíráno v dalších médiích. A to dokonce i tehdy, když je původní práce přímo „zavržena“. Tak např. známý článek o tom, že vakcíny proti spalničkám, příušnicím a zarděnkám mohou způsobovat autismus, byl publikován v roce 1998 (autor Andrew Wakefield, vyšlo v The Lancet), 12 let poté oficiálně stažen, ale to samozřejmě nebrání tomu, aby se na tomto zjištění dál stavělo…
M. Serra-Garcia el al., „Nonreplicable publications are cited more than replicable ones,“ Science Advances (2021). DOI: 10.1126/sciadv.abd1705 https://advances.sciencemag.org/content/7/21/eabd1705
Zdroj: University of California – San Diego / Phys.org
