Sciencemag.cz
Doporučujeme
Jinak řečeno – prokazují se zde závislosti, které se při dalším zkoumání nepotvrdí.
Nejčastěji jsou dnes v recenzovaných časopisech publikovány výsledky, které mají na hladině pravděpodobnosti 95 % vyloučit, že vazba mezi dvěma sledovanými veličinami je dílem náhody (hladina významnosti „p value“ menší než 0,05). Co když se ale autorovi výzkumu nedaří dosáhnout potřebné hladiny? Potřebuje publikovat a navíc bývá o správnosti své teorie sám přesvědčen, jen ta data to nějak kazí, je v nich např. dost šumu. Nakonec závislost tam „určitě je“, vždyť „vychází s pravděpodobností 0,93“, je třeba to jen ještě trochu posunout na 0,95, aby to časopis přijal k publikaci.
Začne se tedy s daty různě kouzlit; nejprve se vyloučí třeba výsledky příliš se lišící od zbytku, ty jsou prohlášeny za hrubé chyby. Epidemiolog John Ioannidis toto a podobné triky ve svém provokativním článku z roku 2005 „Why most published research results are false“ označil jako „p hacking“.
Nakonec je možné i naměřená data zahodit a celé testování provést úplně znova, třeba to tentokrát vyjde. Nebo alespoň přidávat další měřená data a měření ukončit ve vhodný moment, kdy se dosáhne potřebné hladiny významnosti.
Ať už jde o vědomý podvod nebo ne, každopádně dochází k zásadnímu prohřešku, metodika se upravuje až poté, co bylo provedeno měření. Výsledkem jsou pak falešně pozitivní závislosti mezi řadou jevů.
Brian Nosek a jeho kolegové z Center for Open Science se v roce 2015 pokusili reprodukovat 100 publikovaných studií a oblasti kognitivní a sociální psychologie. Ve 40 případech jim výsledky seděly, jindy byla závislost slabší než deklarovaná nebo se vůbec nepodařilo ji prokázat. Vazba mezi příslušnými veličinami byla v průměru ve všech 100 testovaných pracích přeceněna až dvojnásobně!
A jedno z možných řešení? Geoff Cumming na The Conversation/Phys.org navrhuje on-line systémy, kde by se musely dělat veškeré záznamy o probíhajícím pokusu, dopředu navrhnout jeho rozsah, časový harmonogram i způsoby zpracování dat. Pak už by data nešlo data nějak selektivně upravovat – nebo by to alespoň bylo vidět. Samozřejmě i v tomto případě by si výzkumník mohl data zaznamenávat pro sebe, pak z nich vyloučit ty nehodící se a nahrát až ty, které dokládají příslušnou závislost; to už by se však jednalo o zjevný podvod.
„Předregistrace“ studie může být pro vědce spojena s řadou komplikací, vyloučí ale „p hacking“, a tento přístup představuje jednu z možných budoucností vědeckého publikování.
Zdroj: Phys.org
