Sciencemag.cz
Doporučujeme
Téměř všechny přední velké jazykové modely (chatboty) vykazují známky mírného zhoršení kognitivních funkcí v testech, které se běžně používají k rozpoznání časných příznaků demence, uvádí studie publikovaná v British Medical Journal. Výsledky rovněž ukazují, že „starší“ verze chatbotů, stejně jako starší pacienti, mají tendenci dosahovat v testech horších výsledků. Podle autorů tato zjištění „zpochybňují předpoklad, že umělá inteligence brzy nahradí lidské lékaře“.
Vědci hodnotili kognitivní schopnosti následujících veřejně dostupných LLM: ChatGPT verze 4 a 4o, Claude 3.5 Sonnet (vyvinutý společností Anthropic) a Gemini verze 1 a 1.5 (od Googlu/Alphabetu). Použit byl test Montreal Cognitive Assessment, jenž se široce používá k odhalení kognitivních poruch a časných příznaků demence, obvykle u starších dospělých. Prostřednictvím řady krátkých úkolů a otázek hodnotí schopnosti, včetně pozornosti, paměti, jazyka, vizuálně-prostorových dovedností a exekutivních funkcí. Maximální skóre je 30 bodů, přičemž za normální se obecně považuje skóre 26 bodů nebo vyšší.
Pokyny, které dostaly jazykové modely, byly stejné jako u lidských pacientů. Bodování se řídilo oficiálními pokyny a výsledky hodnotil neurolog.
Nejvyššího skóre v testu MoCA dosáhl ChatGPT 4o (26 bodů z 30), dále ChatGPT 4 a Claude (25 bodů z 30), nejnižšího skóre dosáhl Gemini 1.0 (16 bodů z 30).
Chatboty vykazovaly slabý výkon ve vizuálně prostorových dovednostech a exekutivních úlohách, , moc jim např. nešlo spojování zakroužkovaných čísel a písmen ve vzestupném pořadí. Měly také třeba problémy nakreslit hodiny ukazující konkrétní čas. Modely Gemini neuspěly ani v úkolu opožděného vybavování (zapamatování si sekvence pěti slov).
Tisková zpráva uzavírá: „Nejenže neurologové pravděpodobně nebudou v dohledné době nahrazeni velkými jazykovými modely, ale naše zjištění naznačují, že se /neurologové/ brzy mohou ocitnout v situaci, kdy budou léčit nové, virtuální pacienty – modely umělé inteligence s kognitivními poruchami.“
Objeví se snad tedy lidští psychiatři či jiní obdobní specialisté zaměřující se na umělé systémy? Celkem bizarní myšlenka, že?
Age against the machine—susceptibility of large language models to cognitive impairment: cross sectional analysis, BMJ (2024). DOI: 10.1136/bmj-2024-081948
Zdroj: British Medical Journal / MedicalXpress.com, přeloženo / zkráceno
Poznámky PH: A to to lze ještě domýšlet ad absurdum, psychoanalýza pro umělou inteligenci atp. V textu se také „starším“ modelem myslí dřívější verze, nikoliv třeba něco „příliš dlouho používaného“ ve smyslu přetrénovaného/přeurčeného množstvím dat.
Mj. zkouším jestli jsem ještě cenzurován. Článek má pravdu. Včera jsem se ptal ChatGPT na to, jestli funguje vysílání času z Meinflügenu. AI začala zmateně blábolit něco o povídce Stanislava Lema „Čas“. Možná to byla náhoda, ale je to zarážející.