Sciencemag.cz
Doporučujeme
Alespoň tedy při jedné jazykové úloze, odhadování dalšího slova následujícího ve větě.
Cílem systémů umělé inteligence při zpracování přirozeného jazyka je dojít k výsledku, nikoliv kopírovat postupy, které používají lidé (AI vzniklá strojovým učením pro nás může být černá skříňka, a nakonec přesný postup nemusíme znát ani u člověka, o konkrétním zadrátování v mozku ani nemluvě).
Jedním z nejpokročilejších systémů umělé inteligence pro zpracování přirozeného jazyka má dnes být předvídání dalšího slova v textu. Systém na smartphonu může uživateli nabízet jak obligátní dopisování slov, tak i následující slova zcela od nuly. Jeden z modelů (GPT-3, Generative Pre-trained Transformer 3) v tomto případě pracuje nikoliv na základě analýzy pár předchozích slov, ale klidně zahrne i celé dlouhé řetězce až o stovkách slov. Takové systémy disponují něčím na způsob skutečného porozumění textu, podobně jako některé nástroje pro sumarizaci textu, jeho dokončení nebo odpovědí na otázky.
Jak už bylo řečeno, tyto modely se ale nijak nesnaží kopírovat způsoby, jak stejnou úlohu provádí lidský mozek. Nová studie neurovědců z MIT však ukazuje, že základní funkce modelů pro hádání následujících slov se podobá funkci center pro zpracování jazyka v lidském mozku. Naopak jiné modely pro jiné jazykové funkce, byť úspěšné, žádnou podobnost s lidským mozkem údajně nevykazují. Nejspíš jde prostě o zajímavou kuriozitu / shodu okolností.
Joshua Tenenbaum, Evelina Fedorenko a Martin Schrimpf z MITu popisují svůj výzkum následujícím způsobem. Nové, vysoce výkonné modely pro předpovídání dalších slov nebo pro doplňování chybějících slov ve větě patří mezi hluboké neuronové sítě. Tyto sítě obsahují výpočetní uzly, které vytvářejí různě silná spojení, a vrstvy, které si mezi sebou předávají informace předepsaným způsobem.
Když byl každému modelu předložen řetězec slov, vědci měřili aktivitu uzlů, které tvoří síť. Poté tyto modely porovnali s aktivitou v lidském mozku – což zahrnovalo údaje z funkční magnetické rezonance (fMRI) a intrakraniální elektrokortikografická měření provedená u lidí, kteří podstoupili operaci mozku kvůli epilepsii. Přitom autoři studie zjistili, že nejlépe fungující modely pro předpovídání dalších slov měly vzorce aktivity, které se velmi podobaly těm, jež byly pozorovány v lidském mozku.
Již dříve vědci použili hluboké neuronové sítě k vytvoření modelů vidění. Starší výzkum na MIT také ukázal, že základní funkce modelů pro rozpoznávání zrakových objektů odpovídá uspořádání zrakové kůry primátů – opět přestože tyto počítačové modely nebyly speciálně navrženy tak, aby napodobovaly mozek.
The neural architecture of language: Integrative modeling converges on predictive processing, Proceedings of the National Academy of Sciences (2021). DOI: 10.1073/pnas.2105646118.
Zdroj: Massachusetts Institute of Technology / MedicalXpress.com
Poznámky PH:
Aby to do sebe tak zase hezky nezapadalo: Mozková aktivita byla sledována u lidí provádějících tři jazykové úkoly: poslech příběhů, čtení vět po jedné a čtení vět postupně po slovech. Není jasné, zda aktivita umělé neuronové sítě náhodou neodpovídala aktivitě lidského mozku i v jiných úlohách.
Z průvodní tiskové zprávy není jasné, proč se dělalo srovnání s mozky lidí po operaci epilepsie (snad jen protože příslušná data už byla k dispozici)?
