Sciencemag.cz
Doporučujeme
Poukázat na systémovou chybu ve vlastním oboru se rozhodl Jakub Kůdela z Fakulty strojního inženýrství VUT v Brně. Odborník na optimalizační modely a algoritmy si před rokem všiml zásadního problému při srovnávání a analýze takzvaných evolučních algoritmů. A zjistil, proč i zdánlivě správné algoritmy ve skutečnosti nefungují, jak mají. Odborný článek na toto téma mu nyní otiskl prestižní časopis z „rodiny“ Nature, konkrétně Nature Machine Intelligence.
Evoluční algoritmy jsou jednou z metod umělé inteligence. Vycházejí z biologických principů, inspirací je jim mechanismus evoluce a přirozeného výběru. „Používají se pro úlohy, kdy potřebujete vhodně nastavit parametry, zároveň ale úloha nemá jasnou strukturu, je to spíš takový blackbox. V posledních letech jsou pro řešení těchto úloh populární právě evoluční algoritmy. Některé fungují skvěle, ale jiné ne. Všechny tyto metody se testují a porovnávají na předem dané sadě problémů, odborně tomu říkáme benchmarking,“ popisuje Kůdela, který na fakultě pracuje na Odboru aplikované informatiky.
V případě starší, ale stále hojně využívané sady pro zmíněný benchmarking, zůstala historicky skupina úloh, pro které je optimální nastavit hledané parametry na nulu. „Což dobře fungujícím algoritmům nevadí, pracují stejně, i když úlohu z nuly posunete jinam. Ale jiné mají tendenci hledat optimum právě v nule. Nazývám to „zero-bias“: na prostoru, který v rámci řešení prohledávají, jsou vedené k nule. A takovéto algoritmy pak v praxi nefungují, jak mají. Problém je, že když používáte starší sadu pro benchmarking, ty dobré a špatné od sebe těžko rozeznáte, protože na první pohled nevidíte, jakou cestou algoritmus dospěl k výsledku,“ vysvětluje Kůdela.
V důsledku pak zjistil, že řada nových metod a na nich stojících výzkumů publikovaných v respektovaných časopisech, obsahuje zásadní chybu. „Za poslední tři roky popisuji hned sedm metod, které tuto chybu obsahují,“ upřesňuje Kůdela a je si vědom, že tím řadě kolegů z oboru boří pomyslný domeček z karet. „Nicméně právě proto svůj jsem článek napsal. Doufám, že to změní způsob, jakým se tyto metody ověřují a vyvíjejí. A třeba to i zredukuje jejich počet pouze na ty skutečné funkční,“ dodává.
Kůdela není první, kdo si problému všiml, v literatuře narazil už na dva případy, kdy někdo z kolegů na nesrovnalost u konkrétní publikace upozornil. Až on si ale uvědomil, že nejde o jednotlivý exces, ale o systémovou chybu. Téma proto nabídl nejlepšímu časopisu v oboru, který má největší potenciál oslovit relevantní vědeckou komunitu. Časopis Nature Machine Intelligence je světovou jedničkou v oblasti počítačových věd a umělé inteligence. Podle Journal Citation Reports zaujímá první místo ze 144 časopisů v kategorii „Computer Science, Artificial intelligence“ a také první místo ze 113 časopisů v kategorii „Computer Science, Interdisciplinary Applications“.
„Celý proces byl překvapivě příjemný a hladký, od prvního návrhu, který jsem zaslal v lednu, jsme měli do listopadu hotové celé recenzní řízení o pěti kolech. Oproti jiným odborným časopisům mne oslovil přístup editorů, kteří ke každé poznámce recenzenta ještě dopisují své vysvětlení, proč je poznámka podle nich důležitá a jak moc je relevantní. Hodně také dbají na to, aby byl tón textu vědecky zcela korektní a některá silnější vyjádření mi škrtli,“ uzavírá s úsměvem Kůdela.
Článek „A critical problem in benchmarking and analysis of evolutionary computation methods“ najdete v plném znění na https://rdcu.be/c1tmf.
