Foto: © Dollar Photo Club
Foto: © Dollar Photo Club

Srovnávání evolučních algoritmů mělo systematickou chybu

Poukázat na systémovou chybu ve vlastním oboru se rozhodl Jakub Kůdela z Fakulty strojního inženýrství VUT v Brně. Odborník na optimalizační modely a algoritmy si před rokem všiml zásadního problému při srovnávání a analýze takzvaných evolučních algoritmů. A zjistil, proč i zdánlivě správné algoritmy ve skutečnosti nefungují, jak mají. Odborný článek na toto téma mu nyní otiskl prestižní časopis z „rodiny“ Nature, konkrétně Nature Machine Intelligence.

Evoluční algoritmy jsou jednou z metod umělé inteligence. Vycházejí z biologických principů, inspirací je jim mechanismus evoluce a přirozeného výběru. „Používají se pro úlohy, kdy potřebujete vhodně nastavit parametry, zároveň ale úloha nemá jasnou strukturu, je to spíš takový blackbox. V posledních letech jsou pro řešení těchto úloh populární právě evoluční algoritmy. Některé fungují skvěle, ale jiné ne. Všechny tyto metody se testují a porovnávají na předem dané sadě problémů, odborně tomu říkáme benchmarking,“ popisuje Kůdela, který na fakultě pracuje na Odboru aplikované informatiky.

V případě starší, ale stále hojně využívané sady pro zmíněný benchmarking, zůstala historicky skupina úloh, pro které je optimální nastavit hledané parametry na nulu. „Což dobře fungujícím algoritmům nevadí, pracují stejně, i když úlohu z nuly posunete jinam. Ale jiné mají tendenci hledat optimum právě v nule. Nazývám to „zero-bias“: na prostoru, který v rámci řešení prohledávají, jsou vedené k nule. A takovéto algoritmy pak v praxi nefungují, jak mají. Problém je, že když používáte starší sadu pro benchmarking, ty dobré a špatné od sebe těžko rozeznáte, protože na první pohled nevidíte, jakou cestou algoritmus dospěl k výsledku,“ vysvětluje Kůdela.

V důsledku pak zjistil, že řada nových metod a na nich stojících výzkumů publikovaných v respektovaných časopisech, obsahuje zásadní chybu. „Za poslední tři roky popisuji hned sedm metod, které tuto chybu obsahují,“ upřesňuje Kůdela a je si vědom, že tím řadě kolegů z oboru boří pomyslný domeček z karet. „Nicméně právě proto svůj jsem článek napsal. Doufám, že to změní způsob, jakým se tyto metody ověřují a vyvíjejí. A třeba to i zredukuje jejich počet pouze na ty skutečné funkční,“ dodává.

Kůdela není první, kdo si problému všiml, v literatuře narazil už na dva případy, kdy někdo z kolegů na nesrovnalost u konkrétní publikace upozornil. Až on si ale uvědomil, že nejde o jednotlivý exces, ale o systémovou chybu. Téma proto nabídl nejlepšímu časopisu v oboru, který má největší potenciál oslovit relevantní vědeckou komunitu. Časopis Nature Machine Intelligence je světovou jedničkou v oblasti počítačových věd a umělé inteligence. Podle Journal Citation Reports zaujímá první místo ze 144 časopisů v kategorii „Computer Science, Artificial intelligence“ a také první místo ze 113 časopisů v kategorii „Computer Science, Interdisciplinary Applications“.

„Celý proces byl překvapivě příjemný a hladký, od prvního návrhu, který jsem zaslal v lednu, jsme měli do listopadu hotové celé recenzní řízení o pěti kolech. Oproti jiným odborným časopisům mne oslovil přístup editorů, kteří ke každé poznámce recenzenta ještě dopisují své vysvětlení, proč je poznámka podle nich důležitá a jak moc je relevantní. Hodně také dbají na to, aby byl tón textu vědecky zcela korektní a některá silnější vyjádření mi škrtli,“ uzavírá s úsměvem Kůdela.

Článek „A critical problem in benchmarking and analysis of evolutionary computation methods“ najdete v plném znění na https://rdcu.be/c1tmf.

tisková zpráva VUT v Brně

Astronomové odhalili silné magnetické pole vířící na okraji černé díry ve středu Mléčné dráhy

Nový snímek vydaný kolaborací Event Horizon Telescope (EHT) odhalil silná a organizovaná magnetická pole spirálovitě …

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *

Používáme soubory cookies pro přizpůsobení obsahu webu a sledování návštěvnosti. Data o používání webu sdílíme s našimi partnery pro cílení reklamy a analýzu návštěvnosti. Více informací

The cookie settings on this website are set to "allow cookies" to give you the best browsing experience possible. If you continue to use this website without changing your cookie settings or you click "Accept" below then you are consenting to this.

Close