Sciencemag.cz
Doporučujeme
Předpověď I. J. Gooda o inteligenční explozi je jedním z hlavních motivů, které vedou k obavám z potenciálních rizik superinteligentní AI. Dokážou-li lidé navrhnout stroj, který je trochu inteligentnější než lidé, pak – podle této argumentace – bude tento stroj trochu lepší než lidé i v navrhování strojů. Navrhne nový stroj, který bude ještě inteligentnější, a tento proces se bude opakovat až do bodu, kdy podle Gooda „inteligence člověka zůstane daleko vzadu“.
Výzkum bezpečnosti AI, zejména v Institutu výzkumu strojové inteligence v Berkeley, se věnoval otázce, zda by inteligenční exploze mohla proběhnout bezpečně. Na první pohled se to může zdát donkichotské – neznamená to prostě „game over“? –, ale je tu možná naděje. Předpokládejme, že první stroj takové posloupnosti, Robbie Mark I., začíná s dokonalou znalostí Cecíliiných preferencí. Ví, že jeho kognitivní omezení vedou k nedokonalostem v tom, jak se snaží Cecílii učinit spokojenou, a staví stroj Robbie Mark II. Intuitivně se zdá, že má Robbie Mark I motivaci zabudovat své znalosti o Cecíliiných preferencích do stroje Robbie Mark II., protože to povede k budoucnosti, v níž budou Cecíliiny preference lépe naplněny – což je podle prvního principu přesně účelem životního poslání Robbieho Marka I. Podle stejné argumentace ovšem platí, že pokud si Robbie Mark I. není Cecíliinými preferencemi jistý, měla by být tato nejistota také předána do Robbieho Marka II. Takže jsou nakonec tyto exploze bezpečné.
Z matematického hlediska spočívá nečistota spadlá do svatého pomazání v tom, že pro Robbieho Marka I. nebude snadné dojít k závěru, jak se bude Robbie Mark II. chovat – už proto, že Robbie Mark II. je z definice mnohem pokročilejší verze. Budou zde otázky o chování Robbieho Marka II., které Robbie Mark I. nedokáže zodpovědět. Ještě horší je, že zatím pořád ještě nemáme jasnou matematickou definici, co ve skutečnosti pro stroj znamená mít konkrétní záměr, jako třeba naplňovat Cecíliiny preference.
Podívejme se trochu na tuto poslední obavu. Uvažujme o AlphaGo: Jaký záměr má? Člověk by si myslel, že je to snadné: záměrem AlphaGo je vyhrát v go. Nebo ne? Věc se určitě nemá tak, že AlphaGo vždy dělá jen tahy, u nichž je zaručeno, že vyhrávají. (Ve skutečnosti téměř vždy prohrává s AlphaZero.) Faktem je, že pokud do konce hry zbývá jen několik málo tahů, AlphaGo zvolí vyhrávající tah, pokud takový existuje. Na druhou stranu když u žádného tahu není zaručeno, že vyhrává – jinými slovy když AlphaGo vidí, že jeho protivník má vyhrávající strategii nezávisle na tom, co AlphaGo udělá –, pak AlphaGo zvolí tah víceméně náhodný. Nebude zkoušet ten nejprohnanější tah s nadějí, že protivník udělá chybu, protože předpokládá, že jeho protivník hraje dokonale. Bude se chovat, jako by ztratil vůli k výhře. V jiných situacích, kdy je skutečně optimální (nejlepší) tah příliš komplikovaný na to, aby se dal spočítat, udělá někdy AlphaGo chyby, které vedou k prohře. Do jaké míry je v těchto situacích pravda, že AlphaGo skutečně chce vyhrát? Jeho chování v takovém případě může odpovídat tomu, že chce jen svému protivníkovi poskytnout skutečně zajímavou hru.
Když tedy řekneme, že AlphaGo „má za svůj účel vyhrát“, jde o přílišné zjednodušení. Lepším popisem by bylo, že AlphaGo je výsledkem nedokonalého procesu trénování – zpětnovazebného učení na základy hry sám se sebou –, v němž byla odměnou výhra. Tento proces trénování je nedokonalý v tom smyslu, že nemůže vyprodukovat dokonalého hráče go: AlphaGo se učí znát funkci hodnocení pro pozice go, která je dobrá, nikoli ale dokonalá, a kombinuje to s dopředným hledáním, které je dobré, nikoli však dokonalé.
Závěr toho všeho je, že debaty začínající slovy „předpokládejme, že robot R má účel P“ jsou dobré pro to, abychom získali nějaké intuice o tom, jak se mohou věci vyvíjet, ale nemohou vést k teorémům o reálných strojích. Potřebujeme mnohem přesnější definice účelu ve strojích, abychom mohli získat záruky, jak se budou chovat v dlouhodobé perspektivě. Vědci v AI teprve začínají chápat, jak analyzovat i jen ty nejjednodušší druhy reálných systémů rozhodování, natož pak stroje inteligentní natolik, aby navrhovaly své nástupce. Máme před sebou hodně práce.
Stuart Russell
Jako člověk: Umělá inteligence a problém jejího ovládání
Argo a Dokořán 2021
O knize na stránkách vydavatele
V žádném případě se nejedná o skutečnou inteligenci. Stroj není inteligentní ani náhodou. Kdyby se rozdělil strojový kód celého AI algoritmu na jednotlivé instrukce a jednotlivé datové buňky a tyto úkony a data se rozdělily mezi obrovský počet lidí – ty budeš dělat tohle, ty tohle, ty vemeš tohle a dáš to tam atd… tak nikdo z nich by nemusel použít ani kousek inteligence a přesto by porazili nejlepší hráče světa, aniž by třeba znali pravidla Go. Tento příklad jasně ilustruje, že se nejedná o žádnou inteligenci, ale jen o hloupou na-míru šitou množinu dat a instrukcí. Inteligence je mnohem víc. Celý pojem „umělá inteligence“ je od základu falešný, neb se skutečnou inteligencí nemá nic společného a nikdy ani mít nebude.
Reakce na dword:
Váš argument, že lze-li nějaký výpočetní proces (bežící ať už na bio-hardwaru nebo křemíkovém hardwaru) rozdělit na jednotlivé instrukce, pak se nejedná o inteligenci, je nesprávný. To co popisujeme jako inteligenci je zřejmě tzv. emergentní jev, který studiem vlastností součástek nepoznáte. Argument o rozdělení činností mezi lidi by šel úplně stejně použít na lidský mozek (např. každý člověk by „obsluhoval“ jeden neuron).
sam to vidim podobne jako Kit…
Reakce na kit:
„To co popisujeme jako inteligenci je zřejmě tzv. emergentní jev“
Jinými slovy se pouze domníváte co to inteligence je. Nevíte to. Tam byste měl začít.
Navíc jste ohnul (nebo nepochopil?) můj argument. Říkal jsem že každý dostal svůj úkol neinteligentní povahy a tudíž k vyřešení úlohy žádná inteligence nebyla potřeba. Nikoliv, jak tvrdíte, že pokud něco lze rozdělit, pak se nejedná o inteligenci.
Souhlasím že by toto rozdělení šlo aplikovat na mozek. Ostatně lze to aplikovat na všechny stroje. Ať už mechanické, či biologické. Přesto nikdo neumí vyrobit inteligentní mozek. Jakto? Ne jen lidský, ale žádný. Nikdo ještě nevytvořil ani špetku inteligence.