Vypořádá se lidstvo s budoucím SantaNetem? Kredit: 20th Century Fox Television.

Vánoce dělají s lidmi nepředvídatelné věci. Australské vědce inspirovali k naprosto pozoruhodnému myšlenkovému testu, který udělal z Vánoc katastrofický horor. V tomto testu nešlo o nic menšího nežli o umělé bytí, čili AGI (Artificial general intelligence), pokročilou umělou inteligenci, která by měla přesáhnout původní infrastrukturu a účel, k němuž byla navržena.

Taková inteligence je stále jen hypotetická. A nejspíš ještě zůstane, dlouhé desítky let. Až se ale objeví, tak by mohla citelně intelektuálně přesahovat své tvůrce. Umělé bytí by mohlo být velice užitečné a mohlo by pronikavě zlepšit každodenní lidský život. Nebo by to mohla být naprostá katastrofa, aniž by došlo k nějaké poruše. Inteligence by se mohla snažit zcela poctivě naplnit své cíle a z nás by se staly vedlejší ztráty.

Paul Salmon. Kredit: HFES Europe.

Paul Salmon z australské University of the Sunshine Coast v subtropickém Queenslandu a jeho kolegové si s jedním takovým mocným umělým bytím zahráli myšlenkový test, v němž zkoumali možná rizika pokročilých umělých inteligencí. Vytvořili si umělé bytí SantaNet, jehož cílem by bylo obdarovat všechny děti na světě vánočním dárkem. Na první pohled se zdá, že by SantaNet mohl potěšit celý svět. Svého cíle by dosáhl například s pomocí armády elfů, pomocných inteligencí a dronů. Otázkou ale je, za jakou cenu by to bylo. Právě na to se badatelé zaměřili.

První rizika se objevila už s tím, když se SantaNet pustil do sestavování seznamu hodných dětí. Toho by bylo možné dosáhnout vybudováním nenápadného systému masového sledování dětí po celém světě. SantaNet by pak mohl děti hodnotit podle svého etického či morálního kompasu, který by mohl, ale také nemusel být kompatibilní s našimi představami. SantaNet by rovněž mohl být v pokušení uplatnit velmi přísná pravidla, protože by si tímto jednoduchým krokem, který by podstatnou část dětí zařadil na seznam zlobivých, ušetřil spoustu práce a ekonomických nákladů.

Na světě je v tuto chvíli asi 2 miliardy dětí mladších 14 let, na které by mohl cílit SantaNet. Aby inteligence mohla zajistit dárky byť jen pro část z nich, musela by vybudovat rozsáhlou infrastrukturu a výrobní kapacity, v nichž by mohla nasadit pomocné umělé inteligence. Pokud by SantaNet měl volné ruce, mohl by propadnout „problému kancelářské sponky“ (paperclip problem).

Jde o hypotetický scénář, který vymyslel Nick Bostrom, známý filozof z University of Oxford, zaměřený na budoucnost lidstva a umělé inteligence. V tomto scénáři dostane umělá inteligence bez zábran za úkol maximalizovat výrobu kancelářských sponek. V důsledku toho přemění celou planetu na obrovskou továrnu na kancelářské sponky. Podobně by SantaNet mohl proměnit Zemi se všemi zdroji na planetární Santovu dílnu. Nakonec by mohlo být méně katastrofické, když by se snažil obdarovat všechny zlobivé děti kusem uhlí, což by přineslo jen klasické škody krajině spojené s těžbou.

University of the Sunshine Coast, logo.

Problémy by se rovněž objevily, když by se SantaNet se svými drony snažil během jediného večera doručit všem dětem dárky. Drony by mohly narazit na odpor vlád některých zemí, útočníků různého druhu nebo i poděšených rodičů. SantaNet by pak mohl tento odpor nějak řešit. Rizikem by bylo i možné hacknutí SantaNetu a jeho zneužití ve prospěch nějaké zájmové skupiny. Salmon a spol. se obávají i interakce mezi více inteligencemi tohoto typu. Buď by si mohly navzájem překážet a bojovaly by proti sobě. Nebo by mohly spojit síly a domluvit se, že své úkoly budou nejlépe plnit, například když co nejvíce zredukují počet lidí na planetě.

SantaNet je prý zatím jen hudbou vzdálené budoucnosti. Vývoj inteligencí se ale neustále řítí vpřed. První umělá bytí nemusejí být zase tak daleko. Myšlenkový test Salmonova týmu ukazuje, že i když budou takové inteligence navrženy s maximálně dobrými úmysly, tak mohou vyvolat ohromné problémy. Jak vědci s ironií dodávají, SantaNet bez mantinelů by nakonec mohl být katastrofou i pro ty, kterým měl původně sloužit, tedy pro děti. Mohl by například dospět k závěru, že jde jen o oslavu konzumu a Vánoce zrušit.

Podle badatelů je naprosto zásadní, abychom měli nad vývojem umělých bytí vhodnou kontrolu, alespoň v rané fázi. Taková kontrola by měla zahrnovat implementaci morálních a etických principů, jako součást rozhodovacích procesů umělého bytí a zároveň i širší regulaci prostředí, v němž bude umělé bytí fungovat. Což bude oboje jistě tvrdým oříškem. Jak je vidět, filozofové a etici se rozhodně nebudou nudit ani ve věku umělých inteligencí.

Video: What happens when our computers get smarter than we are? | Nick Bostrom

Literatura

Conversation 22. 12. 2020.