Umělé inteligence dnes zastanou ohromné množství práce. Analyzují veliké soubory dat a hledají v nich zajímavé věci. Mohou vypátrat nádory, diagnostikovat covid-19, vystopovat rychlé rádiové záblesky nebo třeba simulovat vesmír. Vždy jsme si mysleli, autora tohoto textu nevyjímaje, že jednou z předností umělých inteligencí je jejich neunavitelnost. Přece jenom to jsou programy. Existence in silico.
Jenomže, jak se zdá, byl to pozoruhodný, přímo fascinující omyl. Neurální sítě si podle všeho občas potřebují odpočinout. Úplně jako my. Na jednu stranu je to mrazivé, ale zároveň z toho máme pocit, že ve vývoji umělých inteligencí kráčíme správnou cestou.
Ukazuje se totiž, že se neurální sítě občas prostě potřebují vzít dovolenou. Mezi tím vším rozeznáváním tváří, filtrováním spamu nebo třeba výzkumem rakoviny musejí také relaxovat. Počítačová vědkyně Yijing Watkins z Los Alamos National Laboratory (LANL) a její kolegové dospěli k závěru, že umělé inteligence vyloženě potřebují si tu a tam si zdřímnout, přinejmenším ve strojovém významu tohoto slova.
Když pokročilé neurální sítě pracují dlouhou dobu a neustále hledají požadované vzory v souborech dat, tak se mohou stát nestabilními. Podle Watkinsové by řešení mohlo být vcelku jednoduché. Nechat takovou umělou inteligenci, ať si „zdřímne“. To by mělo celý systém vrátit zpět do pohody.
Jak je možné nechat neurální síť, která běží na počítači, vyspat? Watkinsová a její tým vymysleli pro umělé inteligence „umělý spánek“. Zavedou do neurální sítě, která by se měla vyspat, specifický typ šumu, který odpovídá hluboké a útlumové fázi lidského spánku NREM (bez rychlých pohybů očí). Jde o Gaussův šum (Gaussian noise), který zahrnuje soubor různých frekvencí a amplitud vln.
Badatelé věří, že jejich nový algoritmus, který vytváří zmíněný šum pro umělé inteligence, může zdařile napodobovat útlumové NREM fáze lidského spánku, co „občerstvují“ biologické neurony v lidském mozku. Je to podle nich stejné, jako kdyby si neurální síť dala šlofíka.
Watkinsová a spol. by rádi v dohledné budoucnosti svůj „spánkový“ algoritmus otestovali na neuromorfním čipu Loihi společnosti Intel, který napodobuje neurální strukturu lidského mozku. Tento či obsahuje 130 tisíc umělých „neuronů“ a je vhodný pro provoz inteligencí zaměřených na strojové vidění, analýzy videí, a další strojové „smysly“. Vědci jsou moc zvědaví na to, jak budou inteligence na čipu Loihi reagovat na odpočinek s jejich algoritmem.
Video: NICE 2019 - Day 3g Yijing Watkins
Literatura
IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2020.
Umělá inteligence jde po rychlých rádiových záblescích
Autor: Stanislav Mihulka (13.09.2018)
Nová umělá inteligence je výkonnější, když spí a sní
Autor: Stanislav Mihulka (16.02.2019)
Umělá inteligence poprvé simulovala vesmír: Rychle, přesně a nikdo neví jak
Autor: Stanislav Mihulka (27.06.2019)
Nová umělá inteligence předpovídá smrt. A její tvůrci nevědí jak
Autor: Stanislav Mihulka (13.11.2019)
Diskuze:
Zavádějící interpretace
Petr S.,2020-08-10 18:28:34
U umělých neuronových sítí se rozlišuje režim učení a režim vybavování. Z článku se zdá, že neuronová síť nedokáže pracovat stabilně ani v režimu vybavování, což není pravda. Jakmile jednou síť naučíte například rozpoznávat obličeje nebo spam, tak je bude rozpoznávat do aleluja a pořád stejně bez jakékoli nestability a bez potřeby odpočinku. Je to zkrátka jen algoritmus běžící na počítači a zpracovávající data.
Původní práce, ze které autor článku čerpá, mluví o nestabilitě ve fázi učení (určité specifické) neuronové sítě a tam pomáhá občas přerušit učení na trénovacích datech a nechat chvíli učící algoritmus zpracovávat šum, což se v článku připodobňuje ke spánku. Toto učení na šumu pak má vést k lepším výsledkům dalšího učení.
sní androidi o elektrických ovečkách?
Libor Zak,2020-08-10 12:47:23
Zdá se, že odpověď už máme. Philip K. Dick může věčně spát o něco klidněji.
sní androidi o elektrických ovečkách?
Libor Zak,2020-08-10 12:47:22
Zdá se, že odpověď už máme. Philip K. Dick může věčně spát o něco klidněji.
Učí se za pochodu?
Bohumil S.,2020-08-10 07:35:49
Ty sítě, které si potřebují dát šlofíka, se během svojí práce učí za pochodu? Lidský mozek během spánku zpracovává informace nashromážděné během dne. Jednou z funkcí spánku je, že se při něm mozek učí.
Pokud je AI algoritmus pro danou aplikaci (např. rozpoznávání obličejů) dobře odladěný, nepředpokládám, že by se potřeboval dále učit za pochodu. A tím pádem nepotřebuje ani spát. V nejhorším by mělo stačit jednou za čas ho restartovat.
Naopak předpokládám, že kdyby někdo chtěl vytvořit ultimátní AI, která by měla ambice nahradit člověka v každodenním "životě" (např. v zaměstnání), potřebovala by každý den nějaký čas pro sebe, aby si utřídila nashromážděná data a vzala si z nich poučení. Na tom mi nepřijde nic nečekaného.
Re: Učí se za pochodu?
Pavel Doležel,2020-08-10 10:06:25
UI se sice obecně "učí" za pochodu, ale zmíněný "šlofík" nespočívá v utřiďování dat, ale spíše v jakémsi pročištění šumem, neboli změtí frekvencí. Připodobňují to frekvencím, na kterých pracuje náš mozek, když spíme. Žádná data se tím nezpracovávají, nic se neutřiďuje... alespoň tak jsem to pochopil já.
Zdá se, že lidský spánek má více, než jednu funkci a může tedy jít o třídění a zároveň pročištění šumem, ale na druhou stranu k třídění myšlenek u nás dochází i během bdění. Pracujeme-li na něčem dlouho a nemůžeme s tím hnout, stačí si dát oraz, chvíli nepracovat a ono nám to doběhne. Je možné, to už nevím, že spánek je na to nejefektivnější, ale není nezbytný.
Re: Re: Učí se za pochodu?
Bohumil S.,2020-08-10 11:06:20
Článek se zabýval dvěma věcmi, které pro přehlednost oddělím a budu řešit zvlášť.
První věc je, že AI nejsou zcela neúnavné, nýbrž potřebují si občas od práce odpočinout, vzít si volno na údržbu. Na tom pro mě není nic překvapivého. Naopak jsem přesvědčený, že čím více se budou lidmi vyrobené stroje (včetně umělých inteligencí) svojí komplexitou a funkcemi přibližovat komplexitě živých organismů, tím častěji budou tyto stroje narážet na podobné limity a problémy, se kterými se potýkají živé organismy. Příčin, proč si budou AI potřebovat občas dát šlofíka, bude určitě víc. Utřiďování informací, které jsem zmiňoval já, bude jednou z nich.
Druhá věc, kterou se článek zabýval především, je nestabilita AI při dlouhodobé práci a způsob, jak tuto nestabilitu odstranit pomocí spánku-podobným šumem. Tady si nejsem jistý, jestli není podobnost se spánkem lidského mozku jenom zdánlivá. Lidský mozek pracuje na fundamentálně odlišném hardware, který má svoje specifické potřeby na údržbu. Mozek je například závislý na chemickém metabolismu. AI nepotřebuje doplňovat živiny a odvádět zplodiny. Čili předpokládám, že mozek půjde unavit hardwarově i softwarově, zatímco AI půjde unavit jenom softwarově. A co se té softwarové stránky týče, ta také funguje jinak než mozek. Neurální sítě v mozku kombinují digitální interakce s analogovými (např. přenos vzruchu po axonu je digitální). Naopak AI je tvořená pouze digitálními interakcemi. Myslím si, že podobnost lidského spánkového šumu s tím, co vyvíjejí v Los Alamos, může být náhodná.
Jinak k učení za pochodu - to, co se dnes v praxi běžně využívá a označuje jako AI podle mě funguje jinak. Algoritmus se buď učí a nebo pracuje. Nejdřív ho necháte se učit na souboru dat. Během učení program sám sebe modifikuje. A potom mu zadáte práci. Program se už nemodifikuje, jenom zpracovává data podle algoritmu, který si vytvořil v předchozím kroku.
Snění
Josef Sysel,2020-08-10 01:20:01
Už to tu zaznělo, říkají tomu snění a je to jenom defragmentace. Zbavení se chybných souvislostí, nevím jak, něco jako "koukni jestli neblbneš". :)
Prý při stejném zadání vychází jiné výsledky tak nevím jak moc se na AI spolehnout, asi jako na excel s ....., už nevím s čím to bylo.
Re: Snění
Jakub Kmec,2020-08-10 13:59:11
Při stejném zadání opravdu mohou vycházet různé výsledky. Nicméně dobrá AI se podle mě pozná taky podle toho, že při opakovaném učení nevychází protichůdné výsledky. Nakonec je to přece jen optimalizace funkce, která má spoustu lokálních minim. A pokud každé lokální minimum vykazuje naprosto odlišné výsledky, AI nebude zrovna dobře nastavená.
Diskuze je otevřená pouze 7dní od zvěřejnění příspěvku nebo na povolení redakce
