Umělé inteligence jsou boží. Chytré, rychlé, vytrvalé, bezcitné a s neuvěřitelnou chutí najít v ohromné záplavě dat požadovanou informaci. Jenomže, jak potvrdí každý fanoušek série o terminátorech, inteligence nemusejí být vždy úplně kamarádské. Na rozdíl od Elona Muska se nemusíme automaticky bát každé umělé inteligence, která je chytřejší než kalkulačka. Nicméně, nebude na škodu být ve střehu a mít plán pro případ, že by se chopila vlády nějaká zlovolná inteligence nebo třeba stabilizátoři společnosti se zálibou v čínských šmírovacích technologiích.
Trio vědců belgické Katholieke Universiteit Leuven zjistilo, že přinejmenším soudobé inteligence pro rozeznávání lidských postav nejsou všemocné. Simen Thys, Wiebe Van Ranst a Toon Goedemé přišli na to, že je možné vybraný systém s umělou inteligencí zmást vytvořením určitého obrázku, který drží na svém těle rozpoznávaná osoba. O svém podivuhodném hacku sepsali vědeckou studii a natočili video.
Aby soudobá umělá inteligence něco uměla, jako třeba rozeznávat objekty, tak ji na to její tvůrci musí vycvičit. Takové umělé inteligence obvykle trénují na mnoha tisících objektech, které náležejí do určitých kategorií, dokud si nevytvoří pravidla, podle nichž pak objekty mohou rozeznat. Dřívější výzkum ale ukázal, že podobné systémy je možné přelstít, pokud jim ukážete něco, na co nebyly trénované. Thys a spol. v tomto případě použili obrázek s lidmi, kteří drží barevné deštníky. Takové obrázky jsou teď novým pozoruhodným fenoménem a říká se jim „adversarial patches“, česky by to mohlo být třeba „rozporné skvrny“.
Jak se umělé inteligence stávají chytřejšími a výkonnějšími, tak je soukromé společnosti i vlády začínají používat v praktických aplikacích. Jednou z vykřičených aplikací jsou přitom systémy pro rozeznávání nežádoucích osob, ať už to jsou teroristé, kriminálníci, disidenti nebo lidé, co nepozdravili tajemníka strany. Podle nedávného výzkumu je možné takové systémy přelstít třeba speciálními brýlemi. A teď se ukazuje, že umělé inteligence neobstojí ani vůči vhodně navrženým rozporným skvrnám. Vizuální hack je pošle do kolen.
Thys a jeho společníci se rozhodli přelstít konkrétní systém umělé inteligence pro rozeznávání lidí YoLo(v2). Badatelé vytvořili různé typy obrázků, které pak testovali tak dlouho, dokud nenašli takový, který zmátl inteligenci obzvláště účinně. Aby obrázek s lidmi a deštníky fungoval, tak ho experimentátoři museli držet uvnitř pomyslného obdélníku, který si umělá inteligence vytváří při rozhodování o identitě zkoumaného objektu. A rozporná skvrna s lidmi a deštníky funguje na inteligenci systému YoLo(v2) skvěle. Bez tohoto obrázku inteligence zcela v pohodě rozpoznává postavy. Když si ale člověk drží tuhle rozpornou skvrnu u pasu, tak je pro inteligenci YoLo(v2) neviditelný. Terminátoři, na nás si nepřijdete!
Video: Generating adversarial patches against YOLOv2
Video: Adversarial Patch
Literatura
TechXplore 24. 4. 2019, arXiv:1904.08653.
Umělá inteligence Shelley píše hororové texty. A je v tom dobrá
Autor: Stanislav Mihulka (27.10.2017)
Mohou být umělé inteligence depresivní a mít halucinace?
Autor: Stanislav Mihulka (11.04.2018)
Nová umělá inteligence je výkonnější, když spí a sní
Autor: Stanislav Mihulka (16.02.2019)
Diskuze:
Rozpoznávání je robustnější než oklamávání
Ivo Marvan,2019-05-13 09:50:28
Vyzkoušel jsem uvedené video znovu prohnat stejným algoritmem yolov2. Jen jsem změnil barvy, aby se nepletlo původní označení s novým. (V původním je člověk fialově v novém zeleně).
Výsledek je zde: https://youtu.be/QV1wYNNnBfw.
Je vidět, že stačila malá změna (při kompresi a dekompresi videa) a rozpoznávání funguje.
Je to samozřejmě prastará hra na policajty a zloděje. Když zloděj zná detaily zámku, může se snadno vloupat. Policajt se snaží udržet tajemství. Zde třeba tak, že člověk před kamerou neví jaký a jak učený je detekční algoritmus. Nebo jestli tam třeba nejsou tři, které hlasují.
Jedno jediné slovo:
Alexandr Kostka,2019-04-29 11:11:41
Jedno jediné slovo, týkající se tématu: Zatím! Protože tecchnické možnosti obrovským způsobem rostou. Co bylo před pár lety teorií a pár let předtím utopií se stává realitou. (A za pár let se to stane noční můrou) Roste rozlišení kamer, roste citlivost, rostou možnosti analyzovat obraz (například z jediné kamery získat poměrně použitelné pseudo 3d, nebo dokonce povědomí o předmětech MIMO zorné pole) obrovsky roste výpočetní výkon. A obrovsky, ale obrovsky roste počet kamer. Za 5, maximálně 10 let tu máme sledování, o jakém se panu orwellovi ani nesnilo. (Ani v nejhorší noční můře) Plus do toho šmírování vlastním mobilem, plus do toho analýza nákupů podle výpisu z účtů, pohyxbu dle knihy jízd a firemního účetnictví a kdo ví co ještě. (a analýze toho, co dobrovolně řeknete na sociálních sítích. Kde jste, s kým tam jste, kam chcete jít atd atd. Sociální sítě jsou velmi vydatnými zdroji soukromýchj dat)
Re: Jedno jediné slovo:
Milan Krnic,2019-04-29 21:40:45
Čína má Sociální kredit, my máme GPRD. Uvidíme.
Re: Re: Jedno jediné slovo:
Martin X,2019-04-30 08:38:39
To su neporovnatelne veci. GDPR (aspon ciastocne) zabranuje sukromnym firmam vytvarat nieco ako "socialny kredit". Sucastou toho cinskehu su totiz aj data zo sukromnych firiem (pojem "sukromny" ma v komunistickom systeme trochu iny vyznam).
Najvacsim problemom GDPR je to, ze sa nevztahuje aj na staty a nezabranuje tak statom zbierat informacie o obcanoch bez ich suhlasu.
Re: Re: Re: Jedno jediné slovo:
Milan Krnic,2019-05-01 20:32:47
To sú. O čínském Sociálním kreditu nevíme skoro nic.
Právě to, že máme dva zcela odlišné systémy, bude zajímavé do budoucna sledovat, jak se to vyvine. Alespoň pro mě, tedy. No a v Číně v aglomeraci s kamery matoucím obrázkem na sobě asi moc daleko nedojdete.
Nezobecňovat!
Stanislav Brabec,2019-04-28 23:46:12
Autoři by měli být se svými zobecněními opatrní. Ošidili jeden konkrétní program.
Rozpoznávání obličejů na Google Fotkách takto neošidí. Neomylně rozpoznal známou tvář v tmavých brýlích i v odrazu skla knihovny, přestože police uvnitř obraz přetínají na několik dílů. Stejně tak pozná známý obličej, i když je rozmazaný nebo velký jen pár desítek pixelů. Pravda, je to offline algoritmus, navíc velmi pomalý.
Na druhou stranu, policejní drony létající nad demonstranty asi nebudou mít ty nejvýkonnější procesory.
Re: Nezobecňovat!
Pavel Foltán,2019-04-29 04:02:12
"… policejní drony létající nad demonstranty asi nebudou MUSET mít ty nejvýkonnější procesory."
https://www.youtube.com/watch?v=9fa9lVwHHqg
Re: Nezobecňovat!
Jan Novák9,2019-04-29 14:08:33
AI v článku měla zjevně za úkol rozpoznávat celé postavy jako objekt a za tím účelem měla sestaven učící set z celých postav. Kdyby trénovala obličeje neměla by nejmenší problém. AI Googlu se vyvíjí ne na učícím setu ale na reálných datech uživatelů = když si není jistá zeptá se a operátor jí řekne co tam je. AI Googlu se vyvíjí pořád, nemá oddělený učící set a ostrá data. Navíc když něco hledáte a kliknete na obrázek, dáváte AI zpětnou vazbu že to je to co jste hledali. Vyvíjí se stejně jako neuronová síť.
Výkonný procesor není nutný, dron který Vás bude sledovat podle obličeje a poslouchat jenom Vaše gesta stojí pár tisíc a nijak zvlášť výkonný procesor nemá - selfie dron.
Re: Re: Nezobecňovat!
Stanislav Brabec,2019-05-05 02:06:03
Selfie dronu stačí rozpoznat pár jednoduchých gest jednoho uživatele.
Sledovací dron nad demonstrací musí mít kameru s vysokým rozlišením nebo rychlým zoomem, za pohybu analyzovat markanty stovek lidí, ty posílat do vyhodnocovacího centra, kde se online identifikují osoby, a které dává se dronu povel ke sledování vybraných jedinců. (K tomu se musí drony koordinovat, a systém musí spolupracovat s kamerami, případně jinými sledovacími prostředky, ve vnitřních prostorách.)
Diskuze je otevřená pouze 7dní od zvěřejnění příspěvku nebo na povolení redakce