Jak přelstít systém umělé inteligence pro rozpoznávání lidí?  
Systémy inteligencí rozpoznávající postavy nebo tváře bývají trénované na mnoha tisících obrázcích, které si zařazují do příslušných kategorií. Pokud chcete takový systém obelstít, musíte vytvořit vizuální hack s obrázkem, na kterém příslušná inteligence netrénovala.

Jak přelstít umělou inteligenci? Kredit: Thys et al. (2019).
Jak přelstít umělou inteligenci? Kredit: Thys et al. (2019).

Umělé inteligence jsou boží. Chytré, rychlé, vytrvalé, bezcitné a s neuvěřitelnou chutí najít v ohromné záplavě dat požadovanou informaci. Jenomže, jak potvrdí každý fanoušek série o terminátorech, inteligence nemusejí být vždy úplně kamarádské. Na rozdíl od Elona Muska se nemusíme automaticky bát každé umělé inteligence, která je chytřejší než kalkulačka. Nicméně, nebude na škodu být ve střehu a mít plán pro případ, že by se chopila vlády nějaká zlovolná inteligence nebo třeba stabilizátoři společnosti se zálibou v čínských šmírovacích technologiích.

Simen Thys vpravo. Kredit: Thys et al. (2019).
Simen Thys vpravo. Kredit: Thys et al. (2019).


Trio vědců belgické Katholieke Universiteit Leuven zjistilo, že přinejmenším soudobé inteligence pro rozeznávání lidských postav nejsou všemocné. Simen Thys, Wiebe Van Ranst a Toon Goedemé přišli na to, že je možné vybraný systém s umělou inteligencí zmást vytvořením určitého obrázku, který drží na svém těle rozpoznávaná osoba. O svém podivuhodném hacku sepsali vědeckou studii a natočili video.


Aby soudobá umělá inteligence něco uměla, jako třeba rozeznávat objekty, tak ji na to její tvůrci musí vycvičit. Takové umělé inteligence obvykle trénují na mnoha tisících objektech, které náležejí do určitých kategorií, dokud si nevytvoří pravidla, podle nichž pak objekty mohou rozeznat. Dřívější výzkum ale ukázal, že podobné systémy je možné přelstít, pokud jim ukážete něco, na co nebyly trénované. Thys a spol. v tomto případě použili obrázek s lidmi, kteří drží barevné deštníky. Takové obrázky jsou teď novým pozoruhodným fenoménem a říká se jim „adversarial patches“, česky by to mohlo být třeba „rozporné skvrny“.

Rozporná skvrna. Kredit: Brown et al. (2017).
Rozporná skvrna. Kredit: Brown et al. (2017).


Jak se umělé inteligence stávají chytřejšími a výkonnějšími, tak je soukromé společnosti i vlády začínají používat v praktických aplikacích. Jednou z vykřičených aplikací jsou přitom systémy pro rozeznávání nežádoucích osob, ať už to jsou teroristé, kriminálníci, disidenti nebo lidé, co nepozdravili tajemníka strany. Podle nedávného výzkumu je možné takové systémy přelstít třeba speciálními brýlemi. A teď se ukazuje, že umělé inteligence neobstojí ani vůči vhodně navrženým rozporným skvrnám. Vizuální hack je pošle do kolen.


Thys a jeho společníci se rozhodli přelstít konkrétní systém umělé inteligence pro rozeznávání lidí YoLo(v2). Badatelé vytvořili různé typy obrázků, které pak testovali tak dlouho, dokud nenašli takový, který zmátl inteligenci obzvláště účinně. Aby obrázek s lidmi a deštníky fungoval, tak ho experimentátoři museli držet uvnitř pomyslného obdélníku, který si umělá inteligence vytváří při rozhodování o identitě zkoumaného objektu. A rozporná skvrna s lidmi a deštníky funguje na inteligenci systému YoLo(v2) skvěle. Bez tohoto obrázku inteligence zcela v pohodě rozpoznává postavy. Když si ale člověk drží tuhle rozpornou skvrnu u pasu, tak je pro inteligenci YoLo(v2) neviditelný. Terminátoři, na nás si nepřijdete!

Video:  Generating adversarial patches against YOLOv2


Video: Adversarial Patch


Literatura

TechXplore 24. 4. 2019, arXiv:1904.08653.

Datum: 28.04.2019
Tisk článku

Související články:

Umělá inteligence Shelley píše hororové texty. A je v tom dobrá     Autor: Stanislav Mihulka (27.10.2017)
Mohou být umělé inteligence depresivní a mít halucinace?     Autor: Stanislav Mihulka (11.04.2018)
Nová umělá inteligence je výkonnější, když spí a sní     Autor: Stanislav Mihulka (16.02.2019)



Diskuze:

Rozpoznávání je robustnější než oklamávání

Ivo Marvan,2019-05-13 09:50:28

Vyzkoušel jsem uvedené video znovu prohnat stejným algoritmem yolov2. Jen jsem změnil barvy, aby se nepletlo původní označení s novým. (V původním je člověk fialově v novém zeleně).
Výsledek je zde: https://youtu.be/QV1wYNNnBfw.
Je vidět, že stačila malá změna (při kompresi a dekompresi videa) a rozpoznávání funguje.

Je to samozřejmě prastará hra na policajty a zloděje. Když zloděj zná detaily zámku, může se snadno vloupat. Policajt se snaží udržet tajemství. Zde třeba tak, že člověk před kamerou neví jaký a jak učený je detekční algoritmus. Nebo jestli tam třeba nejsou tři, které hlasují.

Odpovědět

Jedno jediné slovo:

Alexandr Kostka,2019-04-29 11:11:41

Jedno jediné slovo, týkající se tématu: Zatím! Protože tecchnické možnosti obrovským způsobem rostou. Co bylo před pár lety teorií a pár let předtím utopií se stává realitou. (A za pár let se to stane noční můrou) Roste rozlišení kamer, roste citlivost, rostou možnosti analyzovat obraz (například z jediné kamery získat poměrně použitelné pseudo 3d, nebo dokonce povědomí o předmětech MIMO zorné pole) obrovsky roste výpočetní výkon. A obrovsky, ale obrovsky roste počet kamer. Za 5, maximálně 10 let tu máme sledování, o jakém se panu orwellovi ani nesnilo. (Ani v nejhorší noční můře) Plus do toho šmírování vlastním mobilem, plus do toho analýza nákupů podle výpisu z účtů, pohyxbu dle knihy jízd a firemního účetnictví a kdo ví co ještě. (a analýze toho, co dobrovolně řeknete na sociálních sítích. Kde jste, s kým tam jste, kam chcete jít atd atd. Sociální sítě jsou velmi vydatnými zdroji soukromýchj dat)

Odpovědět


Re: Jedno jediné slovo:

Milan Krnic,2019-04-29 21:40:45

Čína má Sociální kredit, my máme GPRD. Uvidíme.

Odpovědět


Re: Re: Jedno jediné slovo:

Milan Krnic,2019-04-29 21:41:31

tedy GDPR

Odpovědět


Re: Re: Jedno jediné slovo:

Martin X,2019-04-30 08:38:39

To su neporovnatelne veci. GDPR (aspon ciastocne) zabranuje sukromnym firmam vytvarat nieco ako "socialny kredit". Sucastou toho cinskehu su totiz aj data zo sukromnych firiem (pojem "sukromny" ma v komunistickom systeme trochu iny vyznam).
Najvacsim problemom GDPR je to, ze sa nevztahuje aj na staty a nezabranuje tak statom zbierat informacie o obcanoch bez ich suhlasu.

Odpovědět


Re: Re: Re: Jedno jediné slovo:

Milan Krnic,2019-05-01 20:32:47

To sú. O čínském Sociálním kreditu nevíme skoro nic.
Právě to, že máme dva zcela odlišné systémy, bude zajímavé do budoucna sledovat, jak se to vyvine. Alespoň pro mě, tedy. No a v Číně v aglomeraci s kamery matoucím obrázkem na sobě asi moc daleko nedojdete.

Odpovědět

Nezobecňovat!

Stanislav Brabec,2019-04-28 23:46:12

Autoři by měli být se svými zobecněními opatrní. Ošidili jeden konkrétní program.

Rozpoznávání obličejů na Google Fotkách takto neošidí. Neomylně rozpoznal známou tvář v tmavých brýlích i v odrazu skla knihovny, přestože police uvnitř obraz přetínají na několik dílů. Stejně tak pozná známý obličej, i když je rozmazaný nebo velký jen pár desítek pixelů. Pravda, je to offline algoritmus, navíc velmi pomalý.

Na druhou stranu, policejní drony létající nad demonstranty asi nebudou mít ty nejvýkonnější procesory.

Odpovědět


Re: Nezobecňovat!

Pavel Foltán,2019-04-29 04:02:12

"… policejní drony létající nad demonstranty asi nebudou MUSET mít ty nejvýkonnější procesory."
https://www.youtube.com/watch?v=9fa9lVwHHqg

Odpovědět


Re: Nezobecňovat!

Jan Novák9,2019-04-29 14:08:33

AI v článku měla zjevně za úkol rozpoznávat celé postavy jako objekt a za tím účelem měla sestaven učící set z celých postav. Kdyby trénovala obličeje neměla by nejmenší problém. AI Googlu se vyvíjí ne na učícím setu ale na reálných datech uživatelů = když si není jistá zeptá se a operátor jí řekne co tam je. AI Googlu se vyvíjí pořád, nemá oddělený učící set a ostrá data. Navíc když něco hledáte a kliknete na obrázek, dáváte AI zpětnou vazbu že to je to co jste hledali. Vyvíjí se stejně jako neuronová síť.

Výkonný procesor není nutný, dron který Vás bude sledovat podle obličeje a poslouchat jenom Vaše gesta stojí pár tisíc a nijak zvlášť výkonný procesor nemá - selfie dron.

Odpovědět


Re: Re: Nezobecňovat!

Stanislav Brabec,2019-05-05 02:06:03

Selfie dronu stačí rozpoznat pár jednoduchých gest jednoho uživatele.

Sledovací dron nad demonstrací musí mít kameru s vysokým rozlišením nebo rychlým zoomem, za pohybu analyzovat markanty stovek lidí, ty posílat do vyhodnocovacího centra, kde se online identifikují osoby, a které dává se dronu povel ke sledování vybraných jedinců. (K tomu se musí drony koordinovat, a systém musí spolupracovat s kamerami, případně jinými sledovacími prostředky, ve vnitřních prostorách.)

Odpovědět


Diskuze je otevřená pouze 7dní od zvěřejnění příspěvku nebo na povolení redakce








Zásady ochrany osobních údajů webu osel.cz