Systém snímá tvář herce v infračerveném spektru (vlevo dole). Podle naplánovaného cílového vzhledu (vlevo nahoře) program začne pracovat s albedem a ofsety založenými na výrazech v prostorové pozici (horní střední obrázky). Ty jsou pak mixovány a deformovány, aby odpovídaly obličejové konfiguraci a ještě k tomu také jeho momentální pozici (spodní střední obrázky). To se pak promítne na interpreta.

Projekční systém, který předvedli disneyovští vývojáři, dokáže nanést make-up účastníkům během jejich živého vystoupení. Zatímco kamerová technika sleduje hercův pohyb, ta osvětlovací mu nasvícením barevných efektů změní vizáž k nepoznání. Umí „přilepit“ knír, zvýraznit obočí, nebo udělat pleť popelavou a od krve, když je potřeba zahrát Drákulu. Asi nejlépe ale zvládá rozjasnit tvář červenými tvářemi a nosem klauna. To vše aniž by umělec musel někam odbíhat, vše je otázkou milisekund.

Změna vizáže aktéra probíhá v reálném čase, přičemž průměrná doba latence promítaného výrazu na tvář je 9,8 ms. Tak krátkého projekčního reakčního času se týmu vedenému Amit Bermanem podařilo dosáhnout díky zkušeností švédských technologů z Chalmers University a japonských programátorů z Osaka University. Optimalizaci obrazu provedli systémem GPU. Z pohybu hlavy program vyčte a předpoví jak její následnou pozici, tak i natočení tváře. Vlastní nasvícení úst, nosu, čela,… technika to vše zvládá „stíhat“ tak trochu podvodem - promítá na tváře částečně předpřipravené dopočítané vzory.

Hardware prototypu: Projektor (a) získává 2K obraz snímkováním o frekvenci 480 Hz. Opticky sesouladěná vysokorychlostní kamera (b) je na horní straně směrovače paprsků (c) před objektivem projektoru. IR filtr (d) má za úkol oddělit projekční světlo od infračerveného osvětlení (e). Kredit: Amit Bermano (Disney Research Zurich). Další podrobnosti zde.

Základem nové techniky je program podobný tomu, jaký se používá k rozeznávání tváří instituce k oficiálně povolenému šmírování. Také je zaměřen na  charakteristické znaky hercova obličeje,  také si ho přepočítává do 3D pohledu v různých směrech. Navíc ho ale umí ještě úzce směrově nasvítit. Nejde tu jen o barvičky a dodání scéně jakési veselosti. Systém umí načíst a zvýrazňovat i náznak počínajících vrásek. Jejich „vypíchnutím“ tak může nechat osobu během scény zestárnout.

Kamera sledující pohyby obličeje sdílí stejnou optickou osu jako projektor, který pak osvětluje tvář. To dovoluje většinu zpracování obrazu zjednodušit natolik, že si vystačí algoritmy pro dva rozměry, což neklade takové nároky na výkon počítače a celkový výsledek i tak zůstává uspokojivý. Rozhodující totiž je rychlost reakce na pohyb hlavy, prodlevy v následném osvitu působí nepřirozeně a kazí dojem.

Pravdou je, že nyní předváděným prototypem žádná velká umělecká díla vytvářet nejdou. Ti v prvních řadách by rychle poznali, že tu něco nehraje. Šminky jsou přece jen šminky, zatím. Nicméně navozovat změnu v reálném čase líčidla nikdy nedosáhnou a proto je Markus Gross, viceprezident Disney Research, přesvědčen, že jde o směr, který si cestu do divadelnické branže najde a že to bude brzo a nejen tam.

Závěr

To, s čím se Američané nyní tak chlubí, není zase až taková novinka. Zdá se, že utratili hodně peněz za něco, co ani našim osvětlovacím technikům delší dobu není cizí. I jim se z těch, co hrají své role v sedě a za pultem, daří šašky dělat skvěle.

Literatura

Amit H. Bermano et al.: Makeup Lamps: Live Augmentation of Human Faces via Projection. EUROGRAPHICS Volume 36 (2017), Number 2

Nostalgický podotek

Divadla budoucnosti budou nejspíš jiná než ta, na které jsme zvyklí.  Asi se víc začnou přibližovat dálně východnímu pojetí kultury, kde si herci během vystoupení často nasazují různé masky. Nepůjde tu ale jen o herce. Ani rekvizitáři a kulisáci už nebudou tím, co bývali. Maskérnu, kde to žilo a kam se chodilo na kus řeči a kde panovala nálada podněcující vymýšlení nových skečů, zastane budka pro nápovědu. Bude tam dřepět počítač opatřený mechanikou s úzce směrovanými různobarevnými „boďáky“. Provozovatelům novinka umožní šetřit, a tak se na programech budou objevovat stejná jména u více rolí. Spolu s virtuálními holografickými postavami realismus z kulturních svatostánků vyprchá. Ale kdo ví, možná se to nastupující generaci bude zamlouvat stejně, jako nám kdysi forbíny a předscény W+H.

A jedno z nebezpečnějších použití nastupující technologie zachycení snímaného obrazu a jeho rekonstrukce: