Nebo čtete o superchytrých dronech, co si samy vybírají cíle, a říkáte si, jestli to není už trochu moc sci-fi. A co teprve software ve škole vašich dětí, který jim „optimalizuje“ učení? Vítejte ve světě umělé inteligence (AI), která nám slibuje úžasnou budoucnost. Jenže... co když pod tím nablýskaným povrchem číhají staré známé strašáky?

Nedávno jsem narazil na studii, která mě přinejmenším zaujala, ne-li trochu vyděsila. Hasan Oguz z Turecka se totiž odvážil udělat něco docela provokativního. V práci nazvané „Autoritářské rekurze“ (což zní samo o sobě dost zlověstně) postavil vedle sebe tři věci, které by vás asi nenapadlo spojovat: nacistické Německo, vraždící AI Skynet z Terminátora a běžné aplikace AI, které možná právě teď používáte. Šílené? Možná. Ale Oguz tvrdí, že mechanismy kontroly, manipulace a omezování naší svobody nejsou jen reliktem minulosti nebo námětem pro Hollywood. Podle něj se tyhle vzorce neustále vrací v nových, digitálních podobách a nenápadně formují naši realitu.

Digitální stíny minulosti v podání AI. Kredit: MS Copilot

Pojďme se na tuhle trochu mrazivou, ale podle mě důležitou myšlenku podívat blíž. Zkusme vystopovat ozvěny totality a sci-fi nočních můr v kódu, který čím dál víc řídí naše životy. A slibuju, nebudeme jen strašit. Podíváme se i na to, co s tím.

Duch Skynetu v moderní válce

Pamatujete na Terminátora? Vojenská AI Skynet se „probudí“, rozhodne, že lidstvo je problém, a... no, víte jak. Jasně, je to film. Ale Oguz argumentuje, že logika Skynetu – tedy nekontrolovaná autonomie stroje vedoucí ke katastrofě – se nepříjemně podobá obavám z reálných „smrtících autonomních zbraňových systémů“ (LAWS).

Mluvíme o dronech a dalších hračkách, které dokážou samy najít, sledovat a zlikvidovat cíl. Bez toho, aby u toho seděl člověk s joystickem. Zastánci říkají: „Přesnější, méně omylů, méně obětí!“. Kritici (a Oguz s nimi) se ptají: „A kdo ponese odpovědnost, když autonomní dron sejme svatbu místo teroristů? Jak zajistíme, aby algoritmus dodržoval pravidla války, když je to pro nás často neprůhledná černá skříňka?“.

Už to není jen teorie. V konfliktu v Náhorním Karabachu (2020) se objevily takzvané „vyčkávací munice“ jako izraelský Harop – drony kamikadze, které krouží a samy si hledají, do čeho narazit. Posouváme hranici rozhodování o životě a smrti na stroje a měli bychom si sakra dobře rozmyslet, jestli je to dobrý nápad. Oguz varuje: logika Skynetu, kdy se technologie vymkne kontrole, je nebezpečně blízko. A aby toho nebylo málo, systémy rozpoznávání obličejů, které tyto zbraně mohou používat, jsou často „rasistické“ – hůře rozpoznávají lidi s tmavší pletí, což zvyšuje riziko tragických omylů u určitých skupin.

Hitlerjugend 2.0, nebo jen lepší učení? AI ve škole

Přesuňme se z bojiště do školních lavic. I tady Oguz nachází znepokojivé paralely, tentokrát s nacistickým Německem. To systematicky využívalo školství a mládežnické organizace (jako Hitlerjugend) k indoktrinaci, potlačování kritického myšlení a vynucování jediné správné ideologie. Jak to souvisí s AI?

Moderní vzdělávací technologie (EdTech) na AI hodně sází. Adaptivní platformy (znáte třeba Duolingo?) slibují učení na míru každému studentovi. Zní to skvěle, ne? Personalizace, efektivita... Ale Oguz upozorňuje na stinnou stránku. Algoritmy mohou nevědomky vytvářet „filtrační bubliny“. Tím, že studentovi ukazují jen to, co systém vyhodnotí jako „vhodné“, mohou omezovat jeho rozhled, potlačovat různorodost a vést k intelektuálnímu zúžení, které až příliš připomíná ono ideologické silo.

A pak je tu dohled. Software, který pomocí AI sleduje studenty u online zkoušek (jako Proctorio nebo ExamSoft ) – kam koukají, jestli moc nekroutí hlavou, co se šustne v pozadí – aby odhalil podvádění. Tyto nástroje čelí kritice za chyby, diskriminaci (ano, zase často vůči menšinám) a neprůhlednost. V Číně jdou ještě dál: program „Ostré oči“ (Sharp Eyes) pomocí kamer s rozpoznáváním emocí sleduje pozornost a náladu dětí v reálném čase a data posílá učitelům i úřadům. Oguz se ptá: Nevychováváme si takhle generaci zvyklou na neustálý dohled a algoritmické posuzování? Není „optimalizace učení“ někdy jen hezčí název pro „optimalizaci poslušnosti“? Přiznám se, že z téhle představy mi trochu běhá mráz po zádech.

Neviditelná ruka propagandy: Jak algoritmus tvaruje váš názor

Třetí oblastí jsou média a veřejný diskurz. Nacisté byli mistři propagandy, využívali tisk, rádio a film k šíření své ideologie a manipulaci. Dnes tuto roli z velké části přebírají algoritmy sociálních sítí a dalších online platforem.

AI řídí, co vidíte na Facebooku, TikToku nebo Twitteru (X). Cílem často není dát vám vyvážený přehled, ale udržet vás co nejdéle u obrazovky – maximalizovat „engagement“. A co nás udrží? Často obsah, který je senzační, emocionální, polarizující. Algoritmy tak mohou snadno vytvářet a posilovat „ozvěnové komory“ a „filtrační bubliny“, kde vidíme jen to, co už si myslíme. To nahlodává naši schopnost vést rozumnou debatu a dělá nás zranitelnějšími vůči dezinformacím a manipulaci (vzpomeňme na kauzy jako americké volby 2016 nebo Brexit ). V autoritářských zemích jako Čína se AI používá k masivní cenzuře a posilování prorežimních narativů. Výsledek? Podle Oguze (a dalších, jako je Shoshana Zuboff ) postupné podrývání důvěry v média, instituce a demokracii samotnou.

Co se tedy opakuje? Anatomie algoritmické kontroly

Když se na to podíváme, Oguz nachází několik společných, opakujících se vzorců, jak se AI může stát nástrojem kontroly:

1. Eroze lidské kontroly a autonomie: Stroj rozhoduje místo člověka, často bez možnosti smysluplného zásahu nebo odvolání.
2. Zesilování předsudků (bias): AI trénovaná na datech z našeho neférového světa tyto křivdy nejen kopíruje, ale často i prohlubuje, což postihuje především marginalizované skupiny.
3. Normalizace dohledu: Sledování našeho chování se stává všudypřítomným a je ospravedlňováno bezpečností či efektivitou.
4. Neprůhlednost (Opacity): Rozhodovací procesy AI jsou často „černou skříňkou“, což znemožňuje kontrolu a odpovědnost.

Pointa Oguzovy studie je silná a znepokojivá: Nejde jen o technologii. Jde o hluboce zakořeněné vzorce moci a kontroly v novém hávu. Ignorovat historii (a dokonce i sci-fi varování) znamená riskovat, že je budeme slepě opakovat.

Je světlo na konci digitálního tunelu?

Tak co, máme se bát digitální totality? Oguz (a já s ním doufám) si to nemyslí. Jeho studie není jen varování, ale i výzva k akci. Co můžeme dělat?

• Člověk ve velíně (Human-in-the-Loop): Navrhovat AI tak, aby důležitá rozhodnutí vždy zůstala v lidských rukou nebo pod lidskou kontrolou.
• Algoritmická transparentnost: Snažit se o AI, jejíž rozhodování můžeme pochopit a zkontrolovat („vysvětlitelná AI“, XAI).
• Etické audity: Pravidelně a systematicky hodnotit AI systémy z hlediska rizik, předsudků a nezamýšlených důsledků.
• Kritická AI gramotnost: Učit se (a učit další generace), jak AI funguje, jaké má limity a jak kriticky hodnotit to, co nám předkládá.
• Participativní design a správa: Zapojit do vývoje a správy AI širší spektrum lidí – nejen techniky, ale i etiky, sociology, právníky a hlavně ty, kterých se technologie týká.

Možná to nejdůležitější poselství je: Technologie není osud. Je to nástroj. My rozhodujeme, jak ho použijeme – našimi hodnotami, naší ostražitostí. Pokud chceme AI, která posiluje svobodu a lidskost, musíme se aktivně bránit tomu, aby kopírovala logiku útlaku.

Takže až příště budete scrollovat nebo používat nějakou tu „chytrou“ appku, zkuste se na ni podívat Oguzovýma očima. Zeptejte se sami sebe: Komu to slouží? Jaké hodnoty jsou v tom kódu? A co můžu udělat já, aby digitální svět byl místem, kde chci žít?

Protože právě v těchhle otázkách a naší ochotě hledat odpovědi je klíč k tomu, abychom nebyli jen pasivními uživateli, ale aktivními tvůrci naší budoucnosti. A to je přece ten nejlepší vztah, jaký můžeme mít – ne nutně k autorovi článku, ale k naší vlastní budoucnosti. Co myslíte?

Kdo jsou autoři, kteří nás varují? (Výběr z Oguzovy studie a kontextu)

• Hasan Oguz: Autor studie „Autoritářské rekurze“, která je základem tohoto článku. Fyzik z Pamukkalské univerzity v Turecku, který propojuje historii, sci-fi a současnou AI, aby odhalil znepokojivé vzorce kontroly.
  • Oguz, H. (2025). Authoritarian Recursions: How Fiction, History, and Al Reinforce Control in Education, Warfare, and Discourse. arXiv preprint arXiv:2504.09030v1 [cs.CY]. [Tato studie]
• Shoshana Zuboff: Emeritní profesorka Harvard Business School. Její klíčové dílo o „dohledovém kapitalismu“ popisuje, jak technologické firmy těží naše osobní data pro zisk a kontrolu chování.
  • Zuboff, S. (2019). The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power. PublicAffairs.
• Cathy O'Neil: Matematička a datová vědkyně. Její kniha „Weapons of Math Destruction“ (Matematické zbraně hromadného ničení) varuje před tím, jak neprůhledné a často nespravedlivé algoritmy ovlivňují naše životy – od úvěrů po zaměstnání.
  • O'Neil, C. (2016). Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Crown Publishing Group.
• Eli Pariser: Internetový aktivista. Proslavil se konceptem „filtrační bubliny“, který popisuje, jak nám personalizované algoritmy na webu ukazují jen to, s čím pravděpodobně budeme souhlasit, a izolují nás od odlišných názorů.
  • Pariser, E. (2011). The Filter Bubble: What the Internet Is Hiding from You. Penguin Press.
• Joy Buolamwini & Timnit Gebru: Výzkumnice (Gebru dříve v Google, Buolamwini na MIT). Jejich průlomová práce „Gender Shades“ odhalila významné rasové a genderové předsudky v komerčních systémech pro rozpoznávání obličejů.
  • Buolamwini, J. and Gebru, T. (2018). Gender shades: Intersectional accuracy disparities in commercial gender classification. Proceedings of Machine Learning Research (PMLR), 81:1-15. (Oguz cituje i další práci Raji & Buolamwini ).
• Ben Williamson: Výzkumník v oblasti vzdělávacích technologií (EdTech). Zkoumá, jak digitální technologie, sběr dat a AI mění vzdělávání, často se zaměřením na rizika dohledu a komodifikace.
  • Williamson, B. (2017). Big Data in Education: The Digital Future of Learning, Policy and Practice. SAGE Publications. (Oguz cituje i další jeho práci).

(Poznámka: Tento seznam není vyčerpávající bibliografií Oguzovy práce, ale výběrem klíčových autorů relevantních pro témata diskutovaná v článku.)