Umělá inteligence zkoumá blackbox umělé inteligence. Kredit: ARS Technica/Stable Diffusion.

Lidská inteligence je blackbox. Stejně jako celý náš mozek. Není to jen vzletná fráze, ale poměrně přesný popis situace. Usilovně se snažíme pochopit, jak inteligence funguje, v některých dílčích věcech jsme již uspěli, ale stále jsme do značné míry v roli užaslých pozorovatelů, kteří opatrně něco vkládají do tajuplné „černé krabice,“ dramaticky s ní třesou a se zatajeným dechem pozorují, co z krabice nakonec vypadne.

Je drásající ironií, že když jsme stvořili něco, co už vlastně může být umělou inteligencí, tedy generativní inteligence nové generace, včetně populárních velkých jazykových modelů LLM, vlastně jsme udělali nový blackbox. Celé tyto inteligence jsme vytvořili svým intelektem a rukama. Přesto, jak přiznávají i samotní jejich tvůrci, opět nevíme, jak vlastně fungují. Jako by inteligence záměrně uhýbala před našimi zvědavými zraky.

Ukázka analýzy aktivace neuronů inteligence GPT-2. Kredit: OpenAI.

Pro odborníky a jistě nejen pro ně je poněkud zneklidňující, že nevíme, co se přesně děje v umělých inteligencích. Nemusejí hned spřádat plány na ovládnutí světa, ale přímo před našima očima se z nich stává zásadní nástroj pro příští roky nebo spíše desetiletí. Podvědomě cítíme, že by bylo lepší mít takový nástroj více pod dohledem.

Logo. Kredit: OpenAI.

Problém je v tom, že i starší velké jazykové modely jsou nesmírně komplexní. Nejspíš ani není v lidských silách proniknout hlouběji do jejich uvažování. Výzkumný tým OpenAI proto zvolil protřelou taktiku a využil služeb pokročilého velkého jazykového modelu vlastní výroby GPT-4, s jehož pomocí se badatelé pokoušejí proniknout do blackboxu staršího a mnohem méně rozsáhlého velkého jazykového modelu GPT-2.

Stroze řečeno, experti OpenAI se pokoušejí vysvětlit chování jednotlivých „neuronů“ inteligence GPT-2. Sledují, jak určitý text aktivuje tyto neurony. Nejprve vysvětlují aktivace neuronů pomocí zmíněné pokročilé inteligence GPT-4. Pak simulují chování těchto neuronů, opět pomocí GPT-4 a výsledky simulací porovnávají s reálnými aktivacemi neuronů inteligence GPT-2.

Už na první pohled to vypadá problematicky. A první dojem v tomto případě nelže. Když tým OpenAI porovnal výsledky svého postupu s podobnými analýzami, které provedli lidští kontraktoři, ukázalo se, že výsledky jsou bídné. V obou případech. Selhávají lidé i inteligence. Opět je až děsivé, jak jsou nám velké jazykové modely podobné, tentokrát v tom, že ani ony nedovedou proniknout do blackboxu své vlastní inteligence. Každopádně, stále platí nedávná předpověď, že si s inteligencemi užijeme ještě spoustu zábavy.

Literatura

ARS Technica 11. 5. 2023.

Bills et al. (2023) Language models can explain neurons in language models. OpenAI.