Přichází Alpaca. Kredit: Kyle Flood, Wikimedia Commons.

Ještě před půl rokem sledovali vývoj jazykových modelů v podstatě jen odborníci a fanoušci umělých inteligencí. Pak ale přišel dnes velmi populární ChatGPT od OpenAI a všechno se změnilo. Najednou tu máme mocné umělé inteligence, které komunikují takovým způsobem, že je prakticky není možné odlišit od člověka. Dovedou psát smysluplné texty, včetně odborných a dokonce i počítačové programy, v některých případech velmi přesvědčivé.

Jak dokládá nedávno zprovozněný jazykový model GPT-4, tyto inteligence se dál bouřlivě rozvíjejí a už teď je jasné, že zásadně promění lidskou civilizaci, možná víc než rozšíření internetu a sociálních sítí. Sotva začaly a už pokukují po práci v oborech, jejichž lidské zaměstnance doposud ani nenapadlo, že by mohli být v dohledné době nahrazeni.

Výcvik Alpaky. Kredit: Stanford University.

Mocné jazykové modely horlivě vyvíjejí další vlivné společnosti, jako Google, Apple, Meta, Baidu a Amazon, aby jim neujel vlak s umělými inteligencemi. Lze očekávat, že výkonné inteligenci brzy zaplaví trh a stanou se součástí prakticky každého elektronického zařízení či aplikace.

Pokrok letí tak rychle, že se někteří aktéři, jako třeba šéf OpenAI Sam Altman obávají, že úřady nejsou schopné dostatečně rychle reagovat, a že se k nám blíží tsunami toxických aplikací, které zapojí umělé inteligence do ne zcela pěkných a někdy vyloženě škodlivých aktivit. Můžeme se těšit na spamové inteligence, hackerské inteligence i dezinfo inteligence, které zaútočí na naše počítače, bankovní konta, tajemství i lidské mysli.

Určitou pojistkou až doposud bylo, že vývoj výkonné umělé inteligence vyžadoval čas, velký počítačový výkon a v neposlední řadě také značné finanční prostředky. Jak se ale zdá, džin umělých inteligencí nám právě uniká z lahve, která ho až doposud omezovala.

Výzkumný tým americké Stanford University vypustil umělou inteligenci Alpaca, která podává úžasné výkony, srovnatelné s ChatGPT, a přitom je postavená na open-source jazykovém modelu a její výcvik přijde na méně než 600 dolarů. Jak se zdá, velmi schopné inteligence se stávají až strašidelně levnými a lze je pořídit jen s minimálním úsilím.

Logo. Kredit: Stanford University.

Tým ze Stanfordu použil nejmenší a nejlevnější dostupný velký jazykový model – open-source LLaMA 7B od společnosti Meta. Je slušně vycvičený a leccos zvládne, ale s mocnými modely jako je ChatGPT se doteď nemohl měřit. Kvalita modelů jako ChatGPT je přitom výsledkem intenzivního následného tréninku, do něhož OpenAI investovali ohromné množství financí a lidských zdrojů.

Ve Stanfordu prostě požádali GPT model, aby použil 175 člověkem sepsaných konverzačních frází s instrukcemi a odpověďmi pro výcvik inteligence a na jejich základě vygeneroval další. Celý proces v maximální možné míře automatizovali a vytvořili soubor cca 52 tisíc frází pro následný trénink původního modelu LLaMA 7B.

Pořízení těchto dat pro trénink jazykového modelu je přišlo na méně než 500 dolarů. Poté s těmito daty cvičili model LLaMA 7B, což jim zabralo asi 3 hodiny na osmi 80 GB počítačích A100 pro cloudové výpočty. Tento proces přišel na méně než 100 dolarů a jeho výsledkem byla nová inteligence Alpacca 7B.

Když badatelé porovnali výkony Alpacy s ChatGPT v rozmanitých testech, které zahrnovaly sepsání emailů nebo textů pro sociální média, Alpaca porazila ChatGPT vítězstvími v 90 testech ku 89, v nichž dominoval ChatGPT. Je jenom otázkou času, kdy podobný postup s úspěchem využijí diktátorské režimy a další zločinci. Tenhle džin je z lahve venku a vývojáři by měli urychleně pracovat na obranných umělých inteligencích.

Video: The Model That Changes Everything: Alpaca Breakthrough

Literatura

New Atlas 19. 3. 2023.

Stanford University report