Umělé inteligence tvoří přesvědčivé abstrakty vědeckých článků

Věda se zachvěla v základech. Pronikají do ní umělé inteligence a tvoří tak kvalitní texty, že je mají problém rozeznat i zkušení vědci recenzující pro vědecké časopisy, kteří navíc byli varováni. Vědě hrozí, že bude zaplavena podvrhy vědeckých studií od umělých inteligencí. Naštěstí již existují kvalitní nástroje, jimiž je možné se ve vědě bránit – detektory výtvorů umělých inteligencí. Ironií je, že jde rovněž o umělé inteligence.

Syntetičtí vědci jsou za dveřmi. Kredit: Ottavio de Mattis (1921).

V poslední době se stále více lidí obává toho, že by mohli být nahrazeni roboty či umělou inteligencí. Nebo z toho přinejmenším mají špatný pocit. Jen málokoho by ale ještě nedávno napadlo, že mezi prvními na řadě budou vědci. Jak ukazuje nový výzkum, založený na šikovné konverzační inteligenci ChatGPT, právě vědci by se zřejmě měli poohlížet po dalších možnostech uplatnění svého případného talentu.

Catherine Gaová z americké Northwestern University a její kolegové se, možná poněkud neopatrně, rozhodli zjistit, jestli si ChatGPT dokáže vymyslet věrohodné falešné abstrakty vědeckých publikací. Tak, aby to lidští recenzenti vědeckých časopisů nepoznali. Udělali to a publikovali to. Není známo, zda je při tom polil studený pot, ale nebylo by se čemu divit.

Ukázalo se, že ano, konverzační inteligence ChatGPT dokáže sepsat takové abstrakty vědeckých publikaci tak, aby recenzenti vědeckých časopisů nepoznali. K tomu je dobré dodat dvě věci, které nejsou triviální. Recenzenti v tomto případě nejsou žádná ořezávátka. Jde o erudované vědce, které vědecké časopisy oslovují „za odměnu,“ tedy například za to, že u nich či u konkurence publikovali kvalitní články. Dělat recenze je prestižní záležitost a vědci si na tom obvykle dávají záležet.

Catherine A. Gao. Kredit: Northwestern University.

Druhá věc je, že ačkoliv abstrakty jsou krátkým shrnutím na začátku odborného článku a vypadají jednoduše, ve skutečnosti je tvorba abstraktů jednou z nejobtížnějších a nejméně oblíbených součástí tvorby vědeckých publikací. Zároveň jsou nesmírně důležité, protože podle nich se ostatní vědci rozhodují, zda si přečtou celý článek. Typicky se píšou úplně poslední, protože vědci nezřídka překvapeně zjistí, že článek je vlastně o něčem poněkud jiném, než původně zamýšleli. Jinými slovy, když inteligence zvládne stvořit důvěryhodný abstrakt, zvládne všechno.

Jak takový výzkum vypadal? Lidští recenzenti, tedy vědci, dostali směs abstraktů sepsaných lidmi a inteligencí ChatGPT. Ukázalo se, že recenzenti označili celých 32 procent abstraktů generovaných umělými inteligencemi za pravé, tedy za lidský výtvor. Naopak 14 procent pravých abstraktů považovali za výtvor umělé inteligence. Jde o vysoká čísla, zvláště s přihlédnutím k tomu, že recenzenti o experimentu věděli a údajně byli velmi podezřívaví. V běžném vědeckém provozu by zřejmě šlo o ještě podstatně vyšší procenta.

Podle vyjádření Gaové se rýsuje velký problém. Podvržené abstrakty nebo celé odborné články podkopávají vědu a její pověst. Umělé inteligence by mohly být zneužívány množírnami vědeckých publikací „paper mills,“ které rýžují peníze z tvorby falešných vědeckých publikací. Současně je to jedna z možných strategií, kterou může využívat Čína a další orientální despocie proti Západu – sabotáž vědy. Falešné články mohou zmást vědce, zavést výzkum do slepé uličky nebo i ohrozit životy.

Logo. Kredit: Northwestern University.

Co s tím? Je ironií a zároveň příznakem dnešní doby, že by s falešnými abstrakty a vědeckými publikacemi od umělých inteligencí zřejmě nejlépe pomohly – umělé inteligence. Badatelé totiž otestovali nejen lidské recenzenty, ale také detektor produktů umělých inteligencí (AI output detector), jako je například GPT-2 Output Detector, který je dostupný online a zdarma. Detektor fungoval velmi úspěšně. Badatelé doporučují, aby se těmito detektory vybavily redakce vědeckých časopisů.

Nedávné zprávy ze světa médií zase ukazují, že pokud jde o nahrazení zaměstnanců inteligencemi, tak tam se už věci daly do pohybu. Vyšlo najevo, že americká mediální společnost CNET již celé měsíce na svém webu publikuje články z oblasti financí, které údajně nejsou špatné, kompletně sepsané umělou inteligencí, vystupující pod pseudonymem CNET Money. Umělé inteligence jsou tady a musíme se s nimi naučit žít.

Video: Umělá inteligence, která strčí Google i Siri do kapsy. ChatGPT od OpenAI