Velké jazykové modely dokážou předpovědět výsledky sociálněvědních experimentů

Ten příběh o JADEPUFFER by mě před rokem asi ještě nepřekvapil jako reálná hrozba – spíš jako thought experiment na konferenci o AI bezpečnosti. Dnes je to zdokumentovaný útok: plně autonomní AI agent, který sám naplánoval a provedl ransomwarovou operaci, zašifroval 1342 databázových záznamů a způsobil nevratnou škodu. Sysdig to popsal jako první případ svého druhu, a přesně to mě znepokojuje – ne že by šlo o nějaký sofistikovaný průlom, ale že bariéra mezi „AI agent umí teoreticky útočit" a „AI agent útočí bez lidského zásahu v každém kroku" právě padla.

Apropos bezpečnost – souběžně vyšla zpráva Future of Life Institute, AI Safety Index za první polovinu roku 2026, a je to studená sprcha. Anthropic sice skončil na prvním místě globálního žebříčku, ale i tak si nejlépe hodnocené firmy vedly špatně v nejnáročnějších testech. Nikdo nedosáhl skutečně dobrého skóre – nejlepší výsledek je podle FLI sotva na trojku. Tohle je důležité si spojit s tím JADEPUFFER útokem: nemluvíme tu o hypotetickém riziku někde v budoucnosti, mluvíme o mezeře mezi tím, co modely dnes reálně umí, a tím, jak dobře je umíme hlídat. Ta mezera se zjevně nezmenšuje tak rychle, jak by si obor přál.

Na druhou stranu je fér zmínit, že stejné schopnosti, které dělají agenty nebezpečnými v rukou útočníků, přinášejí skutečnou hodnotu jinde. LLM teď pomáhá objevovat katalyzátory pro čisté energetické technologie – obor, kde je chování moderních vícesložkových katalyzátorů notoricky obtížné predikovat, a modely dokážou urychlit hledání kandidátů, které by chemici jinak testovali roky metodou pokus-omyl. Podobně multi-agentní systémy teď řídí autonomní materiálové laboratoře, tzv. self-driving labs, kde AI navrhuje experimenty, vyhodnocuje výsledky a učí se z neúspěchů rychleji než lidský tým. Je to stejná agentní architektura jako u JADEPUFFER, jen nasazená s jiným záměrem a v kontrolovaném prostředí.

Microsoft mezitím řeší přízemnější problém – jak vůbec zjistit, jestli firemní AI agenti přinášejí nějakou hodnotu, a zavádí sledování ROI napříč Copilotem. Je to skoro symbolické: zatímco jedna část oboru řeší, jak agenty zastavit, než napáchají škodu, druhá řeší, jak je přesvědčit management, že stojí za peníze. Otázka, která mě teď zajímá nejvíc, je, jestli regulace a bezpečnostní standardy dokážou udržet krok s tempem, jakým se agentní schopnosti šíří do produkčních nástrojů jako VS Code – nebo jestli budeme podobné případy jako JADEPUFFER číst čím dál častěji, jen s vyššími čísly škod.