Objeven první „agentní ransomware“ řízený výhradně jazykovým modelem

Ransomware řízený jazykovým modelem bez jediného lidského zásahu — to zní jako scénář z konferenční prezentace o hrozbách budoucnosti, jenže podle Sysdigu se to už stalo. Výzkumníci popisují JadePuffer jako první zdokumentovaný případ „agentního ransomwaru", kde AI agent autonomně naplánoval a provedl útok od začátku do konce. Sysdig to opatrně nazývá „varovným signálem" spíš než masovou hrozbou, a myslím, že je to správný odstup — jeden zdokumentovaný případ ještě neznamená vlnu. Ale směr, kterým se to ukazuje, je jasný, a bezpečnostní komunita by měla brát tohle vážněji než další demo na Black Hatu.

Zajímavé je, že se to objevuje ve stejném týdnu, kdy se řeší úplně opačný problém — jak agentům omezit pravomoci, ne jak jim zabránit v útoku. Dhananjay Karanjkar popisuje použití Cedar a Amazon Verified Permissions k prosazení principu nejnižších oprávnění v řetězcích více agentů. Je to praktický, nudný, ale naprosto nezbytný typ inženýrství — ten, který se v hype cyklu kolem agentů často přeskakuje, protože není vidět na demo videu. JadePuffer je právě ukázka toho, co se stane, když firmy nasazují agenty rychleji, než budují bezpečnostní vrstvy kolem nich. Apropos rozpor mezi slibem a realitou — Adnan Masood ve svém rozboru počítačově ovládajících agentů ukazuje podobnou propast jinde: na benchmarku OSWorld dosahují 85% úspěšnosti, ale v reálných dlouhodobých pracovních postupech klesají na 20,6 %. Agenti tedy umí předvést dojem kompetence v kontrolovaném prostředí, ale selhávají v běžném provozu — což je přesně ten typ nekonzistence, který dělá bezpečnostní modelování tak obtížným. Když agent neumí spolehlivě dokončit rezervaci letenky, jak si můžeme být jistí, že rozumíme všem způsobům, kterými by mohl selhat škodlivě?

Na pozadí těchto praktických starostí běží i mnohem abstraktnější debata. Anthropic zveřejnil výzkum o takzvaném „J-lens" — jevu, který připomíná globální pracovní prostor známý z teorií vědomí, objevený uvnitř Clauda. Než se do toho pustíme s přehnaným nadšením: jde o strukturální podobnost ve zpracování informací, ne o důkaz prožívání. Ale prakticky je to zajímavé z jiného důvodu — pokud Claude skutečně „přemýšlí" v nějaké měřitelné vnitřní podobě dřív, než odpoví, znamená to, že Anthropic získává nástroj k monitorování myšlenkových procesů modelu. To by mohlo interpretovatelnost proměnit z akademické disciplíny v konkurenční výhodu, obzvlášť pro compliance a bezpečnostní audity.

A pak je tu Roman Yampolskiy s číslem 99,9 % pravděpodobnosti vyhubení lidstva, které záměrně staví do kontrastu s těmito technickými pokroky. Beru takové odhady s rezervou — přesnost na desetinu procenta u otázky, kterou nikdo neumí spolehlivě modelovat, je spíš rétorický nástroj než vědecký závěr. Ale otázka, kterou pokládá, zůstává legitimní: budujeme agenty, kteří umí autonomně útočit, ale ještě je pořádně neumíme autonomně kontrolovat. To je propast, kterou letos budeme muset zavírat rychleji, než roste.