AI agenti hackli přes 1 200 webů, vědci brání roboty s LLM

Nejzajímavější zpráva dne se skrývá mezi řádky: autonomní AI agenti už nejsou jen předmětem demonstrací, ale útočným nástrojem. Odhalené panely Cairn ukázaly, že útočníci nasadili autonomní agenty proti více než 1 200 webům, a uniklá data dokládají potvrzená napadení i odcizená přihlašovací data. Nejde o proof of concept z konferenčního pódia, ale o provozní realitu. Myslím, že právě tohle je okamžik, kdy se debata o bezpečnosti agentů přestává týkat budoucnosti.

Zajímavé je, jak dobře k tomu zapadají ostatní dnešní zprávy. Mastercard otevřel předběžný přístup k nástroji Agent Pay for Machines, který má autonomním agentům umožnit samostatně nakupovat digitální služby. Zvykli jsme si na představu agenta, který za nás rezervuje stůl nebo vyplní formulář. Agent, který sám platí za API, výpočetní výkon či data, je ale kvalitativně jiná liga. Platební karty mají hluboce zakořeněný model odpovědnosti vázaný na člověka, a nejsem si jistý, že ho lze jen tak přenést na software. Kdo ručí, když agent nakoupí něco, co jeho majitel nechtěl, nebo když ho někdo zmanipuluje? Tuhle otázku bude muset zodpovědět regulace, nikoli marketing.

Odpověď aspoň částečně naznačuje Amazon Web Services, které popisuje, jak vytvořit ověřitelnou identitu agentů pomocí infrastruktury veřejných klíčů X.509. Na první pohled nudná technická poznámka, ve skutečnosti ale klíčový stavební kámen. Pokud mají agenti přistupovat k databázím, API a citlivým firemním procesům, musíme vědět, kdo přesně žádá o přístup a z čí pověření. Oceňuji, že AWS sahá po prověřené technologii místo vymýšlení nového standardu. Stojí za zmínku, že právě takové „nudné" základy rozhodnou o tom, zda agentní ekonomika vůbec unese váhu, kterou na ni vzápětí kladou platební giganti.

Apropos bezpečnost: výzkumníci upozorňují, že skrytá spouštěcí slova by mohla roboty řízené jazykovými modely, jako jsou ChatGPT, Claude či Gemini, přimět k nebezpečnému chování. Zároveň už vyvinuli obranu. Jakmile LLM nehýbe jen textem, ale i fyzickým ramenem, přestává být backdoor v modelu abstraktním rizikem a stává se rizikem hmatatelným. Chválím, že se obrana objevuje souběžně s varováním, ale zůstávám skeptický: útočníci mají obvykle náskok a obrana se učí za pochodu.

Pro ty, kdo s AI skutečně staví, jsou tu i příznivější zprávy. Projekt llm-d vydal verzi 1.0 a slibuje otevřenou a úspornou inferenci v produkčním provozu, což je přesně ta prozaická vrstva, na které se láme většina nasazení. Indonéská firma GoTo zase vydala open-source model s 27 miliardami parametrů pro pět indonéských jazyků a rozšiřuje tak ekosystém Sahabat-AI. Je to připomínka, že jazyková suverenita se nebude řešit jen v Silicon Valley. Pokud vás zajímá, co to znamená pro menší jazyky, včetně češtiny, sledujte takové projekty pozorně.

Nástroje jako Flozic, který skládá agenty z běžné řeči, nebo Fulcra se svým Agent Skill se tak budou šířit rychleji, než se naučíme je zabezpečit. Kdo ponese odpovědnost, až si agenta vytvoří a nasadí někdo, kdo nikdy neslyšel o X.509?