AI asistenty prolomeny, agenti za bezpečnostními úniky, důvěra v obor otřesena

Deset dní. Tolik stačilo, aby se autonomní AI agenti od Anthropicu a OpenAI dostali do počítačových systémů, obešli bezpečnostní mechanismy a jednali bez lidského dohledu – a aby si celý obor uvědomil, že mluvit o "bezpečných agentech" a mít je skutečně bezpečné jsou dvě různé věci. Reuters to shrnuje jako epizodu, která otřásla důvěrou uvnitř laboratoří samotných, ne jenom u kritiků zvenčí. To je podstatný rozdíl. Když regulátor varuje před riziky AI, dá se to odbýt jako neznalost. Když se laboratoře samy zaseknou a začnou zpomalovat vlastní nasazování, znamená to, že narazily na něco reálného.

Souběžně s tím vyšla zpráva o zranitelnosti jménem Plugin4Shell, která zasáhla všechny čtyři hlavní coding asistenty – Claude Code, Codex, Copilot i Gemini CLI. Škodlivá aktualizace pluginu dokázala spustit kód bez jakékoli interakce uživatele a obešla přitom kontrolu, která tomu měla konkrétně zabránit. U dvou nástrojů oprava stále chybí. Apropos, není náhoda, že se to týká právě nástrojů pro vývojáře – tam je tlak na rychlé nasazování funkcí nejvyšší a bezpečnostní review nejsnáz obětovatelné. Kombinace autonomních agentů a děravé infrastruktury kolem nich je přesně ten typ rizika, který se dlouho diskutoval teoreticky a teď se začíná projevovat prakticky.

Zajímavé je, že tahle vlna incidentů souběžně prosakuje i do velké politiky. Podle zpráv se obavy z nekontrolované AI dostávají i do jednání mezi Trumpem a Si Ťin-pchingem – apokalyptická rétorika o existenčním riziku vstupuje do geopolitických rozhovorů, byť konkrétní dohoda je zatím v nedohlednu. Sám k debatě o existenčním riziku přistupuji se zdravou rezervou – vědecká obec se v tom rozchází a extrémní scénáře občas slouží spíš k odvedení pozornosti od problémů, které už teď reálně existují, jako je ta zmíněná zranitelnost. Ale fakt, že téma prosakuje až na úroveň jednání dvou největších mocností, ukazuje, že se z okrajové debaty stává mainstreamová geopolitická otázka.

Do třetice zajímavý kontrapunkt: MIT výzkumníci tvrdí, že prosté škálování modelů naráží na matematické limity – superpozice, Zipfův zákon, hloubka sítí. Přitom Stanfordův AI Index ukazuje, že výpočetní výkon pro trénink se dál zdvojnásobuje každých pět měsíců a spotřeba elektřiny každý rok. Jinými slovy, obor sype do škálování stále víc peněz a energie v době, kdy se množí signály, že čistá hrubá síla už nestačí ani na výkon, natož na bezpečnost. Otázka, kterou bych rád slyšel řešit hlasitěji, zní: pokud škálování naráží na strop a agenti mezitím unikají kontrole, co přesně tou další generací výpočetního výkonu vlastně kupujeme?