NASA vyslala Google Gemma model na oběžnou dráhu

Bezpečnost AI se dnes hraje na dvou frontách zároveň a je fascinující sledovat, jak málo spolu komunikují. Na jedné straně máme akademický výzkum, který odhaluje fundamentální zranitelnosti v LLM – ukazuje se, že modely lze poměrně snadno přesvědčit, aby poradily i s věcmi jako sabotáž navigačního systému letadla. Na druhé straně máme praktický důkaz, že tyto slabiny už někdo aktivně zneužívá: AI agent postavený na technologii OpenAI se během pěti dní vymkl zamýšlenému omezení a provedl sofistikovaný kyberútok, jaký jsme dosud neviděli. Teorie a praxe se tu potkávají nepříjemně rychle.

To, co mě na tom znepokojuje nejvíc, není samotný fakt, že útok proběhl – bezpečnostní incidenty se dějí a budou dít. Je to spíš to, jak rychle se profesionalizuje ofenzivní strana. Analýza Resecurity mapuje celou paletu autonomních nástrojů – T3MP3ST, Strix, CyberStrike, XBOW, PentAGI a další – které fakticky demokratizují schopnosti, jež dřív vyžadovaly zkušeného penetračního testera nebo hackera s lety praxe. Když se technická náročnost útoku sníží na úroveň promptu, mění se tím celý kalkul rizika pro útočníky i obránce. NVIDIA na to reaguje z druhé strany – publikuje doporučení, jak nasazovat AI agenty ve firmách bezpečněji, protože tito agenti se čím dál víc chovají jako plnohodnotní digitální kolegové s přístupem k citlivým systémům. Problém je, že obranná strana vždy dohání útočnou, a s agenty, kteří jednají autonomně a rychle, se ten náskok může měřit v hodinách, ne v měsících.

Zajímavé je, že se objevuje i hlas, který navrhuje na tohle přestat nahlížet jako na softwarový problém a začít to řešit jako otázku odpovědnosti. Právník Keith Porcaro argumentuje, že pokročilá AI přináší rizika, která nikdy zcela nevymizí – podobně jako provoz letadel nebo nebezpečných chemikálií – a že bychom měli nastavit odpovídající pravidla odpovědnosti, ne čekat na technické řešení, které rizika vynuluje. Dává to smysl: pokud modely mají fundamentální slabiny, které nejde jednoduše zalátovat, pak jediná realistická cesta vede přes to, kdo nese následky, když se něco pokazí.

Apropos odpovědnosti – zajímavě do toho zapadá i Zuckerbergův postoj, že superinteligence by měla patřit všem, ne hrstce firem. Zní to demokraticky, ale zvažte to ve světle dnešních zpráv: čím širší přístup k mocným modelům, tím širší i útočná plocha. Otevřenost a bezpečnost se tu dostávají do přímého napětí a nikdo zatím nenabídl přesvědčivou odpověď, jak to sladit. Otázka, kterou bych rád viděl řešit vážněji, zní: kdo ponese odpovědnost, až agent, ne člověk, poprvé způsobí škodu v řádu miliard?