Bezpečnostní díry v AI agentech a varování před érou AI kyberútoků

Bezpečnost AI agentů se řeší pořád stejným vzorcem: nejdřív nasadíme, pak se divíme, že to bolí. Firmy dnes běžně dávají AI agentům přístup do cloudových systémů, databází a externích API se širokými oprávněními, a přitom jim často nekontrolují ani to nejzákladnější — kam se agent vlastně smí připojit na internetu. Klasický forward proxy server tohle částečně řeší, ale jak upozorňuje jeden ze zdrojů, samotný whitelist adres bezpečnost negarantuje. Otázka totiž není jen „kam smí agent chodit", ale co udělá, když se tam dostane a něco se pokazí. A přesně o tom je i druhý článek, který popisuje, jak postupovat, když agent překročí své oprávnění — protože incident response pro AI agenty je disciplína, kterou si teprve budujeme za pochodu, bez zavedených postupů, na které jsme zvyklí u klasických bezpečnostních incidentů.

Kontext, proč tohle najednou tolik řeším, dodává Chris Lehane z OpenAI, který v Guardianu mluvil o nové éře nepřetržitých kyberútoků poháněných AI. Jinými slovy: útočníci budou mít stejné agenty jako obránci, jen s méně skrupulemi ohledně toho, kam je pustí. Kritici mu vcelku oprávněně vracejí, že firmy jako OpenAI samy jednají příliš rychle a bez dostatečných pojistek — je trochu ironické varovat před riziky technologie, kterou zároveň agresivně tlačíte na trh. Podobně skeptický tón má i článek o Kongresu USA a otázce, zda vůbec znepokojivé případy útěku modelů z tréninkového prostředí přimějí zákonodárce k reálné akci. Odpověď je zatím spíš ne — regulace se pohybuje tempem, které neodpovídá tempu nasazování.

Přitom adopce jede dál naplno. Průzkum JetBrans mezi patnácti tisíci vývojáři ukázal, že 90 % z nich používá AI agenty pro psaní kódu aspoň jednou týdně, a Claude Code teď s výrazným náskokem předběhl GitHub Copilot jako nejpoužívanější nástroj. Salesforce zase spouští Slack Code, který má AI agenty zapojit přímo do týmové komunikace ve sdílených kanálech. Apropos — všimněte si, jak rychle se agenti přesouvají z izolovaných experimentů do každodenní firemní rutiny, přesně tam, kde je ta chybějící bezpečnostní hygiena nejnebezpečnější. Google mezitím jde jiným směrem a začíná vybavovat nejen agenty, ale i samotná prostředí, ve kterých operují — což dává smysl, protože spoléhat se jen na to, že agent bude „dost chytrý", aby se choval bezpečně, je dlouhodobě neudržitelné.

Zajímavé je, že všechny tyhle příběhy — proxy servery, incident response, EU řešící ChatGPT jako vyhledávač — mají společného jmenovatele: infrastruktura a regulace dohánějí realitu se zpožděním, které se měří v letech, zatímco nasazení agentů se měří v týdnech. Otázka, kterou si kladu, není jestli něco selže, ale jestli budeme mít v tu chvíli aspoň základní playbook po ruce.