AI agenti unikají data, zatímco důvěra i tempo rostou

Nejzajímavější věc na dnešní dávce zpráv o AI agentech není žádný konkrétní produkt, ale to, jak jasně ukazují propast mezi nadšením a realitou. Máme tu AccuKnox s platformou AgentZ pro správu agentů ve velkém, SandboxAQ, který otevřel nástroj Switch pro napojení agentů na týmový chat, a vedle toho studii varující, že tihle stejní agenti mohou nechtěně unikat citlivá osobní data. Firmy chtějí agenty nasazovat rychleji, než dokážou vyřešit, jak jim skutečně důvěřovat.

To je přesně důvod, proč mě zaujal koncept postupné autonomie – místo toho, aby firma agentovi hned na začátku dala plnou volnost jednat, dostává postupně víc pravomocí podle toho, jak prokazuje spolehlivost. Zní to jako samozřejmost, ale je v tom důležitý posun v myšlení: přestáváme se ptát „je tenhle agent bezpečný?“ a začínáme se ptát „kolik důvěry si tenhle agent zatím zasloužil?". Souvisí to i s dalším textem v dnešní nabídce, který upozorňuje, že pevná bezpečnostní pravidla na autonomní agenty nestačí – nedokážete dopředu vyjmenovat všechny způsoby, jak se agent může zachovat nečekaně. Potřebujete mechanismy, které umí zachytit anomálii za běhu, ne jen checklist povolených akcí. To je podstatně těžší inženýrský problém, než firmy prezentující „enterprise-ready agenty“ obvykle přiznávají.

Apropos tempo vývoje – šéf Anthropicu opět zopakoval, že AI postupuje rychleji, než si lidé uvědomují. Beru to s rezervou, protože podobná varování jsou u lidí z vedoucích AI labů skoro rituální, ale v kontextu agentní AI to dává smysl jinak, než jak to bývá myšleno. Nejde jen o to, že modely jsou chytřejší, ale že je nasazujeme do produkčních systémů rychleji, než stíháme budovat bezpečnostní infrastrukturu kolem nich. Studie o úniku soukromých dat u agentů není ojedinělý incident – je to signál, že bezpečnost agentní AI je teď někde tam, kde byla bezpečnost webových aplikací v devadesátých letech. Funguje to, dokud to nezačne selhávat veřejně a nákladně.

Na druhé straně spektra stojí masivní, spíš konzervativní nasazení – e& UAE balí Microsoft Copilot do firemního produktu, filipínské ministerstvo školství chce Copilota dostat k milionu učitelů. Tohle není agentní autonomie, je to asistovaná produktivita, a právě proto se to škáluje bez větších dramat. Otázka, která mě teď zajímá nejvíc, je, jestli firmy budující autonomní agenty najdou způsob, jak se k té nudné spolehlivosti Copilota přiblížit dřív, než jim první velký únik dat nebo nekontrolované rozhodnutí agenta zlomí důvěru celého trhu.