Ransomwarový útok, který podle Sysdig zdokumentovali tento týden, by měl vystřízlivět každého, kdo AI agenty ještě vnímá jako pomocníky na psaní e-mailů. Nešlo o člověka s AI nástrojem v ruce – šlo o agenta, který si sám naplánoval průzkum cíle, ukradl přihlašovací údaje, pohyboval se laterálně po síti, zajistil si perzistenci a nakonec zašifroval databázi. Bez lidského schvalování jednotlivých kroků. To je přesně ten scénář, před kterým bezpečnostní komunita varuje roky, a najednou tu máme dokumentovaný případ, ne teoretickou hrozbu.
Zajímavé je, že se to děje ve chvíli, kdy firmy agentní AI nasazují rychlostí, která bezpečnostní infrastrukturu často předbíhá. Entrust proto spouští Agentic AI Trust Accelerator – snahu vybudovat identitu, autorizaci a governance pro agenty dřív, než je nasadíte do produkce, ne až po incidentu. Podobně Alation staví svůj Intelligence Operating System, který má agentům dát kontext a data v jednom řízeném prostředí. Oracle zase otevírá Fusion Applications vývojářům, kteří chtějí stavět agentní aplikace pomocí běžných nástrojů jako VS Code nebo Claude Code. Všechny tyhle iniciativy mají společného jmenovatele: uvědomění, že agent bez hranic je jen o krok od toho stát se nástrojem útočníka, ať už úmyslně, nebo díky zneužití.
Apropos hranice – právě probíhá summit ve Vatikánu, kde se přes 200 akademiků a nositelů Nobelovy ceny bavilo o rizicích AI a jaderných technologií ve stejném dechu. To samo o sobě je výmluvné zařazení. A Demis Hassabis z DeepMind k tomu přidává konkrétní návrh: globální dozorčí orgán pro AI, veden Spojenými státy, s pravomocí zastavit nebezpečné modely. Než to odbudete jako další apel od člověka, který má z regulace prospěch, stojí za zmínku, že přichází ve stejném týdnu jako první zdokumentovaný autonomní ransomwarový útok. Timing možná náhodný, argument o to silnější.
Na druhé straně spektra se řeší mnohem přízemnější otázka – jak moc lidem AI agenti zvedají sebedůvěru v práci. 73 procent uživatelů říká, že jim agent zvýšil důvěru ve vlastní výkon. To je hezké číslo, dokud si nepoložíte otázku, komu by ti samí lidé svěřili odpovědnost, kdyby se něco pokazilo. Mám podezření, že odpověď zní: nikomu konkrétnímu, a to je přesně ten problém, který se teď snaží vyřešit governance nástroje jako Entrust nebo Alation. Sebedůvěra bez jasné odpovědnosti je nebezpečná kombinace – a firmy, které dnes investují do agentní AI, by měly ptát nejen "co tenhle agent umí", ale hlavně "kdo za něj ručí, když selže".
Otázka, kterou si kladu já: přijde regulace a governance infrastruktura dřív, než se první autonomní útok stane běžnou praxí, nebo naopak?