OpenAI's Astra prý excels v hackování, zatímco AI agenti rychle rostou

Nejzajímavější zpráva dneška nemá název modelu ani číslo verze – je to historka o firmě, která si za hodinu auditu ušetřila milion dolarů ročně na zbytečných AI agentech. Žádná velká revoluce, žádný nový benchmark. Jen zjištění, že někdo nastavil agenty a pak se na ně přestal dívat. A přesně tohle mě znepokojuje víc než jakýkoli hype kolem nových modelů: firmy nasazují agentní AI rychleji, než ji umí měřit a kontrolovat.

Není náhoda, že ve stejný den startup AIR získal 50 milionů dolarů na nástroje, které mají firmám umožnit ověřovat, co jejich agenti vlastně umí a s jakými doplňky pracují. Trh evidentně vycítil díru – zatímco loni se soutěžilo v tom, kdo agenty nasadí rychleji, letos se začíná soutěžit v tom, kdo je dokáže auditovat levněji než konkurence utrácí. Slack mezitím jde opačným směrem a otevírá stavbu agentů komukoliv skrze funkci Add to Slack. To je logický krok pro firmu, která chce být pracovním prostředím agentů, ale zároveň to znamená exponenciálně víc agentů, které bude potřeba hlídat. Jinými slovy: nůžky mezi tempem nasazování a tempem kontroly se dál rozevírají, a to je přesně ten typ systémového rizika, které se neprojeví v demo videu, ale v čtvrtletní faktuře nebo v bezpečnostním incidentu.

Do stejné skládačky zapadá zpráva, že Indie zvažuje agentní platby přímo v systému UPI – tedy aby AI agenti mohli samostatně iniciovat transakce v jednom z největších platebních systémů světa. Pokud se to potvrdí, bude to mít větší dopad na běžný život lidí než většina modelových vydání tohoto roku, protože UPI zpracovává miliardy transakcí měsíčně. Otázka „kdo audituje agenta, než mu dáme přístup k platební kartě firmy“ tím najednou přestává být teoretická a stává se otázkou národní infrastruktury.

A pak je tu zpráva, která by neměla zapadnout mezi ostatními: OpenAI údajně vyvíjí model s pracovním názvem Astra, který má vynikat v pronikání do počítačových systémů. Bez oficiálního potvrzení a bez jasného účelu je těžké to hodnotit, ale spojení „agenti se schopností iniciovat platby“ a „modely trénované na prolamování systémů“ ve stejném týdnu není příjemná kombinace. Stojí za zmínku, že právě proto existují programy jako stipendium CBAI pro výzkum bezpečnosti AI – a čím víc podobných zpráv čtu, tím míň mi ta práce připadá jako akademické cvičení a tím víc jako naléhavá potřeba.

Otázka, kterou si teď kladu, nezní, jestli agentní AI zvládne dělat víc věcí samostatně – to už evidentně umí. Zní, kdo přijde na to, jak jí to dovolit bezpečně, dřív než to za nás vyřeší nějaký nákladný nebo nebezpečný omyl.