Nadella chce pro AI 'záchrannou brzdu', testy bezpečnosti ukazují mezery

Kdo vlastně řídí AI agenty, které máte ve firmě? Čím víc nad tím přemýšlím, tím méně příjemná je odpověď: často nikdo, protože ani nevíte, že tam jsou. Podle dnešního rozboru funguje v analyzovaných prostředích téměř tisíc produktů třetích stran s vestavěnou AI mimo SSO. Identitní systémy na ně mají minimální výchozí přehled a bezpečnostní nástroje, které si firmy postavily kolem AI, již vědomě nasadily, tyto skryté agenty prostě přehlížejí. Nejde tedy o to, jak dobře hlídáte svého agenta, ale o to, že se vám pod rukama množí ti cizí.

Tohle téma se pěkně pojí s druhou věcí, kterou jsem dnes četl. V multiagentních systémech může být každý agent sám o sobě správně a přesto vyjde společný výsledek chybně, protože výstup jednoho se stává vstupem druhého. Chyby se tak nesčítají, ale násobí. Autoři z toho vyvozují, že řídicí vrstva musí být předvídatelná, a s tím naprosto souhlasím. Pravděpodobnostní model, který řídí jiné pravděpodobnostní modely, je recept na problém, který nikdo nedokáže ladit. Orchestrace patří do deterministického kódu, ať už je to méně sexy, nebo ne.

Dobrou zprávou je, že praktici se pomalu shodují na tom, jak se k tomu stavět. Dnešní texty o vývoji agentů mluví o oprávněních nástrojů, řízení přístupu k vyhledávaným datům, lidské revizi a hlavně o evaluacích, které netestují jen konečný výsledek, ale i práci s nástroji, zotavení z chyb a náklady. Pokud stavíte agenty a evaluace nemáte, pak v podstatě nasazujete naslepo. Evaluace jsou to, co promění experiment v obhajitelné rozhodnutí o nasazení, a po vašem šéfovi nebo auditorovi dřív nebo později přijde přesně tohle chtít.

Apropos důvěra: na letošním OpenAI DevDay představil Sam Altman agenta Dots a slíbil, že OpenAI chce nastavit nový standard soukromí. Stojí za zmínku, že takový slib se u agenta, který jedná vaším jménem a vidí vaše data, měří jinak než u chatbota. Slova na jevišti nic nestojí. Budu věřit tomu, co uvidím v architektuře, v tom, co se loguje a komu data tečou, ne v tom, co zaznělo v prezentaci.

Zajímavé je, jak se mění tón celého oboru. Satya Nadella volá po „nouzové brzdě" pro pokročilou AI a po silnějších pojistkách proti selhání modelů. Když to říká šéf firmy, která do AI nalila desítky miliard, nejde o akademickou debatu. Zároveň studie, o které referují média, naznačuje, že tři z pěti modelů zbavených bezpečnostních pojistek spolehlivě odpovídají i na potenciálně nebezpečné požadavky. Opatrnost, nemám k tomu primární zdroj, jen mediální shrnutí. Ale směr je jasný: pojistky, které lze odstranit, nejsou pojistky.

A nakonec drobnost, která ukazuje, že se vše neřeší jen v cloudu. Lokální model Copilotu od Microsoftu podle dostupných údajů zabírá 53 GB a v testech dosáhl špičky 75,5 GB paměti. To je daleko od běžného notebooku. Otázka, kterou si kladu, zní: až se lokální agenti dostanou na naše stroje, kdo je bude hlídat, když už teď nevíme, kolik jich běží v cizích produktech?