LLMjacking se stává zločineckým byznysem, banky blokují AI agenty

Sam Altman tvrdí, že dnešní modely jsou chytřejší než špičkoví vědci. Já si ale myslím, že zajímavější otázka dnes nezní, jak chytré modely jsou, ale kdo za ně platí. A také kdo je smí používat, když člověk v bance nebo ve firmě sedí na druhé straně obrazovky. Altmanův výrok totiž zazněl uprostřed sporu o to, zda OpenAI skutečně dosáhla matematických průlomů, nebo jen vyrobila působivě znějící tvrzení. Znám ten vzorec: velké prohlášení nejdřív, ověření až později, pokud vůbec. U firmy, která žije z nadšení investorů, mě to nepřekvapuje, ale mrzí. Pokud model opravdu překonává vědce, ať to ukáže na důkazech, které si někdo cizí zkontroluje.

Zatímco se o inteligenci modelů debatuje na pódiích, v zákulí se řeší mnohem prozaičtější problém. Mandiant, Google i další analytici popisují takzvaný LLMjacking, tedy krádež přístupu k cloudovým jazykovým modelům. Útočník získá přihlašovací údaje, model využívá nebo je přeprodává na podzemních tržištích a oběť dostane fakturu. Google mluví o případech, kdy organizace přišly o víc než milion dolarů. Stojí za zmínku, že se tu nekrade data ani peníze přímo, krade se výpočetní výkon, a to ve chvíli, kdy je výkon největším nákladem celého oboru. Apropos, právě tohle je ten druhotný efekt, o kterém se v tiskových zprávách nemluví: čím dražší a výkonnější modely, tím lukrativnější cíl.

Podobná logika se objevuje u AI agentů, tentokrát v bankovnictví. Mezi 13. a 20. říjnem podnikly JPMorgan Chase, Charles Schwab, Citigroup i Wells Fargo kroky, jimiž agenty řízené zákazníky buď blokují, nebo na někoho jiného smluvně přesouvají s nimi spojené riziko. Přitom se na bankovních summitech současně mluví o blížící se éře, v níž budou agenti komunikovat mezi sebou. Není to rozpor? Částečně ano, ale chápu to. Banka chce být u toho, až se agentní bankovnictví rozběhne, jen nechce nést odpovědnost, když agent zákazníka udělá chybu nebo ho někdo zneužije. Je to obchodní kalkul, ne technologický postoj.

Pro ty, kdo agenty skutečně staví, je poučné, co mezi řádky říkají dva zbývající příběhy. Agent potřebuje víc než dobrý prompt, musí se dostat ke správným datům tam, kde je firma skutečně drží. Snowflake k tomu přidává Business Ontology, vrstvu předem schválených definic, díky níž zůstávají odpovědi agentů konzistentní, plus vestavěné kontroly. Nevím, nakolik to bude fungovat mimo prezentační slidy, ale směr považuji za správný. Spolehlivost agenta se dnes nerozhoduje ve velikosti modelu, ale v řízení přístupu a kvalitě kontextu.

Když to spojím dohromady, vychází mi jedna nepříjemná otázka. Pokud je přístup k modelu cenným aktivem, které zloději kradou, a pokud banky odmítají nést riziko agentů, kdo vlastně ponese odpovědnost, až budou agenti jednat vlastním jménem? Na to zatím nemá odpověď ani Altman.