AI agenti jdou nakupovat, hackeři a nepovolení boti zkoušejí brány

Nejzajímavější příběh dneška se neodehrává v žádné laboratoři, ale v bankovních systémech. JPMorgan Chase, Bank of America a Wells Fargo zpřísňují pravidla pro AI agenty poté, co zaznamenaly neoprávněný přístup k účtům zákazníků. Zní to jako drobná provozní zpráva, ale myslím, že je to první velký střet slibů o agentní automatizaci s realitou. Banky totiž odpovídají za peníze svých klientů a nemohou si dovolit experimentovat na úkor důvěry.

Stojí za to postavit tuto zprávu vedle toho, co se děje jinde. Walmart chystá Agent Profiles, takže AI agenti budou nakupovat za zákazníky ve Walmartu i Sam's Clubu. Google Cloud představil Agent Compute Engine, infrastrukturu stavěnou přímo pro provoz agentů. A podle odhadů z Asie má agentní software do roku 2030 tvořit 12,3 procenta tržeb z AI softwaru v regionu, oproti dnešním 1,7 procenta. To je zhruba čtrnáctinásobek. Peníze i infrastruktura tedy míří stejným směrem, jen bezpečnostní vrstva zjevně zaostává. Pokud agent smí nakupovat, smí často i platit. A když banky nedokážou rozlišit, zda za účtem stojí člověk, jeho pověřený agent, nebo někdo, kdo se za agenta jen vydává, máme vážný problém s identitou.

Bezpečnostní zprávy dne ukazují, že to nejsou plané obavy. Útočníci vytvořili autonomního ofenzivního agenta přezdívaného „Skynet", který prohledává internet, hledá nezabezpečené koncové body jazykových modelů, unáší je a využívá k vlastním útokům. Je to v podstatě krádež výpočetního výkonu spojená s anonymitou, protože útok vypadá, jako by přicházel z cizí infrastruktury. Apropos, nová studie odeslaná 20. října došla k tomu, že všech šest testovaných modelů je zranitelných vůči útoku typu „show-up", při němž škodlivý subagent přesvědčí model, aby se k němu přidal. Jinými slovy, modely umějí spolupracovat, ale neumějí dost dobře poznat, s kým by spolupracovat neměly. V světě, kde agenti komunikují s agenty, je to slabina zásadního významu.

K tomu přidejme varování před LLM injection v institucích veřejné správy. AI se do softwaru dostává nenápadně přes běžné aktualizace a organizace často nemají přehled, kde všude ji používají. Nejde tedy jen o to, jak bezpečné jsou modely, které si vědomě nasadíme, ale také o ty, o kterých ani nevíme.

Pro kontrast stojí za zmínku čínský iFlytek, který na akci v Pekingu zveřejnil jako open source model Spark-X2.6, postavený výhradně na domácí čínské výpočetní technice. Já v tom nevidím jen technický úspěch, ale především geopolitické gesto. Čína dokazuje, že se umí obejít bez cizího hardwaru, a to mění rovnováhu v celém odvětví.

Zbývá otázka, na kterou zatím nikdo nemá dobrou odpověď: kdo ponese odpovědnost, až agent jednající jménem zákazníka způsobí škodu? Banky, obchodníci, poskytovatelé cloudu, nebo uživatel, který agenta pustil z vodítka?