Únik u Hugging Face, Hintonovo varování a nový kódovací agent od Mety

Zabezpečení AI agentů se stalo tento týden hlavním tématem, a to nikoli náhodou — konference Black Hat v Las Vegas jen potvrdila to, co bezpečnostní komunita tuší už měsíce. Útoky na agentické systémy u Anthropic, Mety i OpenAI se hromadí a případ Hugging Face podle expertů odstartoval éru, kdy hackování AI agentů přestává být teoretickým rizikem a stává se běžnou praxí. Firmy nasazují agenty do produkčních prostředí rychleji, než chápou jejich útočnou plochu — a to je nebezpečná kombinace.

Zajímavé je, že do stejného týdne spadá i spuštění Muse Code od Mety, jejich prvního specializovaného agenta pro programování, který běží v terminálu a má konkurovat nástrojům od OpenAI a Anthropicu. Meta tím vstupuje do segmentu, kde bezpečnostní rizika agentů jsou nejkonkrétnější — agent s přístupem k terminálu a kódu má fakticky pravomoc měnit systémy, ne jen generovat text. Pokud takový nástroj zůstane zranitelný vůči injekci příkazů nebo manipulaci kontextu, důsledky jsou o řád vážnější než u chatbota, který jen odpoví špatně. Meta tady sází na rychlost expanze, ale otázka, jak dobře je Muse Code odolný vůči útokům, kterými se právě zabývá Black Hat, zůstává otevřená.

Do téhle skládanky zapadá i varování Geoffreyho Hintona, který upozorňuje na jiný typ rizika — že modely konkurenčních laboratoří by mohly časem jednat proti zájmům jiných firem. Zní to jako vzdálená spekulace, ale spojte si to s realitou agentů, kteří už dnes autonomně komunikují s jinými systémy, vyjednávají, provádějí transakce. Pokud tyto agenty nasazují konkurenční firmy s odlišnými cíli, otázka koordinace a důvěry mezi nimi není sci-fi, je to inženýrský problém, který nikdo ještě neřešil v praxi. Hinton dlouho varuje před riziky, která zní abstraktně — tady se abstraktnost rychle měnÍ v konkrétní byznysovou otázku.

Stojí za zmínku i studie o jazykové zaujatosti LLM ve zdravotnictví, protože ukazuje stejný vzorec z jiného úhlu — modely nasazujeme do citlivých oblastí rychleji, než dokážeme systematicky ošetřit jejich slabiny. Ať je to bezpečnost agentů, konkurenční dynamika mezi laboratořemi, nebo rovný přístup k péči, motiv je totožný: nasazení předbíhá pochopení rizik. Firmy jako SK Telecom mezitím budují lokální infrastrukturu nezávislou na Nvidii, což je rozumná strategická pojistka, ale hardwarová suverenita nic neřeší, pokud software nad ní zůstává stejně zranitelný.

Otázka, kterou si klade celý obor, tedy zní: kdo první postaví agenta, který je nejen výkonný, ale i prokazatelně bezpečný proti útokům, jaké teď Black Hat katalogizuje? Zatím to nevypadá, že by tuto sázku vyhrávala rychlost.