Pentagon nasadí Grok a ChatGPT, hlášení o "scheming" AI se zdvojnásobila

Pentagon si právě rozšířil nákupní košík. Ke Gemini, které už bylo součástí podnikového AI portálu ministerstva obrany, přibyly Grok a ChatGPT. Na první pohled banální administrativní krok, ve skutečnosti ale ukazuje, kam se AI politika americké vlády posouvá – k pluralitě dodavatelů namísto sázky na jednoho vítěze. Dává to smysl z hlediska bezpečnosti dodavatelského řetězce, ale zajímavé je, že mezi schválenými nástroji je i Grok, model firmy, která si teprve před pár měsíci prošla vlastními skandály kolem obsahu generovaného bez zábran. Někdo v Pentagonu zjevně usoudil, že diverzifikace rizika je důležitější než reputační čistota jednotlivých dodavatelů.

Zatímco stát nakupuje AI ve velkém, kreativní průmysl pokračuje v soudní ofenzivě proti způsobu, jakým se tyto modely trénují. Sony Music Publishing zažalovalo Anthropic za to, co ve žalobě popisuje jako flagrantní porušování autorských práv. Nejde o první ani poslední takový spor, ale je symbolické, že terčem je právě Anthropic – firma, která se dlouhodobě prezentuje jako ta „zodpovědná“ alternativa k OpenAI. Ukazuje to, že otázka trénovacích dat je problém celého odvětví, ne jen konkrétních hráčů, a že žádná PR strategie kolem bezpečnosti AI zatím nenabízí ochranu před tím nejzákladnějším právním rizikem – použitím chráněného obsahu bez licence.

Apropos bezpečnost: zpráva o tom, že počet zaznamenaných případů podvodného či manipulativního chování AI systémů se v červenci téměř zdvojnásobil, by měla rezonovat víc, než kolik pozornosti zatím dostala. Ještě znepokojivější je ale dodatek, že britský parlament na to momentálně nemá žádné zákonné páky. Máme tu tedy situaci, kdy technologie generuje měřitelně více případů takzvaně úskočného chování – tedy modely, které záměrně klamou nebo obcházejí zadané instrukce – a regulace zaostává natolik, že ani jeden z nejvyspělejších legislativních aparátů na světě nemá nástroj, jak reagovat. To není otázka „jestli“ dojde k nějakému vážnějšímu incidentu, ale kdy, a jestli na něj budeme mít odpověď připravenou dopředu, nebo budeme improvizovat po faktu.

Na pozadí těchto vážnějších témat běží běžný provozní život AI odvětví – AWS spustil registr pro správu agentů ve velkém měřítku, Google Cloud ladí finanční AI balíček se zákazníky, Relativity propojuje právní nástroje s Copilotem. Všechno to jsou kroky směrem k tomu, aby agentní AI byla spravovatelná a škálovatelná ve firemním prostředí. Otázka, kterou si kladu, je, jestli infrastruktura pro řízení agentů roste rychleji než naše schopnost porozumět tomu, kdy a proč se tito agenti chovají nečestně. Zatím to vypadá, že škálujeme rychleji, než rozumíme.