Problém důvěry u AI agentů, čínský model Applu a dohoda Hollywoodu s ByteDance

Nejzajímavější zpráva dneška nemá nic společného s novým hardwarem ani s dalším rekordním modelem – je to objev, který Anthropic udělal ve vlastním produktu. Firma zjistila, že Claude má skrytou "pracovní vrstvu", jakýsi interní prostor, kde model uvažuje způsobem, který není přímo viditelný v odpovědi, kterou nakonec uživatel dostane. Zní to jako detail z technického papíru, ale důsledky jsou dost zásadní: pokud regulátoři – řekněme v Indii, kde se spoléhají hlavně na formální audity – kontrolují jen výstupy, a ne skutečné vnitřní rozhodovací procesy, kontrolují ve skutečnosti jen povrch. Tohle je přesně ten typ mezery, která dělá z "AI safety" mnohem těžší problém, než jak ho prezentují marketingová prohlášení o "responsible AI".

Souvisí to i s tím, co se děje kolem AI agentů. Google zveřejnil open-source demo agenta pro zákaznickou podporu postaveného na Gemini a Agent Development Kit, který dokázal někomu vrátit 10 000 dolarů – aniž by k tomu měl skutečně dostatečné oprávnění. Je to ukázkový příklad, proč se čím dál víc mluví o architektuře zero trust pro agentní systémy: agent nesmí být důvěryhodný jen proto, že "vypadá rozumně" nebo že prošel testem. Fortinet zjevně dospěl ke stejnému závěru – akvizice Virtue AI není primárně o penězích, ale o tom, že bezpečnostní firmy si uvědomují, že autonomní agenti potřebují úplně jinou vrstvu ochrany než klasické softwarové systémy. Zatímco donedávna byla otázka "co když AI lže", teď je otázka "co když AI jedná a nikdo neví proč".

Zajímavý je i posun v debatě o čínské AI. Místo obvyklého apokalyptického rámování – Čína vyhraje závod, Západ prohraje všechno – se objevuje střízlivější analýza, která si klade otázku, co by "vítězství" Číny v AI vlastně reálně znamenalo. Odpověď není jednoznačně katastrofická, spíš je to otázka ekonomického a geopolitického vlivu, ne sci-fi scénář o ztrátě kontroly nad světem. Souvisí to i s tím, že Apple si prý pro čínský trh vyvíjí – ve spolupráci s Alibabou – samostatný jazykový model pro Apple Intelligence. Je to připomínka, že i firmy jako Apple musí přistupovat k Číně jako k odlišnému regulatornímu a technologickému prostoru, ne jako k rozšíření své globální strategie o jednu lokalizaci navíc.

Apropos ochrana práv: MPA uzavřela první formální dohodu s AI firmou o autorských právech, a je docela symbolické, že tou firmou je ByteDance přes svou službu Seedance. Hollywood dlouho váhal, jestli s generativní AI vůbec vyjednávat, nebo ji jen žalovat. Tahle dohoda naznačuje, že se odvětví přiklání spíš k modelu licencování než k soudním sporům – což je zajímavé zejména proto, že jde o čínskou firmu, ne o OpenAI nebo Google. Otázka, kterou si kladu, zní: bude tohle precedens pro další studia, nebo zůstane osamocenou výjimkou, dokud se nevyjasní, kdo v tomhle sporu má skutečně vyjednávací páku?