Nvidia podpoří britský výzkum bezpečnosti AI, Hinton a Bengio chtějí globální orgán

Nejzajímavější příběh dneška se neodehrává v laboratoři, ale v registru čínského ministerstva průmyslu. Nový iPhone tam podle zveřejněných údajů prošel povolením, a mezi funkcemi stojí vedle Apple Intelligence také Tongyi Qianwen, model od Alibaby. Pro mě je to víc než technická poznámka pod čarou. Apple v Číně nemůže nabídnout svou AI bez místního partnera a regulátor to zjevně bere jako samozřejmost. Výsledkem budou dvě verze „stejného" telefonu s odlišným mozkem uvnitř, a to je geopolitika vepsaná přímo do produktu.

Podobně se vrší otázka, kdo vlastně AI řídí, i na americké politické scéně. Tábory sporu o bezpečnost AI prý nalévají do listopadových voleb do Kongresu stamiliony dolarů, nejméně 48 milionů má putovat k politikům s vysokými šancemi na úspěch. Apropos, je pozoruhodné, že obě strany se tváří jako ochránci veřejného zájmu, přitom jde o peníze technologických lídrů. Zároveň Nvidia slíbila Británii v příštích pěti letech výpočetní kapacity za 250 milionů dolarů na výzkum bezpečnosti AI. Gesto je to štědré, jenže výrobce čipů tím zároveň posiluje svou pozici u vlády, která bude psát pravidla. Myslím, že stojí za to sledovat, kdo za bezpečnost platí, protože ten má později velké slovo i v tom, co se za bezpečné považuje.

Druhým tématem dne jsou agenti, a tady se mi líbí, že se pozornost konečně přesouvá od toho, co umějí, k tomu, jak jim věřit. NVIDIA představila NeMo Gym, který má zlepšit spolehlivost agentů při návrhu čipů. Problém, který řeší, zná každý, kdo s agenty pracuje: výstup vypadá věrohodně, ale je chybný. V oboru, kde jedna špatná chyba stojí miliony, je to zásadní rozdíl. Kong zase přišel s Context Management, který agentům dává přístup jen k podnikovému kontextu, který skutečně potřebují, místo aby model zahltil vším, co firma má. To považuji za rozumný přístup, protože víc dat neznamená lepší odpověď, často naopak.

Pokud vás zajímá, kam to celé míří, podívejte se na dvojici zpráv o důvěře. Securonix spustil Advanced Behavioral Analytics, které mají odhalit napadené agenty používající platné přihlašovací údaje a tvářící se jako legitimní. Šéf firmy Toby Weiss tím vlastně říká, že klasická ochrana přihlášením přestává stačit, když se za přihlášeného uživatele vydává software. K tomu přibývá volání po provenance, tedy po záznamech o tom, co agenti dělají a proč, při zachování soukromí. Obě věci patří k sobě: bez dohledatelnosti nepoznáte, že se agent choval podezřele.

Na okraj ještě Intel, který uvedl Inference Microservices pro provoz LLM na svých procesorech a slibuje, že ušetří dny ručního ladění. Není to převratná novinka, spíš užitečné zjednodušení, ale pro týmy, které nechtějí být závislé na drahých akcelerátorech, může mít praktický dopad.

Otevřená otázka zní, zda se bezpečnost agentů a bezpečnost AI jako celku podaří řešit společně. Zatím to vypadá, že první se dělá v inženýrských týmech a druhá v lobbistických kancelářích, a ty dvě cesty se nemusejí potkat.