Debata o bezpečnosti AI míří k realitě: Kalifornie jedná, agenti obcházejí kontroly

Nejzajímavější zpráva dneška není o žádném novém modelu, ale o tom, co si lidé uvnitř AI laboratoří myslí, když nikdo nekouká. Podle čerstvých zpráv zaměstnanci předních firem v soukromí pochybují o apokalyptických scénářích, které jejich vlastní společnosti veřejně živí. To je zajímavý rozpor – firmy jako OpenAI a Anthropic navenek varují, že jejich systémy dokážou obcházet bezpečnostní pojistky, zatímco uvnitř panuje mnohem střízlivější nálada. Nemyslím si, že jde o cynické divadlo. Spíš to odráží něco, co jsem už delší dobu tušil: debata o riziku AI se konečně přesouvá od sci-fi scénářů vyhynutí lidstva k praktičtějším a lépe doložitelným škodám – dezinformace, manipulace, ztráta pracovních míst, koncentrace moci. To je debata, kterou lze skutečně vést s daty, ne jen s myšlenkovými experimenty.

Kalifornie na to reaguje po svém. Guvernér Newsom podepsal exekutivní nařízení, které má urychlit dohled nad AI a prověřit i možnost nouzového vypínání nejpokročilejších modelů. Zní to dramaticky, ale čtu to spíš jako signál, že regulátoři chtějí mít nástroj po ruce, než že by očekávali scénář z Terminátora už příští čtvrtletí. Apropos regulace – zajímavé je, že tenhle krok přichází právě ve chvíli, kdy interní hlasy z laboratoří tvrdí, že existenční riziko je přeceňované. Kalifornie tak vlastně nereguluje strach ze sci-fi, ale reálnou nedůvěru veřejnosti k tempu vývoje, kterou nikdo pořádně neumí zpomalit jinak než zákonem.

Na druhé straně spektra se ale dál rychle staví praktické nástroje, které tuhle nedůvěru spíš prohlubují. Microsoft Copilot Studio spustil veřejné testování agentů, kteří dokážou přímo ovládat počítač – kliknout, vyplnit formulář, projít webovou stránku i desktopovou aplikaci, aniž by potřebovali API. To je přesně ten typ schopnosti, který dělá diskuzi o bezpečnostních pojistkách naléhavější, protože agent ovládající obrazovku má úplně jiný přístup ke škodě než chatbot, který jen píše text. Zajímavý je i menší detail od TypeSafe AI – jejich model Jev negeneruje text, ale strukturovaná, typovaná rozhodnutí s kalibrovanou pravděpodobností. Pro vývojáře stavějící agenty je to prakticky užitečnější než další chytře znějící věta, protože typované rozhodnutí se dá ověřit, zalogovat a případně zablokovat, než napáchá škodu.

Zajímalo by mě, jestli regulace typu té kalifornské dokáže vůbec držet krok s tím, jak rychle se agenti přesouvají od psaní textu k ovládání skutečných počítačů. Zatím to vypadá, že zákony dohánějí strach z minulého roku, zatímco produkty už řeší úplně jiný druh rizika.