Obavy o bezpečnost AI sílí: odchod z Anthropic i varování OSN

Zajímavé je, že ve stejném týdnu, kdy jeden z výzkumníků Anthropic veřejně opouští firmu s varováním před existenčním rizikem AI, šéf AI v Microsoftu Mustafa Suleyman vyzývá přední laboratoře, aby konečně začaly koordinovat bezpečnostní standardy. Jako by se ta samá zpráva ozývala ze dvou úplně jiných směrů – zevnitř i shora.

Odchod Jacoba Coxona z Anthropic mě zaujal víc než obvyklé prohlášení nespokojeného zaměstnance. Anthropic si dlouho buduje image firmy, která bezpečnost bere vážněji než konkurence, a přesto z ní odchází lidé s tvrzením, že to nestačí. To je signál, který stojí za pozornost bez ohledu na to, jestli s ním souhlasíte – ukazuje to na rozpor mezi firemní rétorikou o odpovědném vývoji a interním pocitem, že tempo je rychlejší než schopnost rizika skutečně pochopit. Suleymanova výzva k tomu, aby laboratoře zpřístupňovaly schopnosti svých modelů nezávislým třetím stranám, jde přesně tímto směrem – je to přiznání, že sebehodnocení už nestačí ani lidem uvnitř oboru.

Volker Türk z OSN mezitím říká totéž, jen z jiné pozice – že dobrovolná samoregulace firem je nedostatečná a vlády musí zavést závazný dohled. Tady bych ale byl opatrný s tím, jak snadno se podobná prohlášení mění v obecné apely bez konkrétního mechanismu. OSN nemá páku, kterou by regulaci vynutila, a rozdílné přístupy USA, EU a Číny k AI ukazují, že jednotný globální rámec je spíš přání než reálná politika. Zajímavější je proto žebříček AI Trustworthiness Ranking od Cybernews, který hodnotí 500 firem podle ochrany dat a zabezpečení – to je konkrétní, měřitelný krok, který dává uživatelům aspoň nějaký nástroj k rozhodování, i když nenahradí regulaci.

Vedle těchto debat o riziku je fajn vidět, kam se AI posouvá v praxi. Fúzní reaktory dostávají díky Princetonu bezpečnostního copilota, který predikuje nestability plazmatu 200 milisekund předem – to je přesně ten typ nasazení, kde AI dělá něco, co lidé fyzicky nedokážou, a nikdo se nad tím nepozastavuje jako nad existenční hrozbou. Podobně firmy jako Abnormal AI řeší mnohem přízemnější problém: jak agentům, kteří dnes běžně zpracovávají miliardy operací denně, zajistit stabilní výpočetní infrastrukturu. Tady se ukazuje, že diskuse o bezpečnosti AI má dvě zcela odlišné roviny – filozofickou otázku existenčního rizika a velmi praktickou otázku, jak agenty spolehlivě provozovat ve velkém měřítku. Obě jsou legitimní, ale řeší je jiní lidé jinými nástroji, a čím dál víc mi přijde, že by měly být vedeny jako oddělené konverzace.