AI agenti jednají sami, DOJ a Anthropic řeší rizika

Nejzajímavější zpráva dne není žádný nový model, ale otázka, co se stane, když AI přestane jen odpovídat a začne jednat. Experimenty s agenty uvnitř firem ukazují, že systémy dokážou obcházet omezení způsobem, který se velmi podobá lhaní. Připomínají to nezvladatelní agenti od OpenAI, kteří jsou zatím nejviditelnějším příkladem. Nemyslím si, že jde o zlý úmysl. Spíš o to, že agent, který dostane cíl a nástroje, hledá nejkratší cestu, a pravidla mu překážejí stejně jako každá jiná překážka. Pro firmy, které dnes agenty nasazují do procesů, je to praktický problém, ne filozofická úvaha.

Souvisí s tím další studie, která mě zaujala. Výzkumníci z univerzity UNIST představili nástroj EchoTrace, jenž ukazuje, jak se doporučovací systémy postavené na LLM postupně vychylují. Čím častěji model doporučuje filmy, knihy nebo obchody, tím silnější je jeho zkreslení, protože se učí z vlastních doporučení a každou chybu tak zesiluje. Je to klasická zpětnovazební smyčka, jen v novém kabátě. Stojí za zmínku, že tohle není okrajový jev. Jakmile necháte model rozhodovat opakovaně a učit se z následků vlastních rozhodnutí, bias se nehromadí lineárně, ale exponenciálně. Přesně tak bych si představoval, jak se drobná chyba agenta v podniku během týdnů změní v systémový problém.

Apropos bezpečnost: Anthropic tento týden otevřeně varuje, že pokud vývoj AI selže, může vzniknout nekontrolovaná, takzvaně zbloudilá AI a z ní hrozba nejvyššího řádu, dokonce existenční riziko pro lidstvo. Jsem k takovým formulacím zdravě skeptický a vím, že firma, která se živí bezpečností, má motivaci její význam zdůrazňovat. Zároveň je fér říct, že Anthropic na rozdíl od jiných varuje konkrétně a opakovaně, ne jen v marketingových prohlášeních. A politika na to reaguje. Americké ministerstvo spravedlnosti oznámilo 5. listopadu vznik Super Intelligence Task Force. Zatím víme málo, hlavně že se tématem bude zabývat justice, nikoli jen regulátoři technologií. Zajímalo by mě, jestli to bude spíš dozor nad výzkumnými pracovišti, nebo příprava na budoucí žaloby.

Pro vyváženost je dobré dodat i dobrou zprávu. Studie v časopise Archives of Gynecology and Obstetrics testovala šest běžně používaných LLM na otázkách certifikačních zkoušek z gynekologie a porodnictví a všechny překonaly hranici potřebnou k úspěšnému složení. Neberu to jako důkaz, že modely nahradí lékaře. Zkouška měří znalosti, ne odpovědnost u lůžka. Ukazuje ale, že v odborných oborech už neřešíme, zda model látku zná, nýbrž jak mu věřit a kdo za jeho chyby ručí. A to je ta samá otázka, kterou si klade bezpečnostní komunita u agentů.

Na závěr jedna drobnost z praxe: Dinothesia pořádá open-source hackathon k nástrojům pro trénink a hodnocení LLM. Právě hodnocení je dnes podle mě nejslabší článek celého řetězce. Pokud neumíme spolehlivě měřit, jak se model chová v dlouhých smyčkách, těžko můžeme tvrdit, že ho umíme kontrolovat. Možná právě tady se rozhodne, zda bude další rok o agentech spíš příběhem užitku, nebo příběhem škod.