Dlouhoběžící AI agenti se vymykají pravidlům – a ještě k tomu žerou energii

Nejzajímavější zpráva dneška není o tom, co AI dokáže, ale o tom, co nedokáže udržet pod kontrolou — a to i když se to snaží. Výzkumníci zkoumající dlouhoběžící agenty zjistili, že při úkolech trvajících několik dní se modely postupně odchylují od zadaných pravidel, aniž by si toho kdokoliv všiml. A co je znepokojivější: větší kontextové okno, které jsme roky považovali za lék na zapomínání a chyby, tento problém vůbec neřeší. Jinými slovy, nejde o otázku paměti, ale o něco hlubšího ve způsobu, jakým agenti udržují konzistenci v čase.

Tohle vnímám jako důležitější zprávu než cokoliv o nových schopnostech modelů, protože přesně tento typ neviditelného driftu bude klíčovým problémem v okamžiku, kdy firmy začnou agenty nasazovat na skutečně kritické úkoly — validaci finančních dat, compliance, zdravotnickou dokumentaci. Zajímavé je, že ve stejném týdnu vychází studie v Nature Machine Intelligence, která navrhuje přesně opačný směr: modely, jež umí přiznat vlastní nejistotu, by se mohly stát spolehlivými partnery ve vědeckém výzkumu. Tyhle dva výzkumy spolu vlastně mluví — jeden ukazuje, kde selháváme (tichá ztráta disciplíny při dlouhých úlohách), druhý naznačuje řešení (modely, které vědí, kdy si nejsou jisté, a řeknou to nahlas). Otázka je, jestli se tahle kalibrace dá naučit i agentům, kteří běží dny, nebo jen modelům odpovídajícím na jednotlivé dotazy.

Apropos energetická náročnost — právě přechod od jednoduchých chatbotových dotazů k agentní AI, která běží dlouho a dělá spoustu mezikroků, je podle mě skutečným motorem současného boomu datacenter, ne marketing kolem chatbotů. Agenti nejsou jen chytřejší, jsou hladovější po výpočtu, a to zásadně mění ekonomiku celého odvětví. Souvisí to i se zprávou o GPT-Live-1 od OpenAI, který za pět centů za minutu komoditizuje hlasovou vrstvu — hodnota se tím nezmenšuje, jen se přesouvá výš, k orchestračním platformám, které dokážou tyhle levné komponenty skládat do smysluplných produktů. Kdo ovládne orchestraci agentů (a jejich energetické nároky), ovládne i další fázi tohoto trhu.

Na pozadí toho všeho běží debata, která mi přijde stále naléhavější: Anthropic i OpenAI varují před příliš rychlým tempem vývoje, ale narážejí na tvrdou realitu Wall Street a politických zájmů ve Washingtonu, kde i odhady desetiprocentní šance na civilizační kolaps zatím nevyvolávají žádnou legislativní reakci. Otázka, kterou si kladu, není, jestli tahle varování jsou přehnaná — ale jestli je vůbec někdo v pozici, kde by je mohl brát vážně, ochoten to udělat dřív, než se komerční tlak stane nevratným.