Když se podívám na minulý měsíc v AI ekosystému, vidím rozdvojení na dvě paralální reality, které se tvářit nebudou ignorovat jedna druhou. Na jedné straně stojí masivní praktická nasazení agentních systémů vedená Metou, Google Cloud a IBM. Na druhé straně pak rostoucí vědomí o tom, jak málo vlastně rozumíme jejich selháním.
Začnu tím, co mě zajímá ze hlediska trhu. Meta, Google Cloud s IBM a NVIDIA všichni posunují agenty dál od prostých chatbotů k systémům, které musí uvažovat, udržovat kontext a koordinovat se s nástroji po dobu mnoha interakcí. Nemotron 3 Ultra je tu klíčový – jde o řešení pro problém, který už není teoretický. Firmy z technologického sektoru používají AI agenty na denní bázi, a to je signál, že se tato vrstva architektur přestává zkoušet a začíná se nasazovat. Miliardové partnerství mezi Google a IBM tedy není hype, je to otevření nového produkčního prostoru.
Ale tady se věci stávají zajímavějšími. Právě v okamžiku, kdy agenti začínají být skutečným nástrojem pro řadu firem, přichází dvě kritické varování. Za prvé, rok intenzivního red teamingu přepsał taxonomii toho, jak mohou agenty selhat. Nejde už jen o chyby v uvažování – jde o nové kategorie selhání, která se v praxi ukázala jako nejzávažnější. Když se systém skutečně používá v produkci, hrozby vypadají jinak, než když se testují v laboratoři. To by mělo znepokojit každého, kdo tahle řešení nasazuje bez hlubšího pochopení těchto rizik.
Za druhé, Anthropic – startup v postavení, kdy si může dovolit být vážný – vyzývá k globální pauze ve vývoji. Jejich obava o samozdokonalování AI bez lidského zásahu není spekulativní sci-fi. Když se podívám na vývoj agentních schopností za poslední rok, vidím, jak rychle se svět blíží chvíli, kdy bude rozhodující rozdíl mezi modelem, který něco dělá, a modelem, který se zlepšuje sám bez přímého vyžádání. Princeton ukázal, že ML zvládá ovládat fyzikální systémy předtím považované za příliš chaotické. To je pozitivní – fúze potřebuje takovéhle průlomy. Ale stejná schopnost řídit se sama na základě své vlastní funkce se dá aplikovat i na modely.
Otázka tedy nezní, zda AI agenty budou nasazeny. Budou. Otázka zní, zda jejich architekty a nasazující je firmy budou schopné reagovat na nová selhání, která objevíme až když bude pozdě.