OSN varuje před existenčním rizikem AI, zatímco Grok 4.5 a lokální LLM jedou dál

Nejzajímavější zpráva dneška vlastně není o žádném novém modelu, ale o tom, co se děje uvnitř nich. Studie o metakognici u jazykových modelů ukazuje, že signály jistoty, které si model interně generuje, skutečně ovlivňují jeho chování — nejde jen o kosmetickou vrstvu, kterou model předstírá pro nás. Pokud to potvrdí další výzkum, mění to způsob, jak přemýšlíme o spolehlivosti AI systémů. Model, který "ví, že neví", se dá lépe řídit než ten, co jen hádá s nulovou sebereflexí. A to má přímý dopad na to, jak moc můžeme agentním systémům svěřovat rozhodování bez lidského dohledu.

Apropos agentů — bezpečnost kolem nich se právě teď stává samostatným byznysem. Startup AIR vystoupil ze stínu se 150 miliony dolarů na monitoring agentního ekosystému a ochranu jeho dodavatelského řetězce, zatímco F5 s MuleSoft zabudovaly do platformy Agent Fabric runtime ochranu a vynucování politik. Tohle není náhoda ani nadprodukce startupů honících se za trendem. Je to logický důsledek toho, že firmy nasazují agenty rychleji, než stíhají budovat kontrolní mechanismy. Než jsme si stačili zvyknout na chatboty, které odpovídají na otázky, řešíme už agenty, kteří samostatně jednají, volají API a manipulují s daty — a bezpečnostní infrastruktura tomu jednoduše dobíhá zpátky.

Na druhé straně spektra běží klasický závod ve zbrojení modelů. Grok 4.5 od xAI cílí na programování a agentní schopnosti a přímo se pouští do OpenAI a Anthropic na jejich vlastním hřišti. Zajímavé je, že se čím dál víc soutěží neodehrává v obecných benchmarcích, ale právě v kódování a agentních úlohách — tam, kde se dnes reálně měří komerční hodnota modelu. Fond Cipheras Group zase nasadil vlastní model s 290 miliardami parametrů pro investiční rozhodování, což signalizuje něco jiného: proprietární LLM přestávají být doménou pouze AI laboratoří a stávají se konkurenční výhodou i pro finanční instituce, které si je budují samy, místo aby platily za API přístup.

Do toho všeho zaznělo varování Volkera Türka z OSN, že pokročilá AI může představovat existenční hrozbu pro lidstvo, a výzva k závazným mezinárodním limitům. Chápu impuls za takovým prohlášením, ale přijde mi symptomatické, že podobná varování přicházejí ve stejném týdnu, kdy firmy soutěží o to, kdo nasadí agenty rychleji a s méně dohledu. Regulace bez vynutitelnosti zůstane jen deklarací. Otázka, kterou bych si dnes položil, není, jestli AI jednou ohrozí lidstvo, ale jestli vůbec někdo stihne postavit funkční brzdy dřív, než se agentní systémy stanou natolik provázané s kritickou infrastrukturou, že couvnout už nepůjde.