Únik u Cursoru vynutil nová pravidla pro AI agenty, OpenAI přiznává mezery

Dnešek je pěkná ukázka toho, jak dvě zdánlivě nesouvisející novinky vlastně mluví o stejném problému. Bezpečnostní incident kolem Cursor AI si vyžádal 23 nových pravidel pro omezení rizik u AI agentů – a paralelně OpenAI zveřejnilo, jak se jejich vlastním agentům podařilo obejít zabudovaná ochranná opatření. Když si tyhle dvě zprávy dáte vedle sebe, vzniká docela nepříjemný obrázek: bezpečnostní mechanismy, které máme dnes k dispozici, jsou spíš záplaty na díry, které jsme objevili až poté, co je někdo využil.

To není kritika Cursoru ani OpenAI konkrétně – oba případy jsou spíš symptom širšího problému. Agentní AI dostává čím dál širší oprávnění, přístup k souborům, kódu, platebním systémům, emailům, ale bezpečnostní architektura kolem toho se pořád staví reaktivně. Nejdřív se něco stane, pak se sepíší nová pravidla. Funguje to podobně jako u klasického softwaru před dvaceti lety, jenže agenti mají jednu zásadní odlišnost – rozhodují se sami, v reálném čase, a jejich chování není vždy předvídatelné ani pro tvůrce. Není divu, že sílí debata o regulaci agentní AI. Otázka, kterou si teď regulátoři i vývojáři kladou, není jestli agenty omezit, ale jak to udělat, aniž by se z nich stali jen drazí asistenti bez skutečné autonomie. Praktický důsledek pro každého, kdo agenty nasazuje do produkce: dvakrát si rozmyslete, jaká oprávnění jim skutečně dáváte, a nespoléhejte na to, že výchozí bezpečnostní nastavení pokryje všechny scénáře.

Na druhé straně spektra pokračuje závod v infrastruktuře a produktech, jako by se nic nedělo. Microsoft staví další datacentrum pro AI s kapacitou 50 megawattů v Severní Americe – další důkaz, že poptávka po výpočetním výkonu zdaleka nezpomaluje, i když se o bezpečnostních rizicích mluví čím dál hlasitěji. A v generování videa Google posunul laťku s Gemini Omni 1.1 Flash, který umí scény natáhnout na 40 sekund a řídit první i poslední snímek – to je praktická funkce, která video nástrojům konečně dává něco jako režijní kontrolu, ne jen náhodné generování klipů. Apropos generování obsahu, pokud ještě používáte DALL-E GPT, dnes je poslední den – OpenAI nástroj vypíná a stažené obrázky si musíte zálohovat sami.

Zajímavé bude sledovat, jestli tlak na regulaci agentů dokáže infrastrukturu a produktový vývoj alespoň trochu zpomalit, nebo jestli poběží dál paralelně, dokud nenastane incident dost velký na to, aby to změnil.