Rivalové řeší bezpečnost AI, varování před riziky rostou a stínové AI se šíří bez kontroly

Nejzajímavější detail dnešního dne není to, že OpenAI, Google a Anthropic spolu údajně jednají o bezpečnosti AI. Zajímavé je, že to dělají v momentě, kdy Trumpova administrativa veřejně napadá Anthropic a odmítá cokoliv, co by připomínalo zpomalení vývoje. Konkurenti, kteří si jinak vzájemně přetahují výzkumníky a soutěží o každý bod v benchmarcích, se prý od července baví o společné "standardizační organizaci" — nápad, který přišel od Demise Hassabise z DeepMind. Detaily nikdo nepotvrdil, ale načasování mluví samo za sebe: když politická vůle k regulaci slábne, firmy možná cítí, že samoregulace je jediná cesta, jak se vyhnout tvrdšímu zásahu později, nebo aspoň jak si takový zásah naformulovat samy.

Apropos existenční riziko — tohle slovní spojení se za poslední rok přesunulo z okrajových fórer do běžné veřejné debaty, a dnešní zpráva o Bilalu Chughtaim to jen potvrzuje. Chughtai opustil Google DeepMind v červenci a přidal se k rostoucí skupině bývalých insiderů, kteří varují veřejně místo toho, aby to řešili interně. Tohle mi přijde jako důležitější signál než samotné varování — když lidé zevnitř labs raději odejdou a mluví ven, znamená to, že interní kanály podle nich nefungují. Trump mezitím jde přesně opačným směrem a couvá od jakékoliv regulace, což vytváří zvláštní vakuum: nejhlasitější volání po opatrnosti přichází právě od lidí, kteří AI stavěli, zatímco politická reprezentace řeší jiné priority.

Druhá vrstva dnešních zpráv je mnohem přízemnější, ale možná prakticky naléhavější. Zpráva Imprivaty říká, že 72 % zdravotnických organizací provozuje neschválené AI nástroje, přičemž 88 % se zároveň připravuje na nástup autonomních agentů. To je přesně ten typ problému, který se neřeší na úrovni "existenčního rizika", ale v praxi působí mnohem reálnější škodu už teď — shadow IT, jen s vyšší autonomií a přístupem k citlivým datům. Firmy jako Microsoft na to reagují nabídkami typu Microsoft 365 G7, které slibují bezpečnou správu agentů pro vládní instituce. Nabízí se otázka, jestli nejde spíš o prodej pocitu kontroly než o skutečné řešení problému, který roste rychleji, než ho compliance oddělení stíhají mapovat.

Když si tyhle tři linky poskládám vedle sebe, vzniká mi docela jasný obrázek: na nejvyšší úrovni se řeší abstraktní rizika a standardy, zatímco v provozu firem a nemocnic už agentní AI běží bez povolení a bez dohledu. Regulace se možná nikdy nedostane tam, kde by ji lidé jako Chughtai chtěli mít — ale otázka, kdo bude spravovat přístupová práva AI agentů v běžné firmě, bude muset být zodpovězena mnohem dřív než otázka existenčního rizika.