Hackeři zneužívají AI agenty, zdravotnictví je přijímá a EU zpřísňuje pravidla

Dnešek je symbolický – v EU dnes vstupují v platnost pravidla, podle kterých musí být obsah vytvořený AI označen jako takový, zatímco zdravotnictví v USA předvádí přesně opačný trend: AI agenty tam nasazují tak nenápadně, jak jen to jde. WellSpan Health rozšiřuje víceletou spolupráci s Hippocratic AI na klinických agentech, MUSC Health prohlubuje nasazení agenta Emily od SoundHound. V obou případech jde o produkty, které mají s pacientem mluvit tak přirozeně, že rozdíl vůči člověku téměř nepozná. Otázka, kterou si klade Brusel – má vědět uživatel, že mluví se strojem – se v americkém zdravotnictví řeší úplně jinou logikou: hlavně ať to funguje a šetří čas personálu.

Tahle asymetrie mě zajímá víc než samotná pravidla. Evropské nařízení se totiž vztahuje především na reklamní a mediální obsah – obrázky, zvuk, video, v některých případech text – a cílí na takzvané „deployery“ v dodavatelském řetězci reklamy. Klinických konverzačních agentů se přímo nedotýká, přestože jde možná o citlivější kontext než cokoliv, co vidíme v reklamě. Pacient, který si povídá s AI agentem o svých příznacích, nemusí mít vůbec ponětí, že nemluví s člověkem, pokud to daný stát nebo poskytovatel sám neřeší. Regulace jde jinam, tam, kde je politicky snazší dosáhnout shody, a nechává za sebou mezery přesně tam, kde by transparentnost mohla nejvíc chybět.

Apropos nejasná pravidla – podobný chaos panuje i v cenotvorbě AI agentů. Enterprise dodavatelé zkoušejí naprosto odlišné modely: někdo účtuje za úkol, někdo za výsledek, někdo za sedadlo jako u klasického SaaS. Firmám to znemožňuje jakékoli smysluplné srovnání nabídek. Není náhoda, že k tomu dochází právě teď – trh je pořád v experimentální fázi a nikdo přesně neví, jak měřit hodnotu, kterou agent vytváří. Až se ukáže, který model vlastně odpovídá reálným nákladům na výpočet a údržbu, čeká nás pravděpodobně další vlna konsolidace cen, podobně jako se to stalo s cloudovými službami před deseti lety.

Zajímavá je i zpráva od Unit 42 o čínsky mluvící hackerské skupině, která používá AI modely k autonomním útokům na infrastrukturu – sedm různých nástrojů a technik v jedné kampani. Ukazuje to, že agentní architektury nejsou jen produktová módní vlna pro zdravotnictví nebo firemní software, ale stávají se standardní výbavou i pro ofenzivní kybernetické operace. Regulace v Bruselu řeší označování reklamních obrázků; realita mezitím posouvá agenty do zcela jiné ligy rizika. Kam se ta mezera mezi regulací a praxí posune příště, si troufám hádat jen těžko.