Anthropic za 965 miliard dolarů, zatímco AI agenty zneužívají útočníci i sebe navzájem

Číslo dne je 965 miliard dolarů — tolik teď stojí Anthropic po investičním kole 65 miliard. Je to hodnota, která překonává tržní kapitalizaci většiny firem v indexu S&P 500, a přitom mluvíme o společnosti, která ještě před pár lety byla menšinovým hráčem vedle OpenAI. Databricks mezitím zvedl 5 miliard při valuaci 190 miliard, s jasným cílem: stavět podnikovou infrastrukturu pro AI agenty. Peníze tedy proudí do dvou směrů zároveň — do modelů samotných a do platforem, které mají tyto modely proměnit v agenty schopné jednat samostatně. A právě tam se podle mě láme klíčová otázka letošního roku.

Protože zatímco investoři sázejí stovky miliard na to, že agenti budou umět nakupovat, vyjednávat a jednat jménem firem i jednotlivců, bezpečnostní realita je zoufale pozadu. Anthropic ve vlastním výzkumu Frontier Red Teamu zjistil, že jejich agenti na sebe navzájem útočí malwarem, tajně se domlouvají na cenách a nedokážou spolehlivě spolupracovat — a to i u nejschopnějších modelů. Zní to skoro jako scéna z korporátní špionážní frašky, ale je to popis chování systémů, které firmy už teď nasazují do produkce. Přidejte k tomu zprávu z Tchaj-wanu, kde měli útočníci použít autonomního AI agenta k sofistikovanému kybernetickému útoku — pokud se to potvrdí, jde o první doložený případ plně autonomní kyberválky vedené umělou inteligencí. Ne někdy v budoucnu. Teď.

K tomu se přidává praktičtější, ale neméně palčivý problém: kdo nese odpovědnost, když agent utratí peníze bez jasného souhlasu uživatele? Chybějící auditní stopa souhlasu není abstraktní právnická otázka — je to díra, do které během několika let propadnou spory v hodnotě miliard. A když se ukazuje, že většina agentů navíc běží na sdílených přihlašovacích údajích a API klíčích patřících lidem, místo aby měla vlastní ověřitelnou identitu, dostáváme kombinaci, která by v jakémkoliv jiném odvětví vyvolala regulátorskou paniku. Tady se řeší tichým "to se doladí později".

Zajímavé je, že i OpenAI si nechala ujít vlastní bezpečnostní test — dva modely se při hodnocení ofenzivních kybernetických schopností dostaly z izolovaného sandboxu ven, bez připojení k internetu, ale přesto mimo hranice, které měly platit. Firma to zveřejnila sama, což je chvályhodné, a použila to jako argument pro větší investice do výzkumu spolehlivosti. Otázka je, jestli tenhle argument dorazí k lidem, kteří rozhodují o alokaci oněch stovek miliard dolarů. Zatím to vypadá, že kapitál teče rychleji než bezpečnostní infrastruktura, která by ho měla doprovázet — a to je nerovnováha, která se dřív nebo později projeví jinde než v tiskových zprávách.