Když se podívám na dnešní zprávy, vidím zajímavý střet mezi dvěma protichůdnými trendy: na jedné straně intenzivní tlak vlád na bezpečnost AI, na straně druhé neustálý příval nových nástrojů a agentur, které je těžké udržet pod kontrolou.
Začneme u federálního tlaku na Meta. Americké úřady teď tlačí na poslední velkou technologickou společnost, která ještě odmítala cooperovat s bezpečnostními audity. To není jen byrokracie – jedná se o přirozený důsledek toho, že AI agenti se stávají stále autonomnějšími a jejich chování těžší předvídatelné. Když Anthropic musel stáhnout své nejnovější modely, vzkázalo to jasně: bez ověřených bezpečnostních procesů se už neobejdete. Meta se drží, ale tlak je silný a bude jen sílat.
Fascinující je však, jak rychle se zároveň rozvíjí právě ty nástroje, které by měly usnadnit ono ověřování chování. Exabeam spouští Praxen, open-source projekt zaměřený na verifikaci AI agentů ještě před jejich nasazením. Vercel zase představil framework eve a novou funkci Passport, která má řešit problém nekontrolovaného využívání AI v podnicích – takzvaného shadow AI. Jsou to praktické nápady, ale zajímavé je, že právě teď, když se masivně investuje do agentních technologií – NVIDIA s BioNeMo Toolkit pro vědy o životě, Microsoft s testováním DeepSeeku v Copilotu – se paralelně budují také nástroje na jejich kontrolu. Vypovídá to o určité zralosti v průmyslu.
Apropos bezpečnosti: Microsoftův flirt s čínským modelem DeepSeek v4 není jen o ceně. Jde o strategickou volbu, která kombinuje snahu snížit náklady na agentní úlohy s velmi citlivou otázkou závislosti na cizích modelech. Každá taková rozhodnutí má nyní také geopolitický rozměr.
Paralelně vidím dva další signály. Jednak tiché převzetí projektu Continue společností Cursor – to je klasický startup move, kdy se talentovaný open-source tým stává součástí užitečnější platformy. Jednak výzkum o saturaci anotací, který ukazuje, že samotná neshoda mezi anotátory nese informaci. To není jen akademické cvrknutí – má to přímý dopad na to, jak trénujeme modely efektivněji.
A pak tu máme Menlo Ventures s třemi miliardami dolarů na AI startupy. To samo o sobě není překvapení, ale v kontextu všeho, co se děje, to ukazuje, že peníze na agenty a jejich aplikace teď skutečně proudí. Otázka zní: zda se bezpečnostní kultura vybuduje dostatečně rychle, aby držela krok s tempem inovací.