Jailbreaky přicházejí během hodin od spuštění, bezpečnost agentů láká 57 mil. USD

Pliny the Prompter nemá tým, rozpočet ani laboratoř. Přesto se mu opakovaně daří prolomit zábrany nového frontier modelu během několika hodin od jeho spuštění. A to je podle mě mnohem větší příběh než jakákoli tisková zpráva o tom, jak bezpečný ten který model je. Pokud je každá nová vrstva ochrany obejitelná dřív, než stihne vychladnout káva v kanceláři vývojářů, pak nemáme problém s tím, že by bezpečnostní týmy pracovaly špatně. Máme problém s architekturou. Dodatečně přilepené refusal vectory jsou záplata na něco, co by mělo být zabudované v modelu od základu, a výzva přejít k nativním řídicím vrstvám mi připadá oprávněná.

Souvisí to s tématem, které se vrací v celém dnešním přehledu: AI přestává jen odpovídat a začíná jednat. Finanční instituce si kladou otázku, co znamená agentic AI pro odpovědnost, dohled a regulaci, a nejsou v tom sami. Pokud agent, který smí hýbat penězi, stojí na modelu, jehož zábrany někdo vyřadí za odpoledne, je to něco jiného než chatbot, který řekne nevhodný vtip. Apropos, Adobe v tomhle směru volí zajímavě opatrnou cestu. Agenty přidává do kreativních nástrojů, ale zdůrazňuje, že každý tvůrce pracuje jinak, a nechává uživatele, aby si míru automatizace zvolili sami. Nevím, kolik z toho je skutečné přesvědčení a kolik pojistka proti reakci tvůrčí komunity, ale směr považuji za správný. Autonomie by neměla být výchozí nastavení, kterým se zákazník musí prokousat.

Teď k něčemu, co působí méně efektně, ale prakticky je to možná důležitější. PayPal tvrdí, že přesnost svého interního systému pro odpovídání na otázky zvedl ze 43 na 95 procent, aniž by vyměnil samotný jazykový model. Stojí za zmínku, jak málo se o tom mluví. Zatímco se všichni dívají na to, kdo vydá větší model, skutečný rozdíl dělá okolní inženýrství: kvalita dat, vyhledávání, struktura dotazů. Podobně působí výsledek výzkumníků z KAIST. Jejich metoda CluSTER vyvažuje výběr a přidělování dat při fine-tuningu a podle autorů zkracuje jeho dobu až o 69,6 procenta. Pokud se to potvrdí mimo laboratoř, bude to znamenat reálně nižší náklady pro každého, kdo si přizpůsobuje modely vlastním potřebám. A to je podstatně větší skupina než pár firem, které trénují modely od nuly.

Zaujala mě i jedna menší studie: univerzální LLM s přístupem k vahám text-to-image difuzního modelu dokázal odstranit určitý koncept přímou úpravou vah, bez gradientů a bez přetrénování. Je to zatím výzkum, ne produkt, ale otevírá otázku, zda by jednou mohly modely samy opravovat jiné modely. Jestli je to dobrá, nebo znepokojivá zpráva, záleží na tom, kdo drží ovládací páky. A tím se vracíme k Plinymu.

Na poli robotiky ukázala NVIDIA na konferenci CoRL 2026 model GR00T 2 a Jim Fan v keynote předvedl, jak lze roboty učit nové zručné dovednosti z lidských ukázek pomocí datových rukavic MANUS. Fyzický svět je pro AI vždycky těžší zkouška než textový. A kdybychom už v textu nezvládali udržet zábrany na uzdě, co teprve u robota, který drží v ruce nůž?