Diffusion LLM zvládá 1 068 tokenů/s, MiniMax slibuje o 70 % levnější agenty

Zajímavé na dnešních zprávách není to, kdo je rychlejší nebo levnější. Zajímavé je, že se všichni najednou přou o to, kdo smí rozhodovat, kdy se AI zastaví. Vedle toho se rychlost modelů zdá skoro druhořadá. Skoro.

Začnu u té rychlosti, protože tady se děje něco, co stojí za pozornost. Inception vydal Mercury 3, difuzní jazykový model, který generuje text úplně jinak než klasické LLM. Místo slovo po slově vznikají odpovědi postupným zpřesňováním celku, podobně jako u obrázkových modelů. Výsledkem je rychlost 1 068 tokenů za sekundu. Dokud nevidím nezávislé testy kvality, beru marketingová čísla s rezervou, ale směr je podstatný. Pokud difuzní přístup udrží kvalitu, přestane být latence hlavní brzdou interaktivních aplikací a agentů. Vývojáři, kteří dnes navrhují celé systémy kolem čekání na odpověď, si budou muset některé předpoklady přepsat.

Do stejné kategorie patří čínský MiniMax a jeho M3.1 Flash, který podle firmy sníží náklady na provoz agentů o 70 procent. To je tvrzení výrobce, ne změřený fakt. Přesto dává smysl sledovat, kam se soutěž přesouvá. Už nejde o to, kdo má nejchytřejší model, ale kdo dokáže uživit agenta, který běží celé hodiny a spotřebuje miliony tokenů. Pro každého, kdo něco staví, je cena za úlohu dnes důležitější než skóre v benchmarku. Apropos, Microsoft ve Foundry právě zpřístupnil Routines, tedy plánované spouštění agentů, a Tool Search, díky kterému si agent hledá nástroje podle potřeby. Agenti tak přestávají být chatbotem, na kterého se někdo ptá, a začínají být službou, která běží sama od sebe. Právě tady nastupuje text o deterministických bezpečnostních hranicích na AWS: izolované prostředí, minimální oprávnění, validace volání nástrojů, nouzový vypínač. Nic z toho není nové, jsou to staré dobré zásady bezpečného provozu, jen aplikované na software, který si sám rozhoduje. Stojí za zmínku, že nejspolehlivější ochrana je tu nudná a technická, ne filozofická.

A teď k té zmíněné debatě o tom, kdo drží vypínač. Anthropic podle zpráv lobbuje v Kongresu za federální zákon, podle něhož by vydání modelu mohlo zastavit jen ministerstvo obchodu, a to jen u modelů hrozících škodou za miliardu dolarů nebo padesáti oběťmi. Z mého pohledu je to zajímavý tah. Může jít o upřímnou snahu o rozumná pravidla, ale taky o pojistku proti přísnější regulaci ze strany jednotlivých států. Kdo přesně nastaví laťku, určuje, kdo vydrží uvnitř. Andrew Ng zároveň vyčítá šéfům firem včetně Amodeiho, Altmana a Muska, že si bezpečnostní argumenty vymýšlejí. Nemyslím si, že pravda leží u jedné strany. Ale všimněte si, že tvrdé hranice navrhují právě ti, kdo je dokážou splnit.

Do toho přichází kanadská média, Postmedia, Torstar, The Globe and Mail a Canadian Press, se žalobou na Anthropic kvůli autorským právům. Další případ do sbírky. Právní nejistota kolem tréninkových dat zůstává největším nevyřešeným rizikem celého oboru a rychlost ani nízká cena ji nevyřeší.

Otázka, kterou si pokládám: pokud modely zrychlí a zlevní natolik, že agenti poběží všude, bude se regulace opírat o velikost škody, nebo o to, kdo za ni ponese odpovědnost?