Zatímco se poslední měsíce mluví hlavně o tom, kdo má větší model, dnešní zprávy ukazují opačný trend — a možná zajímavější. Efektivita se stává tématem číslo jedna, a to na dvou frontách zároveň: jak zrychlit modely, které už existují, a jak je zmenšit tak, aby fungovaly i bez cloudu.
Začnu tím prvním. Objevily se hned dva nezávislé přístupy — framework přizpůsobující se konkrétnímu hardwaru a systém UniSpec — které slibují rychlejší běh LLM bez jakéhokoli dodatečného tréninku a beze ztráty kvality. To je podstatný detail. Doteď se zrychlování modelů většinou řešilo destilací nebo kvantizací, tedy zásahem do samotného modelu, který nutně něco stojí na přesnosti. Pokud se dá výkon vyladit jen tím, že model lépe „rozumí" hardwaru, na kterém běží, jde o čistý zisk bez kompromisů. Pro firmy, které dnes pálí obrovské částky za inferenci, je to přesně ten typ novinky, který se promítne do nákladů rychleji než jakýkoli nový model.
Druhá linie efektivity vede směrem od cloudu, ne k němu. Liquid AI, startup založený bývalými výzkumníky z MIT, vydal model LFM2.5-2.6B s otevřenými váhami — má necelé tři miliardy parametrů, zvládá kontext 128 tisíc tokenů, umí volat nástroje a běží i na Raspberry Pi. Že menší model zvládne agentní úlohy bez GPU, mi přijde jako důležitější signál než jeho konkrétní benchmarky. Znamená to, že agentní AI se pomalu stává něčím, co si každý může provozovat lokálně, offline, bez závislosti na API třetí strany. To má dopad na soukromí, na náklady i na to, kdo bude schopen stavět produkty s AI uvnitř — nejen velké firmy s přístupem k drahým modelům.
Apropos agenti — Microsoft popsal, jak interně řídí své AI agenty přes platformu Agent 365, a americké úřady jako ministerstvo pro veterány nebo letectvo testují podobné systémy pro vnitřní procesy. Společně s tím se objevuje Dogwood, nástroj na běhovou verifikaci nástrojových volání agentů. Není náhoda, že se tyto tři zprávy objevují ve stejný den. Jakmile agenti přestanou být experiment a stanou se součástí produkčních systémů — ve firmě i ve vládě — verifikace a dohled se stávají stejně důležitými jako samotná schopnost agenta něco udělat. Bez toho totiž nikdo nebude ochotný pustit agenta k něčemu, co skutečně stojí za řeč.
A pak je tu ta zpráva, která nezapadá do žádného trendu, ale stojí za zmínku: matematik z Anthropic tvrdí, že mu model Claude pomohl najít protipříklad k 87 let staré Jacobiho hypotéze. Pokud se to potvrdí, bude to jeden z prvních doložených případů, kdy AI přispěla k opravdu čisté matematice, ne jen k jejímu ověřování. Otázka, kterou si teď klade celá komunita, zní: šlo o šťastný nález, nebo o ukázku schopnosti, která se dá zopakovat?