Model se 109M parametry porazil 72B, AI se začíná zlepšovat sama

Malý model se 109 miliony parametrů prý porazil obra o 72 miliardách. Tolik nadpisy, které se dnes kolem LeCunovy studie o architektuře JEPA mihotají. Já bych s ohodnocením radši počkal. Porovnávalo se přiřazování k vizuálnímu modelu, tedy úzce vymezená úloha, a z ní se nedá vyvozovat, že velikost přestala hrát roli. Přesto mě ten výsledek zaujal. JEPA předpovídá v abstraktním prostoru reprezentací, ne v surových datech, a to je přesně ten přístup, před jehož slepou uličkou LeCun roky varuje, zatímco průmysl sype miliardy do opačného směru. Stačí jedna studie k tomu, aby měl pravdu? Myslím, že ne. Je to ale první důkaz, který se nedá odbýt pokrčením ramen.

Stojí za zmínku, že podobnou otázku, jen z druhé strany, otevírá přehledová studie o programování ve váhovém prostoru. Jeden jazykový model tam přímo upravuje váhy jiného a skóre Qwen v testu MATH-500 se šestinásobně zvedlo. Šestinásobek zní působivě, jenže právě tady bych si nejdřív ověřil, z jaké startovní čáry se počítalo. Rozdíl oproti klasickému fine-tuningu je ale zásadní. Nejde o další dotrénování na datech, model tu zasahuje do jiného modelu. Autoři navíc poctivě rozebírají podmínky nutné pro rekurzivní zlepšování, a to je téma, které nemá smysl ani démonizovat, ani zlehčovat. Zatím vidím zajímavý mechanismus, ne důkaz, že se modely brzy samy vytáhnou za vlasy.

Z geopolitického hlediska je dnes nejvýraznější Tencent, který vydal Hy4 jako open-source model s ambicí patřit do světové špičky. Čínské firmy tím dál potvrzují, že otevřené modely jsou pro ně strategie, nikoli charita: kdo dodá základ, na kterém staví ostatní, získává vliv na celý ekosystém. Zajímavý kontrast nabízí domácí trh. Začátkem roku se v Číně šířila videa lidí stojících v dlouhých frontách kvůli instalaci agenta OpenClaw, dnes se prý adopce zadrhla, a to i přes podporu vlády. Apropos, zadrhává se i jinde. Vývojářům se slibovalo, že jim agenti ubudou práci, jenže souběžný provoz několika agentů se pro mnohé stal samostatným zaměstnáním. AWS se proto snaží zátěž spojenou s dohledem snížit.

Tyto dva příběhy spolu podle mě souvisejí víc, než se zdá. Ať už stojí v čele jakákoli společnost, schopnost agenta něco udělat je jedna věc a schopnost nechat ho pracovat bez dozoru věc druhá. Dokud druhá nebude vyřešená, ušetřený čas se jen přelévá do kontroly. Pokud vás to zajímá z praktického hlediska, sledujte hlavně nástroje pro dohled a ověřování výstupů, protože tam se bude rozhodovat o skutečné užitečnosti.

Nakonec zmíním ještě Jima Fana z NVIDIA a jeho vizuální plánování VFlash System One. Podrobností je zatím málo, ale směr dává smysl: plánovat v obraze místo v textu. A tak se vracím k úvodní otázce. Pokud se ukáže, že reprezentace v abstraktním prostoru zvládají plánování levněji než obří jazykové modely, bude to konec jedné éry, nebo jen její úprava?