Nový open-source model s 501B, evropský rival a bezpečnostní poplach kolem OpenAI a Anthropic

Dnes mě nejvíc zaujala věc, která se v žádném z dnešních titulků neobjevuje jako samostatná zpráva: AI firmy se chystají na burzu a zároveň se jim začíná sypat bezpečnostní tým. Uniklý prospekt Anthropic k IPO má 261 stran, zhruba osmdesát z nich věnuje rizikovým faktorům a čtenář se tam dočte o nejděsivějších scénářích, jaké kdy v takovém dokumentu stály. Háček je v tom, že podle rozboru, který kolem prospektu koluje, se tato varování netýkají mimo jiné závazků v hodnotě 518 miliard dolarů. Rizika jsou tedy popsána dramaticky, ale nikoho k ničemu nezavazují. Právníci tomu říkají řádné zveřejnění. Já tomu říkám pojistka, ne slib.

Pak je tu OpenAI. David Robinson, dosavadní šéf bezpečnosti, odešel s tím, že firma podle něj nedosahuje úrovně péče, kterou považuje za nezbytnou. Sam Altman mezitím tvrdí, že lidstvo může nad superinteligencí udržet kontrolu, pokud obor postaví bezpečnost před rychlost, konkurenci i blížící se vstup na burzu. Zajímavé je, že sám Altman IPO v téže debatě zmiňuje jako tlak, který bezpečnost ohrožuje, a přitom se o odkladu IPO OpenAI mluví jako o něčem, co firmě ještě visí nad hlavou. Apropos, nezisková organizace Palisade Research k tomu přidala videosvědectví současných i bývalých lidí z OpenAI a Google DeepMind, kteří se obávají sebezdokonalujících se systémů a říkají, že se v tom spěchu bezpečnostní rizika přehlížejí. Jednotlivé výpovědi lze odmávnout, ale když se sejdou odchod šéfa bezpečnosti, svědectví zevnitř a prospekt plný varování, začínám to číst jako vzorec. Podle mého názoru je to nejsilnější argument pro nezávislý dohled, jaký jsme letos dostali.

Do toho přichází praktická otázka pro každého, kdo s agenty staví. Zpráva o protokolu MCP při komunikaci mezi agenty upozorňuje, že útočníci mají s masovým nasazením agentů nové možnosti, jak je donutit k škodlivým akcím, třeba k úniku dat. Stojí za zmínku, že tohle není hypotetická hrozba z konferenčních slidů. Pokud agenti dostávají přístup k datům a nástrojům a navíc si mezi sebou důvěřují, každý slabý článek řetězu je vstupní branou. Bezpečnost tu není filozofická debata o superinteligenci, ale otázka, jestli vám váš agent zítra nepošle zákaznickou databázi někomu cizímu.

Na druhé straně spektra pak sledujeme, jak se trh rozšiřuje. Reflection AI představila open-source model Beam s 501 miliardami parametrů a evropský Kolibri jde opačnou cestou: 78,1 miliardy parametrů celkem, ale jen 3,46 miliardy aktivních na token, jako suverénní anglicko-německá alternativa postavená na poměru výkonu a efektivity. Právě druhý přístup mi přijde zajímavější. Velikost sama o sobě už nikoho nepřekvapí, kdežto model, který za rozumné peníze obslouží evropské firmy na vlastní půdě, má geopolitický smysl. A když se podívám na Decade, kde bývalý manažer Nubank slibuje AI poradce pro peníze za zhruba 40 dolarů měsíčně, ptám se, kdo ponese odpovědnost, když poradce poradí špatně.

Otázka na závěr: pokud se z bezpečnosti stane kolonka v prospektu, kdo bude u stolu, až se rozhodne o rychlosti?