Dario Amodei tento týden varoval, že nekontrolovatelní AI agenti by během půl roku mohli ovládnout internet, a přišel s tříbodovým bezpečnostním plánem. Ve stejném týdnu jeden zakladatel na sociálních sítích líčil, jak mu AI agent smazal produkční data — a zůstal navzdory tomu optimistou. Tenhle kontrast mi přijde výmluvnější než cokoliv, co se dnes psalo o modelech samotných.
Máme tu totiž dva úplně odlišné druhy rizika, které se v diskuzi často míchají dohromady. Amodei mluví o existenčním scénáři, o agentech, kteří by mohli jednat autonomně v takovém měřítku, že by to ohrozilo kontrolu nad klíčovou infrastrukturou. To je scénář, který se dá těžko ověřit a ještě hůř vyvrátit. Ale ten smazaný firemní databázi je problém úplně jiné kategorie — nudný, praktický, a přitom mnohem pravděpodobnější, že se stane právě vám. Firmy dnes nasazují agenty s oprávněními, která by nikdy nesvěřily juniornímu zaměstnanci bez dozoru, a pak se diví, když se něco pokazí. Trump mezitím prohlásil, že se existenčního rizika nebojí, přestože přes tucet současných i bývalých lidí z OpenAI a Anthropicu žádá o zpomalení. Politická reakce na obě roviny rizika je zatím naprosto nedostatečná — a to i v době, kdy Sam Altman odkládá IPO OpenAI právě kvůli nevyřešeným bezpečnostním otázkám. To je gesto, které stojí za pozornost: burza tlačí na kvartální výsledky, ne na opatrnost, a Altman zjevně nechce být nucen si vybírat.
Apropos praktická rizika — Abacus.AI představila trojici modelů Smaug, které mají snížit náklady na provoz firemních agentů až stokrát. Pokud to číslo byť jen z poloviny odpovídá realitě, mění se tím ekonomika celého odvětví. Agenti přestávají být drahou hračkou pro pár firem s rozpočtem na experimenty a stávají se něčím, co si může dovolit prakticky kdokoliv. A přesně tady se propojuje bezpečnostní debata s tou byznysovou — čím levnější a dostupnější agenti jsou, tím víc firem je nasadí bez pořádného pochopení, co všechno jim vlastně dovolily dělat.
Microsoft mezitím tiše přidal Grok od xAI do Copilotu, včetně Wordu, Excelu a PowerPointu. Není to nijak dramatická zpráva, ale ukazuje směr, kterým se Microsoft ubírá — nechce sázet na jednoho dodavatele modelů, chce nabízet výběr. Pro firemní zákazníky to znamená víc možností, ale taky víc otázek, který model se hodí na kterou úlohu a s jakými riziky.
Otázka, která mi z toho všeho zbývá, je jednoduchá: budeme řešit bezpečnost agentů dřív, než se stanou běžnou součástí firemní infrastruktury, nebo až poté, co si na vlastní kůži vyzkoušíme, co všechno se dá pokazit?