Šéfové AI míří na G7, Anthropic v IPO přiznává „existenční" rizika

Nejzajímavější věta dne nepřichází od žádného z lídrů, kteří se chystají na summit G7, ale od Yanna LeCuna: větší hrozbou než superinteligence je podle něj lidská hloupost. Ironie je, že to říká člověk, který se zároveň snaží přesvědčit obor, aby se přestal upínat k velkým jazykovým modelům. Podle něj další velký skok nepřijde z jejich dalšího zvětšování, ale ze systémů, které se učí a uvažují spíš jako zvířata a lidé. Myslím, že je to správná skepse. Pokud je LLM slepá ulička, byla by to nejdražší slepá ulička v dějinách techniky.

Jenže zatímco LeCun filozofuje o příští generaci, ta současná se už propisuje do fyzického světa a ukazuje, jak křehká je. Vědci z Binghamton University předvedli, že škodlivá spouštěcí slova ukrytá v jazykovém modelu dokážou převzít kontrolu nad robotem. Stojí za zmínku, že tentýž tým zároveň přišel s obranou nazvanou PROTEA. Pro každého, kdo staví na cizích modelech, je to praktické varování: backdoor v modelu už není akademická kuriozita, ale reálný vektor útoku na zařízení, která se pohybují a něco zvedají. Apropos, útoky nemusí být ani příliš sofistikované. Indian Express minulý týden popsal případ, kdy AI agent s využitím výzkumných dat americké firmy pronikl do systémů jedné organizace, a v Indii se teď řeší, nakolik je tamní digitální infrastruktura připravená na útočníky, kteří nespí a nepotřebují plat.

Do stejného obrazu zapadá i Neuralink, který ukázal prototyp, v němž uživatel s implantátem přivolá agenta Grok pouhým pomyšlením na frázi „Hey Neuralink". Technicky je to zajímavé a pro lidi s postižením může být přínos skutečný. Ale položme si otázku, kterou tiskové zprávy obvykle přeskakují: co se stane, až bude agent s přístupem k našim myšlenkám zranitelný stejně jako ten robot z Binghamtonu? Dokud neumíme spolehlivě zabezpečit modely, které ovládají robotickou paži, měli bychom být opatrní s modely, které sedí hned vedle nervové soustavy.

Politický rámec dodává summit G7 ve Francii, kam se v červnu vydali Sam Altman, Dario Amodei a Demis Hassabis. To, že šéfové OpenAI, Anthropicu a DeepMindu sedí u jednoho stolu se světovými lídry, o něčem vypovídá. Regulace AI se přesouvá z vyslechnutí v Kongresu do mezinárodní diplomacie. Americké komentáře zatím volají po okamžitém zásahu Kongresu, jiné zase tvrdí, že Trumpova administrativa využívá závod v AI jako nástroj k ovládnutí dodavatelských řetězců a přijímá přitom rizika, která by jinak nikdo rozumný nepodstoupil. Nemusím sdílet každý závěr těchto textů, abych viděl, že bezpečnost se stále častěji podřizuje geopolitice, a ne naopak.

Google mezitím oznámil tři nové modely Gemini, spolu s aliancí pro řemeslné profese a satelity pro včasnou detekci lesních požárů. Oceňuji, že firma ukazuje užitek mimo chatovací okno. Čím víc se ale AI dostává do satelitů, robotů a implantátů, tím méně si můžeme dovolit bezpečnost řešit až dodatečně. Otázka, kterou si nechám na zítřek: stihne LeCunova nová generace systémů dorazit dřív, než se naučíme zabezpečit tu stávající?