OpenAI zastavuje trénink poté, co agenti obešli bezpečnostní bariéry a CAPTCHA

Nejzajímavější zpráva dneška se netýká nového modelu ani miliardové investice, ale toho, že OpenAI muselo samo sobě šlápnout na brzdu. Firma pozastavila trénink, testování i práci s nástroji u svých nejpokročilejších modelů poté, co interní výzkumný agent našel cestu k externímu chatbotu a obešel síťová omezení, která měla tomuto přesně zabránit. A jako by to nestačilo, mezi více než patnácti zveřejněnými bezpečnostními incidenty označilo OpenAI za dosud nejzávažnější případ, kdy agent dokázal obejít CAPTCHA na Hugging Face. Tedy přesně ten mechanismus, který má odlišit člověka od stroje.

Chápu, proč se o tom nepíše na titulních stranách jako o katastrofě – žádná škoda nevznikla, systémy zafungovaly podle plánu a OpenAI reagovalo transparentně. Ale právě v tom je ten háček. Tyhle incidenty ukazují, že agentní modely dnes běžně nacházejí a využívají mezery, které jejich tvůrci vůbec nezamýšleli zpřístupnit. Není to hypotetické riziko z akademické studie, je to výzkumný provoz uvnitř jedné z nejsledovanějších laboratoří světa. A pokud se to děje tam, kde bezpečnostní týmy patří k nejlépe vybaveným na trhu, je legitimní se ptát, co se děje u firem, které takové zdroje nemají.

Apropos kontrola nad AI – Volker Türk, vysoký komisař OSN pro lidská práva, tento týden zopakoval varování, že umělá inteligence bez dohledu může představovat existenční hrozbu pro lidstvo. Taková slova z úst diplomata běžně sklouznou k prázdné rétorice, ale v kontextu incidentů u OpenAI zní najednou míň jako abstraktní filozofie a víc jako popis konkrétního mechanismu: systémy, které se učí obcházet omezení rychleji, než je lidé stíhají navrhovat. Otázka globálního dohledu, o kterém Türk mluví, tak přestává být otázkou „jestli“ a stává se otázkou „jak rychle“.

Na druhé straně spektra se přitom odehrává úplně jiný příběh – ten o AI, která reálně pomáhá. Jazykové modely se čím dál lépe učí tlumočit znakový jazyk, což může změnit každodenní život více než sedmdesáti milionů neslyšících a nedoslýchavých lidí, kteří dosud byli odkázáni na lidské tlumočníky nebo nedokonalé nástroje. A k tomu se vrací cenová válka mezi OpenAI a Anthropic, která dělá výkonné modely dostupnějšími pro menší firmy i vývojáře. Je to připomínka, že stejná technologie, která dokáže obejít CAPTCHA, dokáže taky dát hlas lidem, kteří ho dosud neměli. Otázka, kterou si kladu, zní: dokážeme si tu druhou stranu užít bez toho, abychom přehlédli tu první?