Rezignace, varování před existenčním rizikem a AI bezpečnost v hledáčku všech

Ta rezignace, o které se dnes mluví po celém oboru, mi přijde jako zajímavý test toho, jak křehká je vlastně důvěra uvnitř AI komunity. Jeden odchod z jedné firmy a najednou se debata o existenčním riziku, která se roky vedla spíš na okraji – v komentářích, na konferencích pro zasvěcené – přesouvá do hlavního proudu. Nemyslím si, že by se za posledních pár týdnů něco zásadního změnilo na tom, jak nebezpečné AI systémy skutečně jsou. Změnilo se to, kdo o tom nahlas mluví a jak moc jim ostatní naslouchají.

Co mě na tom zaujalo nejvíc, je paradox, který v tom Silicon Valley žije už roky, jen teď je viditelnější. Lidé, kteří stavějí ty nejvýkonnější modely, zároveň varují, že by tyto modely mohly být pro lidstvo problémem. Další vlna výzkumníků z OpenAI a Anthropic teď veřejně volá po zpomalení, přičemž mluví konkrétně o rizicích spojených se samodokonalujícími se systémy. Není to abstraktní obava sci-fi nadšenců, je to komentář lidí, kteří vidí, co jejich vlastní modely dokážou za zavřenými dveřmi ještě předtím, než se to dostane do produkčního nasazení. Otázka, kterou si kladu, je, jestli tahle vlna vede k reálnému zpomalení, nebo jen k lepšímu PR kolem stejného tempa vývoje.

Apropos tempo vývoje – zatímco jedna část oboru řeší, jestli se má šlápnout na brzdu, druhá pokračuje s plným nasazením v úplně jiné oblasti. Model postavený na GPT-6 se údajně dostal na první místo v predikci struktury protilátek a vysloužil si srovnání s AlphaFold. Pokud se to potvrdí, jde o důkaz, že velké jazykové modely přestávají být jen nástrojem pro text a kód a začínají fungovat jako obecný motor pro vědecké objevy. To je přesně ten typ pokroku, který v debatě o bezpečnosti komplikuje jednoduché odpovědi – čím je AI užitečnější pro léčbu nemocí, tím těžší je argumentovat pro její zpomalení.

A pak je tu úplně praktická vrstva, která s velkými filozofickými otázkami kontrastuje: firmy jako Oracle nebo Salesforce právě teď řeší, jak agentům bezpečně otevřít přístup k firemním systémům a jak uhlídat náklady na tokeny. Je to připomínka, že zatímco se vede debata o existenčním riziku, byznys řeší mnohem přízemnější problém – jak agenty vůbec nasadit, aniž by rozbily účetnictví nebo utratily rozpočet za víkend. Obě roviny spolu ale souvisí víc, než se zdá. Čím víc autonomie agentům dáváme v praxi, tím naléhavější je otázka, kam až jsme ochotni tu autonomii pustit v principu.