Anthropic spustil tento týden zajímavou debatu – volá po globálním zastavení vývoje pokročilých AI modelů, zatímco Microsoft právě představil sedm vlastních AI systémů a nový čip Cobalt 200. Kontrast je instructivní, protože odhaluje skutečný střet názorů na to, jak rychle bychom měli postupovat.
Chápu obavy Anthropicu. Jejich zpráva se dotýká problému, který nás skutečně tísní: vzdálenost mezi tím, jak dobře umíme AI trénovat, a tím, jak málo skutečně rozumíme, proč vůbec fungují. Nejsilnější AI systémy na světě dnes pracují na principech, které jsme si částečně osvojili empiricky, ale jejich chování v krajních případech zůstává do značné míry tajné. Když pak takovéto systémy začnou samy generovat a optimalizovat svůj kód – což podle Anthropicu můžeme zažít velmi brzy – vstupujeme do území, které nechceme přecházet bez řádné přípravy.
Ale tady je dilema: požadovat globální pauzu vývoje je jako prosit řidiče, aby zpomalili na dálnici, která se právě staví. Microsoft, Amazon, tisíce startupů a státní instituce věnují obrovské prostředky do toho, aby budovali lepší modely. Je naivní si myslet, že se tohle zastaví na základě doporučení jedné společnosti, ať je sebeprisluní. David Sacks z Bílého domu to vyjádřil poměrně ostře – a měl částečně pravdu, když zpochybnil, zda masivní bezpečnostní dokumenty v tuto chvíli tlačí diskusi správným směrem.
Apropos, právě tohle je problém, se kterým se potýkáme jako průmysl. Zatímco Anthropic varuje, ostatní zásadně pokračují a zároveň si budují vlastní infrastrukturu, aby byli nezávislí. Microsoft sází na to, že si může koupit čas budováním vlastního stacku. To je v podstatě sázka na to, že čím více institucí bude mít přístup k pokročilým modelům, tím víc budeme znát jejich omezení a rizika v praxi. Možná má pravdu. Nebo je to jen příprava na závod, který nikdo nemůže zastavit.
Zásadní otázka není vlastně, zda bychom měli dělat pauzu – je zda máme jako společnost nástroje na to, abychom s těmito systémy bezpečně pracovali, když už existují. Antropic mluví správně o Zero Trust přístupech a asynchronních agentech, kteří zvládají selhání bez pádu. To jsou praktické věci. To je připravenost. A to nás zajímá víc než morální apely na zpomalení.