Když se podívám na dnešní krajinu AI investic a bezpečnostních výzev, vidím něco zajímavého — a trochu znepokojivého. Rozhodující infrastruktura se buduje velmi rychle, zatímco bezpečnostní kontroly zůstávají pozadu. Tenhle nesoulad by nás měl zajímat víc, než si připouštíme.
Začněme infrastrukturou. OpenAI jedná o pronájmu datového centra v Ohiu s výkonem 10 gigawattů — to je obrovská čísla, která jen potvrzují, že éra experimentálního hraní s AI už skončila. Tohle není startup na garáži, tohle je průmyslový závod ve vývoji základních technologií. Zapojení Nvidie do financování není překvapivé, ale měl bych podotknout, že koncentrace výkonné infrastruktury do rukou pár institucí má důsledky, které přesahují jen techniku. Když jeden hráč kontroluje tolika GPU, kontroluje i to, kdo může experimentovat a kdo ne.
A pak se podívejte na to, co se s touto infrastrukturou děje. KPMG a Microsoft globálně nasazují AI agenty, kteří mají přístup k emailům, zdrojovým kódům a interním dokumentům. Microsoft zároveň vylepšuje svoje Copilot Studio, aby bylo jednodušší tyto agenty nasazovat. Zní to skvěle — dokud si neuvědomíte, že podle testu, který viděl svět, přežije bezpečnostní test jen 11 procent těchto agentů při setkání s jedním nepřátelským dokumentem. Jedenáct procent! Myslím, že to není přeháňka říci, že tady něco zásadně nefunguje.
Apopos bezpečnosti — Anthropic v poslední době upozorňuje na problém, kterému sám věřím, že je skutečný a podceňovaný. AI nyní vyvíjí AI. Mluvíme tu o tom, že systémy se používají k trénování dalších systémů, a nikdo neví přesně, co se při těch iteracích děje. Někteří zákonodárci a vědci si začínají uvědomovat, že bychom měli zastavit nebo alespoň regulovat tohle, než se to vymkne kontrole. Je to poslední chvíle na rozumné rozhodnutí, nebo už jsme přešli bod, kdy je to příliš pozdě?
Na optimističtější straně — robotika se bez nadsázky mění. Standard Bots získal 200 milionů dolarů při valuaci jedné miliardy. MIT zdokonalil ultrazvukové náramky na zápěstí, které mohou zachytit lidské gesto a přímo ho využít k trénování robotů. Isaac Lab na SageMakeru škáluje reinforcement learning pro fyzické systémy. Tohle není sci-fi, tohle se děje teď.
Souhra těchto trendů mě fascinuje. Bereme si AI agenty, dáváme jim moc a při tom je bezpečnostně zvídat. Zároveň budujeme infrastrukturu, která je připravuje na roli, kterou ani dobře nerozumíme. A v robotice už vidíme praktickou aplikaci, kterou bychom měli vzít vážně. Otázka není, jestli je to všechno zajímavé. Otázka je, co si myslíte, že by se mělo dělit s lidským dohledem a co by se mělo udržet za hranicemi, dokud ne.