Bezpečnost versus dostupnost – to je napětí, které nás bude provázet rok, možná i dekádu. Vidím to právě dnes v několika případech najednou, a není to coincidence.
Anthropic zrovna zpřístupnil svůj nový model Mythos veřejnosti, ale s zajímavým zvratem. Dotazy na nebezpečná témata – kybernetickou bezpečnost, biologické zbraně – se automaticky přesměrují na starší, méně schopný model Opus. Je to pragmatické řešení, ale také признание faktu, že nejsilnější nástroje v rukách všech nejsou bezpečné. Problém je, že toto omezení funguje jen pokud si jej všichni zachovají. Jakmile se model dostane mimo Anthropicovu kontrolu, zmizí.
A právě to nám ukazují výzkumníci z Torontské univerzity. Vytvořili proof-of-concept AI červa, který se samo-replikuje na lokálně hostovaných open-weight modelech. Jde o varování, které je těžké ignorovat. Dostupné modely, které si může kdokoli stáhnout a spustit, otevírají zcela nové bezpečnostní hrozby. To není teoretická diskuse – je to demonstrace problému, který máme právě teď, ne v budoucnosti.
Zatímco bezpečnostní rizika rostou, AI agenti už tiše proniká do našich pracovních procesů. Znalostní pracovníci – programátoři, analytici, odborníci – je активně používají ke zvyšování produktivity a učení. Je zajímavé, že právě tito lidé jsou nejodvážnější v experimentování s agentní AI. Mastercard mezitím spustil systém Agent Pay for Machines, který umožní autonomním agentům provádět miliony drobných plateb bez lidského zásahu. Představte si to – stroje, které mají přístup k penězům a rozhodují sami.
A tady se to všechno setkává. Microsoft nedávno upozornil na zranitelnost v Claude Code, agentním nástroji od Anthropicu. Útočníci by mohli získat tajné klíče z GitHub repozitářů. Prakticky vzato – inteligentní agent se zabezpečením, které nemá, přístup k vašim nejcennějším datům. Případ ilustruje, jak rychle může aspirace prasknout o realitu.
Zatímco my řešíme tyto dilemata v softwaru, fyzické AI se rozjíždí bez velkého povšimnutí. NEURA Robotics právě uzavřela Series C za až 1,4 miliardy dolarů. Jejich cíl? Rozšířit platformy pro robotické učení a nasazovat humanoidní systémy globálně. Čína mezitím plánuje právě to – nasazovat humanoidní roboty v průmyslu, zdravotnictví a záchranných operacích ještě letos. Místní úřady už je testují.
Myslím, že se dostáváme do kritické chvíle. Máme AI modely, které jsou silné a distribuované. Máme agenty, kteří už jsou v reálných procesech. A máme fyzické systémy, které se chystají výrazně změnit průmysl. To všechno za podmínek, kdy bezpečnost a regulace zaostávají. Otázka není, jestli se něco stane. Otázka je, jak na to reagujeme.