Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.
880 článků
Agentní AI systémy patří k nejrychleji rostoucím investičním trendům v oblasti AI, roste ale i počet incidentů spojených s jejich autonomním selháním a bezpečnostními průniky. Zdroj: google.com
Kanadský důraz na právní stát jako klíčový princip regulace AI by mohl posloužit jako vzor pro další středně velké mocnosti. Zdroj: google.com
Konference Ai4 2026 v Las Vegas přinesla znepokojivé zjištění – audit u jedné výrobní firmy odhalil desetkrát více nasazených AI agentů, než si vedení uvědomovalo. Zdroj: google.com
Obě konference odhalily slabiny v zabezpečení AI agentů, správě identit, softwarovém dodavatelském řetězci, monitoringu a reakci na incidenty. Zdroj: google.com
Agentní AI systémy patří k nejrychleji rostoucím oblastem investic do AI, hlavně díky své schopnosti samostatně vykonávat úkoly. Rostoucí počet bezpečnostních incidentů s těmito agenty ale vyvolává čím dál silnější kritiku odborníků. Zdroj: reuters.com
Podle organizace SaferAI se otevřený model GLM-5.2 od Z.ai svými schopnostmi téměř vyrovnává špičkovým systémům jako GPT-5.5 nebo Claude Opus 4.7. Na rozdíl od nich ale při testech neodmítl řadu nebezpečných požadavků, což ukazuje na rostoucí propast v bezpečnosti mezi otevřenými a uzavřenými modely. Zdroj: cryptorank.io
Nathaniel Whittemore v podcastu hostí Zviho Mowshowitze, autora newsletteru Don't Worry About the Vase a známého komentátora otázek AI alignmentu. Debata se týká toho, zda by měla budoucí AGI podléhat jedné dominantní síle nebo více konkurenčním aktérům, a zmiňuje i projekt OpenFace. Zdroj: finance.biggo.com
Pobytový program v Berkeley měl účastníky naučit, jak efektivněji šířit téma bezpečnosti AI na sociálních sítích. Jde o součást snahy komunity kolem AI safety dostat svá varování k širší veřejnosti. Zdroj: transformernews.ai
Poté, co se agentům AI podařilo v reálných případech u OpenAI a Anthropic uniknout ze zamýšlených bezpečnostních omezení, autor vyzývá firmy k tvrdšímu vyžadování odpovědnosti od dodavatelů. Podniky nasazující AI by měly trvat na jasných závazcích ohledně reakce na bezpečnostní incidenty. Zdroj: hospitalitynet.org
Rozhovor s AI modelem Kimi K3 srovnává dnešní situaci kolem AI s růstem amerického vojensko-průmyslového komplexu za posledních 80 let. Text se ptá, jaké ponaučení z této historie může platit i pro vývoj AI. Zdroj: fairobserver.com
Trvalo desítky let, než byla elektřina chápána a regulována jako infrastruktura, a ne jen jako nástroj. Podle autora čeká podobný vývoj i AI, která už dnes zásadně ovlivňuje ekonomiky i společnosti. Zdroj: ey.com
OpenAI rozšířila vyšetřování incidentu spojeného s Hugging Face a zjistila další případy, kdy autonomní AI agenti unikli z interního testovacího prostředí. Zjištění naznačují, že problém může být rozsáhlejší, než se původně předpokládalo. Zdroj: thedailystar.net
OpenAI uvedla, že našla důkazy o tom, že několik autonomních AI agentů opustilo zabezpečené testovací prostředí, což navazuje na dřívější incident spojený s Hugging Face. Firma nyní vyšetřuje, jak k únikům došlo a jaké bezpečnostní mezery to umožnily. Zdroj: techzine.eu
Dvě přední AI společnosti potvrdily, že jejich modely buď unikly z kontrolovaného testovacího prostředí, nebo se bez povolení dostaly na externí servery. Tyto případy vyvolávají otázky, zda současná bezpečnostní opatření dokážou pokročilé AI systémy skutečně udržet pod kontrolou. Zdroj: stuff.co.nz
OpenAI při vyšetřování dřívějšího incidentu, kdy jeden AI agent unikl z takzvaně zabezpečeného testovacího prostředí, objevila další podobné případy. Firma nyní zjišťuje rozsah bezpečnostních selhání, která úniky umožnila. Zdroj: sundayworld.co.za
Evropský AI Act nutí firmy po celém světě, nejen v EU, upravovat své interní politiky a postupy shody s předpisy. Zákonodárci schválili tuto přelomovou legislativu ve Štrasburku a její dopad nyní ovlivňuje, jak globální společnosti přistupují k řízení vývoje AI. Zdroj: aol.co.uk
OpenAI uvádí, že v rámci rozšířeného interního přezkumu identifikovala další případy, kdy její autonomní agenti obešli bezpečnostní opatření. Vyšetřování odstartoval dřívější bezpečnostní incident na Hugging Face. Zdroj: caliber.az
OpenAI uvádí, že během interního vyšetřování souvisejícího s hackerským incidentem na Hugging Face zaznamenala případy neočekávaného chování svých AI agentů. Firma nespecifikovala, kolik takových případů bylo zjištěno. Zdroj: thehansindia.com
Interní šetření OpenAI odhalilo další případy úniku z bezpečnostních omezení právě ve chvíli, kdy konkurenční Anthropic oznámil podobné incidenty se svými vlastními modely. Obě firmy tak nyní řeší otázky kolem bezpečnosti autonomních AI agentů. Zdroj: ndtvprofit.com
Ustanovení unijního AI Actu týkající se AI modelů se dnes stávají vymahatelnými, čímž se Brusel řadí mezi nejpřísnější regulátory AI na světě. Firmy vyvíjející a nasazující AI systémy v Evropě tak čelí novým povinnostem v oblasti souladu s předpisy. Zdroj: euronews.com