Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.
1 145 článků
Důležitost:Spuštěnísafety research
CISO firmy Jumpmind spustil open-source AI framework CIRCUIT
Framework CIRCUIT od Jumpmind je open-source nástroj, který audituje rozhodnutí autonomních AI systémů a proměňuje neprůhledné algoritmy v přezkoumatelné bezpečnostní kontroly. Cílem je zvýšit transparentnost takzvaných černých skříněk. Zdroj: opensourceforu.com
Důležitost:Výzkuminterpretability
POSTECH vyvinul metodologii pro měření nejistoty LLM
Vědci z POSTECH Graduate School of Artificial Intelligence představili nový přístup k měření míry nejistoty velkých jazykových modelů. Na výzkumu se podíleli profesor Namhoon Lee spolu s doktorskými a magisterskými studenty. Zdroj: dongascience.com
Důležitost:NázorAI development
Sandeep Reddy popisuje svůj přístup k vývoji reálných AI aplikací
Většina uživatelů vnímá AI pouze povrchově – jako rychlé odpovědi nebo plynulá doporučení. Sandeep Reddy se zaměřuje na to, co se skrývá za touto fasádou, a popisuje svůj metodický přístup k budování funkčních AI řešení v praxi. Zdroj: tribuneindia.com
Důležitost:Výzkumalignment techniques
Čtyřkrokový test odhalí chyby AI ještě před nasazením strategie
Přispěvatel Search Engine Journal Alexander Kesler zveřejnil čtyřkrokový ověřovací protokol navržený k odhalení chyb AI před jejich využitím ve strategickém rozhodování. Protokol byl představen 1. července 2026. Zdroj: letsdatascience.com
Důležitost:Zprávaexistential risk/Anthropic
Anthropic najal ekonoma, který považuje 33% šanci na vyhynutí lidstva za přijatelnou
Ze všech velkých hráčů v oblasti AI je Anthropic ten, který nejvíce varuje před existenčními riziky – zároveň je ale také nejvíce zaměřený na bezpečnost AI. Nový ekonom ve svých pracích naznačuje, že třetinová pravděpodobnost zániku lidstva může být za určitých okolností akceptovatelná. Zdroj: futurism.com
Důležitost:Názoragentic AI governance
Největší výzvou při škálování agentní AI je governance
Na konferenci SSON Agentic & Applied AI for Enterprise se diskutovalo o tom, jak autonomní AI agenti začínají přetvářet provozní modely firem. Řečníci se shodli, že klíčovou překážkou širšího nasazení není technologie, ale právě governance a řízení těchto systémů. Zdroj: ssonetwork.com
Důležitost:ZprávaAI governance/politics
Anthropic odmítl hrát podle Trumpových pravidel. Platí za to.
Na rozdíl od jiných technologických firem se Anthropic nepokouší získat přízeň Trumpovy administrativy ani nenajal žádného prostředníka pro vztahy s Bílým domem. Tento přístup má pro společnost své politické a obchodní důsledky. Zdroj: fortune.com
Důležitost:NázorAI pause legality/antitrust
Mohou si AI laboratoře legálně domluvit pauzu ve vývoji?
Anthropic nastolil možnost koordinovaného a ověřeného pozastavení vývoje AI. Antimonopolní právo by však takovéto dohodě mohlo stát v cestě. Zdroj: lawfaremedia.org
Bezpečnostní fine-tuning LLM může skrytě oslabit ochranu před útoky
Fine-tuning umožňuje přizpůsobit obecný LLM konkrétnímu úkolu pomocí cíleného tréninku na vybraných příkladech. Nová analýza ukazuje, že bezpečnostní fine-tuning může nechtěně zanést skryté slabiny, které útočníci dokážou zneužít k obcházení ochran. Zdroj: blogs.cisco.com
Důležitost:Výzkumsafety vs. competition dynamics
Konkurence tlačí AI firmy k rychlosti na úkor bezpečnosti, říká studie
S tím, jak AI systémy nabývají na síle, řeší tvůrci politik po celém světě obtížnou otázku: jak podpořit inovace a zároveň zajistit bezpečnost. Nová studie naznačuje, že konkurenční tlak může firmy svádět k upřednostňování rychlosti před odpovědným vývojem. Zdroj: techxplore.com
Důležitost:NázorAI governance architecture
Svět nepotřebuje další AI deklaraci OSN, ale funkční architekturu
Diplomatická prohlášení o tom, že AI musí prospívat celému lidstvu, jsou snadno vyslovitelná, avšak těžko vymahatelná. Místo dalších nezávazných deklarací je podle autorů potřeba budovat konkrétní institucionální a technickou architekturu pro správu AI. Zdroj: techpolicy.press
Důležitost:Výzkuminterpretability/explainability
Vysvětlitelné AI systémy jako základ důvěry a ochrany soukromí
Xiaoming Liu se ve své přehledové studii zaměřuje na to, jak transparentnost a interpretovatelnost AI zlepšují důvěryhodnost systémů v kritických aplikacích. Zavádění principů explainable AI podle něj hraje klíčovou roli při ochraně soukromí uživatelů. Zdroj: manilatimes.net
Důležitost:ZprávaAI governance/policy
Vládní schvalovací proces AI modelů v USA ohrožuje celé odvětví
Trumpova administrativa zpřísňuje kontrolu nad vydáváním špičkových AI modelů, což podle kritiků vytváří krizi s existenčními důsledky pro celý AI průmysl. Problém se netýká jen jednotlivých firem, ale může zásadně zpomalit inovace v celém sektoru. Zdroj: theaiinsider.tech
Důležitost:NázorAI alignment/ethics workforce
Jak zkrotit duši AI? Najměte filozofa
Absolventi filozofie dlouho čelili vtipům, že jejich titul k ničemu neslouží. Ve světě AI však firmy stále častěji hledají právě lidi s filozofickým vzděláním, kteří pomáhají řešit etické otázky spojené s vývojem inteligentních systémů. Zdroj: thetimes.com
Důležitost:ZprávaAI governance/safety hiring
Anthropic hledá výzkumného inženýra pro oblast AI governance
Společnost Anthropic, která se zaměřuje na vývoj bezpečných a interpretovatelných AI systémů, vypsala pozici výzkumného inženýra specializovaného na právní stát a regulaci AI. Firma patří mezi přední hráče v oblasti odpovědného rozvoje AI. Zdroj: globalsouthopportunities.com
Důležitost:ZprávaAI ethics/governance
Papež Lev XIV.: AI nemůže být morálně neutrální
Papež Lev XIV. prohlásil, že každý algoritmus v sobě nese etické volby zakotvené už v jeho návrhu, měřeních a klasifikacích. Vyzval k důrazu na lidskou důstojnost a odpovědnost při vývoji AI systémů. Zdroj: dallasexpress.com
Důležitost:PolitikaAI governance/regulation
Filipíny a regulace AI: kde země vlastně stojí?
Sdružení ASEAN má vlastní směrnice pro oblast AI, jejich dodržování a vymáhání však závisí na vůli a kapacitách jednotlivých členských států. Filipíny tak zatím nemají jednotný regulační rámec. Zdroj: technology.inquirer.net
Důležitost:ZprávaAI governance / regulation
OpenAI vydalo GPT-5 pouhých 6 hodin po střetu s Trumpovou regulací
OpenAI provedlo jeden z nejrychlejších regulatorních obratů v historii AI. Méně než 24 hodin poté, co souhlasilo s postupným vydáváním nových modelů na popud Trumpovy administrativy, GPT-5 přesto vypustilo do světa. Zdroj: techbuzz.ai
Důležitost:ZprávaAI governance and misuse risk
Experti z Cambridge: Pokročilé AI modely předbíhají bezpečnostní zábrany
Zásadní zpráva Univerzity v Cambridge upozorňuje, že frontier AI modely se vyvíjejí rychleji, než stačí vznikat ochranná opatření. Hrozí mimo jiné nárůst kyberútoků a dezinformačních kampaní. Zdroj: aa.com.tr
Důležitost:ZprávaAI governance and misuse risk
Zpráva z Cambridge: AI může vyzbrojit zločince i nepřátelské státy
Univerzita v Cambridge varuje, že vývoj AI předbíhá bezpečnostní opatření a otevírá dveře zneužití ze strany kriminálníků i státních aktérů. Odborníci volají po rychlejší reakci regulátorů. Zdroj: turkiyetoday.com