AIskimIQ

🛡️ Bezpečnost a alignment AI

Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.

1 145 článků

CISO firmy Jumpmind spustil open-source AI framework CIRCUIT

Framework CIRCUIT od Jumpmind je open-source nástroj, který audituje rozhodnutí autonomních AI systémů a proměňuje neprůhledné algoritmy v přezkoumatelné bezpečnostní kontroly. Cílem je zvýšit transparentnost takzvaných černých skříněk. Zdroj: opensourceforu.com

POSTECH vyvinul metodologii pro měření nejistoty LLM

Vědci z POSTECH Graduate School of Artificial Intelligence představili nový přístup k měření míry nejistoty velkých jazykových modelů. Na výzkumu se podíleli profesor Namhoon Lee spolu s doktorskými a magisterskými studenty. Zdroj: dongascience.com

Sandeep Reddy popisuje svůj přístup k vývoji reálných AI aplikací

Většina uživatelů vnímá AI pouze povrchově – jako rychlé odpovědi nebo plynulá doporučení. Sandeep Reddy se zaměřuje na to, co se skrývá za touto fasádou, a popisuje svůj metodický přístup k budování funkčních AI řešení v praxi. Zdroj: tribuneindia.com

Čtyřkrokový test odhalí chyby AI ještě před nasazením strategie

Přispěvatel Search Engine Journal Alexander Kesler zveřejnil čtyřkrokový ověřovací protokol navržený k odhalení chyb AI před jejich využitím ve strategickém rozhodování. Protokol byl představen 1. července 2026. Zdroj: letsdatascience.com

Anthropic najal ekonoma, který považuje 33% šanci na vyhynutí lidstva za přijatelnou

Ze všech velkých hráčů v oblasti AI je Anthropic ten, který nejvíce varuje před existenčními riziky – zároveň je ale také nejvíce zaměřený na bezpečnost AI. Nový ekonom ve svých pracích naznačuje, že třetinová pravděpodobnost zániku lidstva může být za určitých okolností akceptovatelná. Zdroj: futurism.com

Největší výzvou při škálování agentní AI je governance

Na konferenci SSON Agentic & Applied AI for Enterprise se diskutovalo o tom, jak autonomní AI agenti začínají přetvářet provozní modely firem. Řečníci se shodli, že klíčovou překážkou širšího nasazení není technologie, ale právě governance a řízení těchto systémů. Zdroj: ssonetwork.com

Anthropic odmítl hrát podle Trumpových pravidel. Platí za to.

Na rozdíl od jiných technologických firem se Anthropic nepokouší získat přízeň Trumpovy administrativy ani nenajal žádného prostředníka pro vztahy s Bílým domem. Tento přístup má pro společnost své politické a obchodní důsledky. Zdroj: fortune.com

Mohou si AI laboratoře legálně domluvit pauzu ve vývoji?

Anthropic nastolil možnost koordinovaného a ověřeného pozastavení vývoje AI. Antimonopolní právo by však takovéto dohodě mohlo stát v cestě. Zdroj: lawfaremedia.org

Bezpečnostní fine-tuning LLM může skrytě oslabit ochranu před útoky

Fine-tuning umožňuje přizpůsobit obecný LLM konkrétnímu úkolu pomocí cíleného tréninku na vybraných příkladech. Nová analýza ukazuje, že bezpečnostní fine-tuning může nechtěně zanést skryté slabiny, které útočníci dokážou zneužít k obcházení ochran. Zdroj: blogs.cisco.com

Konkurence tlačí AI firmy k rychlosti na úkor bezpečnosti, říká studie

S tím, jak AI systémy nabývají na síle, řeší tvůrci politik po celém světě obtížnou otázku: jak podpořit inovace a zároveň zajistit bezpečnost. Nová studie naznačuje, že konkurenční tlak může firmy svádět k upřednostňování rychlosti před odpovědným vývojem. Zdroj: techxplore.com

Svět nepotřebuje další AI deklaraci OSN, ale funkční architekturu

Diplomatická prohlášení o tom, že AI musí prospívat celému lidstvu, jsou snadno vyslovitelná, avšak těžko vymahatelná. Místo dalších nezávazných deklarací je podle autorů potřeba budovat konkrétní institucionální a technickou architekturu pro správu AI. Zdroj: techpolicy.press

Vysvětlitelné AI systémy jako základ důvěry a ochrany soukromí

Xiaoming Liu se ve své přehledové studii zaměřuje na to, jak transparentnost a interpretovatelnost AI zlepšují důvěryhodnost systémů v kritických aplikacích. Zavádění principů explainable AI podle něj hraje klíčovou roli při ochraně soukromí uživatelů. Zdroj: manilatimes.net

Vládní schvalovací proces AI modelů v USA ohrožuje celé odvětví

Trumpova administrativa zpřísňuje kontrolu nad vydáváním špičkových AI modelů, což podle kritiků vytváří krizi s existenčními důsledky pro celý AI průmysl. Problém se netýká jen jednotlivých firem, ale může zásadně zpomalit inovace v celém sektoru. Zdroj: theaiinsider.tech

Jak zkrotit duši AI? Najměte filozofa

Absolventi filozofie dlouho čelili vtipům, že jejich titul k ničemu neslouží. Ve světě AI však firmy stále častěji hledají právě lidi s filozofickým vzděláním, kteří pomáhají řešit etické otázky spojené s vývojem inteligentních systémů. Zdroj: thetimes.com

Anthropic hledá výzkumného inženýra pro oblast AI governance

Společnost Anthropic, která se zaměřuje na vývoj bezpečných a interpretovatelných AI systémů, vypsala pozici výzkumného inženýra specializovaného na právní stát a regulaci AI. Firma patří mezi přední hráče v oblasti odpovědného rozvoje AI. Zdroj: globalsouthopportunities.com

Papež Lev XIV.: AI nemůže být morálně neutrální

Papež Lev XIV. prohlásil, že každý algoritmus v sobě nese etické volby zakotvené už v jeho návrhu, měřeních a klasifikacích. Vyzval k důrazu na lidskou důstojnost a odpovědnost při vývoji AI systémů. Zdroj: dallasexpress.com

Filipíny a regulace AI: kde země vlastně stojí?

Sdružení ASEAN má vlastní směrnice pro oblast AI, jejich dodržování a vymáhání však závisí na vůli a kapacitách jednotlivých členských států. Filipíny tak zatím nemají jednotný regulační rámec. Zdroj: technology.inquirer.net

OpenAI vydalo GPT-5 pouhých 6 hodin po střetu s Trumpovou regulací

OpenAI provedlo jeden z nejrychlejších regulatorních obratů v historii AI. Méně než 24 hodin poté, co souhlasilo s postupným vydáváním nových modelů na popud Trumpovy administrativy, GPT-5 přesto vypustilo do světa. Zdroj: techbuzz.ai

Experti z Cambridge: Pokročilé AI modely předbíhají bezpečnostní zábrany

Zásadní zpráva Univerzity v Cambridge upozorňuje, že frontier AI modely se vyvíjejí rychleji, než stačí vznikat ochranná opatření. Hrozí mimo jiné nárůst kyberútoků a dezinformačních kampaní. Zdroj: aa.com.tr

Zpráva z Cambridge: AI může vyzbrojit zločince i nepřátelské státy

Univerzita v Cambridge varuje, že vývoj AI předbíhá bezpečnostní opatření a otevírá dveře zneužití ze strany kriminálníků i státních aktérů. Odborníci volají po rychlejší reakci regulátorů. Zdroj: turkiyetoday.com