AIskimIQ

Denní přehled zpráv z AI & technologií

Archiv/bezpečnost a alignment ai

🛡️ Bezpečnost a alignment AI

Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.

647 článků

Důležitost:Zprávasafety research

Anthropic výrazně rozšiřuje nábor kvůli rizikům bezpečnosti AI

Anthropic bude v roce 2026 najímat stovky lidí na pozice v oblasti AI safety a bezpečnosti, včetně nových fellowship programů. CEO Dario Amodei přitom varuje před riziky spojenými s lidským dohledem nad AI systémy. Zdroj: cryptobriefing.com

Důležitost:Výzkuminterpretability

Agonie neprůhlednosti: základy reflektivní interpretovatelnosti v AI podpoře duševního zdraví

Článek se zabývá tím, že v historii péče o duševní zdraví byli trpící lidé často léčeni bez hlubšího porozumění vlastnímu stavu. Autoři zkoumají, jak by AI mohla tento přístup proměnit prostřednictvím větší transparentnosti. Zdroj: ojs.aaai.org

Důležitost:Zprávainterpretability

3 otázky: transparentnost neuronových sítí a budoucnost návrhu AI

Odborný asistent MIT Pat Pataranutaporn popisuje nové rozhraní, které běžným uživatelům umožňuje nahlédnout do neuronové sítě AI ještě předtím, než chatbot odpoví. Cílem je zvýšit porozumění tomu, jak modely uvažují. Zdroj: news.mit.edu

Důležitost:Zprávasafety research

Malý tým v Montrealu se snaží zachránit svět před AI

Yoshua Bengio, podobně jako mnozí z nás počátkem roku 2023, experimentoval s ChatGPT a byl ohromen jeho schopnostmi. Fascinace se u něj rychle změnila v obavy, které ho přivedly k založení iniciativy zaměřené na bezpečnost AI. Zdroj: thelogic.co

Důležitost:Zprávaexistential risk

Anthropic chce, abyste věděli, že AI může zabít všechny – a přitom používali Claude

Reklama Anthropic během mistrovství světa varuje, že AI by mohla ukončit civilizaci, zároveň ale vyzývá diváky, aby důvěřovali Claude. Firemní přístup k bezpečnosti přitom podle kritiků zůstává plný rozporů. Zdroj: tech.yahoo.com

Důležitost:Zprávaexistential risk

Kolik bude stát zabránění apokalypse způsobené AI?

Podle Charlese Jonese, profesora ekonomie na Stanford Graduate School of Business, by vznik nadlidské umělé inteligence mohl vést ke dvěma nejhorším scénářům. Jones se snaží tato rizika kvantifikovat ekonomickými nástroji. Zdroj: forbesindia.com

Důležitost:Zprávagovernance

Vatikán hostí nositele Nobelovy ceny, řeší bezpečnostní rizika AI

Od 14. do 16. července 2026 se ve Vatikánu koná summit věnovaný rizikům AI a jaderných technologií. Zúčastní se ho přes 200 akademiků, inovátorů a nositelů Nobelovy ceny. Zdroj: eurasiareview.com

Důležitost:Zprávagovernance

Šéf DeepMind volá po globálním dozorčím orgánu pro AI vedeném USA

Demis Hassabis navrhuje vznik nového regulačního orgánu s pravomocí zastavit nebezpečné AI modely. Zdroj: techbuzz.ai

Důležitost:Zprávaalignment

AI tutoři porazili profesory práv ve slepé studii Stanfordu, hrozí riziko zaujatosti

Americké právnické fakulty horečně nastavují pravidla pro AI – University of Chicago Law School před pár dny zveřejnila svou strategii, včetně plánu zakázat notebooky. Zdroj: techtimes.com

Důležitost:ZprávaAI interpretability research

Co nový objev Anthropic o AI ukazuje – a co ne

Firma tvrdí, že objevila nové okno do toho, jak její modely dospívají k odpovědím. O tématu jsme mluvili se seniorním editorem Willem Douglasem Heavenem. Zdroj: technologyreview.com

Důležitost:NázorAI governance

Když budoucnost dorazila na radnici: zapomenutý plán pro řízení AI

Padesát let po debatě o rekombinantní DNA v Cambridge nabízí tehdejší model veřejného dohledu poučení pro dnešní správu AI. Zdroj: observer.com

Důležitost:NázorAI interpretability and national security

Proč vysvětlitelná AI nestačí pro operace vnitřní bezpečnosti

Varování v oblasti vnitřní bezpečnosti málokdy přichází jako jasný signál. Například během velké veřejné akce mohou kyberobránci zaznamenat neobvyklé pokusy o přístup a další nejasné indicie současně. Zdroj: hstoday.us

Důležitost:ZprávaAI security and national policy

Jak Čína krade špičkovou AI od Anthropic a OpenAI – a ohrožuje bezpečnost USA

Giganti jako Anthropic a OpenAI obvinili Čínu z krádeže jejich technologie prostřednictvím nelegálních útoků typu „distilace“ – znepokojivého trendu, který... Zdroj: nypost.com

Důležitost:Názorcorporate AI governance

Výbory pro technologie: z volitelných na nezbytné

Jak AI, kybernetická bezpečnost a další nové technologie mění rizika i tvorbu hodnoty, představenstva přehodnocují, zda tradiční struktura výborů ještě stačí. Zdroj: directorsandboards.com

Důležitost:ZprávaAI economic impact and policy

Stovky ekonomů: „Musíme jednat hned,“ kvůli dopadům AI na ekonomiku a zaměstnanost

Stovky ekonomů vyzývají k okamžitým krokům řešícím potenciální dopad AI na ekonomiku. V otevřeném dopise zveřejněném v pondělí varují, že AI by mohla... Zdroj: timeswv.com

Důležitost:Názoropen-source AI viability

Otevřeným modelům zbývá šest měsíců

Nejvážnější zkouška životaschopnosti open source AI dosud probíhá právě teď. Zdroj: interconnects.ai

Důležitost:NázorAI economics and governance

Koncentrace bohatství kolem datových center pro AI

Esej napsaná spolu s Nathanem E. Sandersem, původně vyšla v The Guardian. Odpor vůči datovým centrům pro AI se stal jedním z hlavních témat v USA. Zdroj: securityboulevard.com

Důležitost:NázorAI existential risk

Buterin: Skutečným rizikem AI není superinteligence, ale kontrola nad ní

Spoluzakladatel Ethereum Vitalik Buterin posouvá debatu o bezpečnosti AI jiným směrem. Podle něj největší nebezpečí nepředstavují superinteligentní stroje, ale koncentrace moci nad nimi v rukou úzké skupiny lidí. Zdroj: finance.biggo.com

Důležitost:PolitikaAI governance

Názor: Co může Indie reálně přinést do dialogu OSN o AI

V Ženevě se 6. a 7. července konal první Global Dialogue on AI Governance. Indii na něm zastupovala státní ministryně zahraničí Kirti Vardhan Singh. Zdroj: ndtv.com

Důležitost:VýzkumInterpretability

Proč na stabilitě atribuce záleží víc než na její přesnosti

Přesnost SHAP atribuce je pro regulovanou AI špatnou metrikou. Alternativou je σ_SHAP, tedy variance napříč K rotovanými referenčními vzorky, kterou lze při auditu skutečně obhájit. Zdroj: hackernoon.com