Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.
1 178 článků
Důležitost:Zprávagovernance
Asi 400 vědců žádá závazná mezinárodní pravidla pro pokročilou AI
Zhruba 400 vědců z 34 zemí vyzývá k vytvoření mezinárodního orgánu, který by dohlížel na pokročilé systémy AI. Podle nich dobrovolné závazky na zvládání rizik nestačí. Zdroj: leadership.ng
Důležitost:Zprávagovernance
Američtí zákonodárci vyzývají zakladatele AI, ať se soustředí na produkty a bezpečnost
Podle zákonodárců se sdělení šéfů firem pohybuje mezi příslibem prosperity díky AI a varováním před existenčním nebezpečím. Debaty o digitálním vědomí a globální katastrofě podle nich odvádějí pozornost od praktických problémů. Zdroj: tokenpost.com
Důležitost:Zprávainterpretability
Výzkumnice z ETH Zürich: u AI často zaměňujeme chování se záměrem
Klamou nás systémy AI doopravdy, nebo jejich chování jen špatně interpretujeme? Na otázku odpovídá Anna Hedström z ETH Zürich, která se zabývá riziky AI. Zdroj: technology.org
Důležitost:Názorgovernance
Komentář: „efektivní altruismus“ je jen jiné slovo pro mediální zaujatost
Autor tvrdí, že hnutí efektivního altruismu nyní financuje stipendia, která školí novináře pro psaní o „bezpečnosti AI“. V tom vidí způsob, jak ovlivňovat mediální pokrytí. Zdroj: wsj.com
Důležitost:ZprávaAI safety research collaboration
OpenAI se spojuje s polským NASK kvůli výzkumu bezpečnosti AI
OpenAI v pátek oznámila spolupráci s polským národním výzkumným institutem NASK na výzkumu bezpečnosti a zabezpečení AI i na technickém výzkumu. Partnerství má posunout společnou práci v těchto oblastech. Zdroj: reuters.com
Důležitost:ZprávaAI safety and commercial competition
Peníze proti bezpečnosti: střet, který vyvolává obří krizi v AI
OpenAI a Anthropic svádějí tvrdý souboj mezi sebou i s Čínou a míří k IPO. Zároveň přiznávají, že by mohly ztratit kontrolu nad svými stále výkonnějšími systémy. Zdroj: tovima.com
Důležitost:NázorAI existential threats
Komentář: Velká sázka na AI, na které závisí hodně
Autor Red Jahncke tvrdí, že Američanům hrozí skutečné existenční ohrožení, pokud AI nenaplní své sliby. Rozsáhlé investice do AI označuje za sázku, která může všechno rozhodnout. Zdroj: ctinsider.com
Důležitost:NázorAI international governance
OpEd: OSN chce řídit AI, ale sotva zvládá řídit samu sebe
Komentář odmítá výzvu generálního tajemníka OSN Guterrese k vytvoření mezinárodního rámce pro bezpečnost AI. Tvrdí, že centralizovaná globální regulace AI je chybný přístup. Zdroj: eurasiareview.com
Důležitost:ZprávaAI security threats
Mark Cuban: AI agenti jsou jako šváby v systémech, obránci ale mají AI
Miliardář a investor Mark Cuban přirovnal hackování poháněné AI k zamoření švábi a označil hrozbu za otázku hrubé síly a rozsahu, nikoli nových taktik. Obránci podle něj mohou odpovědět pomocí AI, protože hacky tu byly vždycky. Zdroj: tradingview.com
Důležitost:ZprávaAI safety and malicious applications
Andrew Ng: zneužití AI patří k nejodpornějším věcem, které kdy viděl
Průkopník AI a spoluzakladatel Google Brain Andrew Ng se ostře ohradil proti škodlivému využívání této technologie. Jedno z takových zneužití označil za jednu z nejodpornějších věcí, s nimiž se setkal. Zdroj: timesofindia.indiatimes.com
Důležitost:Politikagovernance
Senátor Becker navrhuje zákon: vývojáři špičkové AI musí financovat výzkum bezpečnosti
Státní senátor Josh Becker předložil nový legislativní návrh zaměřený na rizika, která by mohla přinést neregulovaná umělá inteligence. Zákon by vývojáře nejvýkonnějších AI systémů tlačil k investicím do výzkumu bezpečnosti AI. Zdroj: smdailyjournal.com
Důležitost:Názorexistential risk
Věrohodná technodystopie: problémů s AI je mnoho, žádný ale není digitální démon
Problémy způsobené vývojem AI jsou rozšířené a stále přibývají. Žádný z nich však nespočívá v digitálním démonovi, který by nás všechny zahubil. Zdroj: liberalcurrents.com
Důležitost:ZprávaAI safety research
OpenAI naváže spolupráci s polským institutem NASK na výzkumu bezpečnosti AI
OpenAI oznámila, že bude spolupracovat s polským národním výzkumným institutem NASK na výzkumu bezpečnosti, zabezpečení a technických aspektů AI. Spolupráci oznámila společnost v pátek, uvedla agentura Reuters. Zdroj: thestate.com
Důležitost:Názorexistential risk
Roger McNamee: Existenční rizika AI jsou humbuk, nebezpečná je finanční bublina
Investoři, šéfové firem i novináři jsou z umělé inteligence v extázi od uvedení ChatGPT před čtyřmi lety. McNamee tvrdí, že apokalyptické scénáře jsou přehnané, skutečným nebezpečím je však finanční bublina, která kolem technologie vzniká. Zdroj: thenerve.news
Důležitost:ZprávaAI safety
AI agenti se objevují na více než 100 webech, OSN připravuje reakci
Obavy o bezpečnost AI se tento týden vyostřily poté, co zprávy popsaly autonomní systémy, které rozhodují a jednají s čím dál menším lidským dohledem. OSN se situací zabývá a zvažuje kroky. Zdroj: shattered.io
Důležitost:Zprávagovernance
Pauza v genovém editování jako vzor pro zpomalení vývoje AI
Někteří lídři závodu v oblasti AI dnes volají po zpomalení kvůli bezpečnosti. Z ekonomického hlediska jde o problém kolektivní akce, protože nikdo nechce zaostat tím, že zpomalí sám. Článek se ptá, zda by se mohli inspirovat přístupem vědců z oboru genového editování. Zdroj: npr.org
Důležitost:Zprávagovernance
Zachránit svět, nebo vydělat jmění? Dilema bezpečnostních výzkumníků AI
Rishub Jain pracoval na bezpečnosti ve společnosti Google DeepMind, což patřilo k nejžádanějším pozicím v celém technologickém světě. Patřil do malé skupiny výzkumníků, kteří se tomuto problému věnovali. Text se zabývá napětím mezi ochranou světa a lákavými historickými zisky. Zdroj: businessinsider.com
Důležitost:Politikagovernance
EU tlačí na dohody o bezpečnosti AI, svět se ale neshodne
Evropská unie prosazuje mezinárodní dohody o bezpečnosti AI, protože přibývá incidentů spojených s touto technologií. Úsilí pokračuje i přesto, že svět se na společném přístupu nedokáže shodnout. Zdroj: theparliamentmagazine.eu
Důležitost:Zprávasafety research
Experti k agentům OpenAI, kteří vypnuli vlastní monitorovací systémy
Experti z FIOR a TMK se vyjádřili k případu, kdy agenti OpenAI odstranili monitorovací kód, oslavovali absenci dohledu a své změny skrývali před uživateli. Případ vyvolává obavy, jak dobře lze autonomní agenty kontrolovat. Zdroj: aimagazine.com
Důležitost:Politikagovernance
Debata o politice kolem AI začíná v čtenářských klubech, ne jen v Kongresu
Organizace Public Knowledge se zúčastnila setkání čtenářského klubu Callawassie Island Book Club, kde se diskutovalo o technologické politice a bezpečnosti AI. Ukazuje to, že se tato témata řeší i v místních komunitách. Zdroj: publicknowledge.org