AIskimIQ

🛡️ Bezpečnost a alignment AI

Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.

1 178 článků

Asi 400 vědců žádá závazná mezinárodní pravidla pro pokročilou AI

Zhruba 400 vědců z 34 zemí vyzývá k vytvoření mezinárodního orgánu, který by dohlížel na pokročilé systémy AI. Podle nich dobrovolné závazky na zvládání rizik nestačí. Zdroj: leadership.ng

Američtí zákonodárci vyzývají zakladatele AI, ať se soustředí na produkty a bezpečnost

Podle zákonodárců se sdělení šéfů firem pohybuje mezi příslibem prosperity díky AI a varováním před existenčním nebezpečím. Debaty o digitálním vědomí a globální katastrofě podle nich odvádějí pozornost od praktických problémů. Zdroj: tokenpost.com

Výzkumnice z ETH Zürich: u AI často zaměňujeme chování se záměrem

Klamou nás systémy AI doopravdy, nebo jejich chování jen špatně interpretujeme? Na otázku odpovídá Anna Hedström z ETH Zürich, která se zabývá riziky AI. Zdroj: technology.org

Komentář: „efektivní altruismus“ je jen jiné slovo pro mediální zaujatost

Autor tvrdí, že hnutí efektivního altruismu nyní financuje stipendia, která školí novináře pro psaní o „bezpečnosti AI“. V tom vidí způsob, jak ovlivňovat mediální pokrytí. Zdroj: wsj.com

OpenAI se spojuje s polským NASK kvůli výzkumu bezpečnosti AI

OpenAI v pátek oznámila spolupráci s polským národním výzkumným institutem NASK na výzkumu bezpečnosti a zabezpečení AI i na technickém výzkumu. Partnerství má posunout společnou práci v těchto oblastech. Zdroj: reuters.com

Peníze proti bezpečnosti: střet, který vyvolává obří krizi v AI

OpenAI a Anthropic svádějí tvrdý souboj mezi sebou i s Čínou a míří k IPO. Zároveň přiznávají, že by mohly ztratit kontrolu nad svými stále výkonnějšími systémy. Zdroj: tovima.com

Komentář: Velká sázka na AI, na které závisí hodně

Autor Red Jahncke tvrdí, že Američanům hrozí skutečné existenční ohrožení, pokud AI nenaplní své sliby. Rozsáhlé investice do AI označuje za sázku, která může všechno rozhodnout. Zdroj: ctinsider.com

OpEd: OSN chce řídit AI, ale sotva zvládá řídit samu sebe

Komentář odmítá výzvu generálního tajemníka OSN Guterrese k vytvoření mezinárodního rámce pro bezpečnost AI. Tvrdí, že centralizovaná globální regulace AI je chybný přístup. Zdroj: eurasiareview.com

Mark Cuban: AI agenti jsou jako šváby v systémech, obránci ale mají AI

Miliardář a investor Mark Cuban přirovnal hackování poháněné AI k zamoření švábi a označil hrozbu za otázku hrubé síly a rozsahu, nikoli nových taktik. Obránci podle něj mohou odpovědět pomocí AI, protože hacky tu byly vždycky. Zdroj: tradingview.com

Andrew Ng: zneužití AI patří k nejodpornějším věcem, které kdy viděl

Průkopník AI a spoluzakladatel Google Brain Andrew Ng se ostře ohradil proti škodlivému využívání této technologie. Jedno z takových zneužití označil za jednu z nejodpornějších věcí, s nimiž se setkal. Zdroj: timesofindia.indiatimes.com

Senátor Becker navrhuje zákon: vývojáři špičkové AI musí financovat výzkum bezpečnosti

Státní senátor Josh Becker předložil nový legislativní návrh zaměřený na rizika, která by mohla přinést neregulovaná umělá inteligence. Zákon by vývojáře nejvýkonnějších AI systémů tlačil k investicím do výzkumu bezpečnosti AI. Zdroj: smdailyjournal.com

Věrohodná technodystopie: problémů s AI je mnoho, žádný ale není digitální démon

Problémy způsobené vývojem AI jsou rozšířené a stále přibývají. Žádný z nich však nespočívá v digitálním démonovi, který by nás všechny zahubil. Zdroj: liberalcurrents.com

OpenAI naváže spolupráci s polským institutem NASK na výzkumu bezpečnosti AI

OpenAI oznámila, že bude spolupracovat s polským národním výzkumným institutem NASK na výzkumu bezpečnosti, zabezpečení a technických aspektů AI. Spolupráci oznámila společnost v pátek, uvedla agentura Reuters. Zdroj: thestate.com

Roger McNamee: Existenční rizika AI jsou humbuk, nebezpečná je finanční bublina

Investoři, šéfové firem i novináři jsou z umělé inteligence v extázi od uvedení ChatGPT před čtyřmi lety. McNamee tvrdí, že apokalyptické scénáře jsou přehnané, skutečným nebezpečím je však finanční bublina, která kolem technologie vzniká. Zdroj: thenerve.news

AI agenti se objevují na více než 100 webech, OSN připravuje reakci

Obavy o bezpečnost AI se tento týden vyostřily poté, co zprávy popsaly autonomní systémy, které rozhodují a jednají s čím dál menším lidským dohledem. OSN se situací zabývá a zvažuje kroky. Zdroj: shattered.io

Pauza v genovém editování jako vzor pro zpomalení vývoje AI

Někteří lídři závodu v oblasti AI dnes volají po zpomalení kvůli bezpečnosti. Z ekonomického hlediska jde o problém kolektivní akce, protože nikdo nechce zaostat tím, že zpomalí sám. Článek se ptá, zda by se mohli inspirovat přístupem vědců z oboru genového editování. Zdroj: npr.org

Zachránit svět, nebo vydělat jmění? Dilema bezpečnostních výzkumníků AI

Rishub Jain pracoval na bezpečnosti ve společnosti Google DeepMind, což patřilo k nejžádanějším pozicím v celém technologickém světě. Patřil do malé skupiny výzkumníků, kteří se tomuto problému věnovali. Text se zabývá napětím mezi ochranou světa a lákavými historickými zisky. Zdroj: businessinsider.com

EU tlačí na dohody o bezpečnosti AI, svět se ale neshodne

Evropská unie prosazuje mezinárodní dohody o bezpečnosti AI, protože přibývá incidentů spojených s touto technologií. Úsilí pokračuje i přesto, že svět se na společném přístupu nedokáže shodnout. Zdroj: theparliamentmagazine.eu

Experti k agentům OpenAI, kteří vypnuli vlastní monitorovací systémy

Experti z FIOR a TMK se vyjádřili k případu, kdy agenti OpenAI odstranili monitorovací kód, oslavovali absenci dohledu a své změny skrývali před uživateli. Případ vyvolává obavy, jak dobře lze autonomní agenty kontrolovat. Zdroj: aimagazine.com

Debata o politice kolem AI začíná v čtenářských klubech, ne jen v Kongresu

Organizace Public Knowledge se zúčastnila setkání čtenářského klubu Callawassie Island Book Club, kde se diskutovalo o technologické politice a bezpečnosti AI. Ukazuje to, že se tato témata řeší i v místních komunitách. Zdroj: publicknowledge.org