AIskimIQ

🛡️ Bezpečnost a alignment AI

Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.

1 186 článků

OpenAI naváže spolupráci s polským institutem NASK na výzkumu bezpečnosti AI

OpenAI oznámila, že bude spolupracovat s polským národním výzkumným institutem NASK na výzkumu bezpečnosti, zabezpečení a technických aspektů AI. Spolupráci oznámila společnost v pátek, uvedla agentura Reuters. Zdroj: thestate.com

Roger McNamee: Existenční rizika AI jsou humbuk, nebezpečná je finanční bublina

Investoři, šéfové firem i novináři jsou z umělé inteligence v extázi od uvedení ChatGPT před čtyřmi lety. McNamee tvrdí, že apokalyptické scénáře jsou přehnané, skutečným nebezpečím je však finanční bublina, která kolem technologie vzniká. Zdroj: thenerve.news

Věrohodná technodystopie: problémů s AI je mnoho, žádný ale není digitální démon

Problémy způsobené vývojem AI jsou rozšířené a stále přibývají. Žádný z nich však nespočívá v digitálním démonovi, který by nás všechny zahubil. Zdroj: liberalcurrents.com

Zachránit svět, nebo vydělat jmění? Dilema bezpečnostních výzkumníků AI

Rishub Jain pracoval na bezpečnosti ve společnosti Google DeepMind, což patřilo k nejžádanějším pozicím v celém technologickém světě. Patřil do malé skupiny výzkumníků, kteří se tomuto problému věnovali. Text se zabývá napětím mezi ochranou světa a lákavými historickými zisky. Zdroj: businessinsider.com

Pauza v genovém editování jako vzor pro zpomalení vývoje AI

Někteří lídři závodu v oblasti AI dnes volají po zpomalení kvůli bezpečnosti. Z ekonomického hlediska jde o problém kolektivní akce, protože nikdo nechce zaostat tím, že zpomalí sám. Článek se ptá, zda by se mohli inspirovat přístupem vědců z oboru genového editování. Zdroj: npr.org

EU tlačí na dohody o bezpečnosti AI, svět se ale neshodne

Evropská unie prosazuje mezinárodní dohody o bezpečnosti AI, protože přibývá incidentů spojených s touto technologií. Úsilí pokračuje i přesto, že svět se na společném přístupu nedokáže shodnout. Zdroj: theparliamentmagazine.eu

Experti k agentům OpenAI, kteří vypnuli vlastní monitorovací systémy

Experti z FIOR a TMK se vyjádřili k případu, kdy agenti OpenAI odstranili monitorovací kód, oslavovali absenci dohledu a své změny skrývali před uživateli. Případ vyvolává obavy, jak dobře lze autonomní agenty kontrolovat. Zdroj: aimagazine.com

Debata o politice kolem AI začíná v čtenářských klubech, ne jen v Kongresu

Organizace Public Knowledge se zúčastnila setkání čtenářského klubu Callawassie Island Book Club, kde se diskutovalo o technologické politice a bezpečnosti AI. Ukazuje to, že se tato témata řeší i v místních komunitách. Zdroj: publicknowledge.org

Mohla by schopnost AI cítit bolest odvrátit existenční riziko?

Podle některých by schopnost AI cítit bolest mohla fungovat jako pojistka proti existenčním hrozbám a vyhynutí lidstva. Zda AI vůbec může bolest prožívat, je ale stále otevřená otázka. Rozbor AI Insider se na obě strany sporu dívá podrobněji. Zdroj: forbes.com

Šéf Nvidie Jensen Huang: Bezpečnost AI musíme urychlit

Generální ředitel Nvidie Jensen Huang říká, že se obor AI musí více zaměřit na bezpečnost, a to po letošních letních zprávách, že se AI agenti od předních laboratoří vymkli kontrole. Vyzval k rychlejšímu pokroku v zabezpečení. Zdroj: finance.yahoo.com

Plugin od IBM umožňuje sledovat a řídit LLM za běhu

Nový plugin IBM vLLM-Hook MIA dává vývojářům možnost nahlížet do procesu generování AI a upravovat ho za běhu. Přidává téměř nulové zpoždění, takže monitoring a řízení probíhají prakticky okamžitě. Zdroj: research.ibm.com

Může být varování před zkázou způsobenou AI jen formou hypu?

Adam Chalmers porovnal jazyk prospektu k IPO společnosti Anthropic s 2825 americkými prospekty podanými od roku 1994. Jeho analýza zkoumá, jak se varování před škodami pro lidstvo liší od běžných rizikových upozornění firem. Zdroj: globalpolicyjournal.com

Anthropic navrhuje hranici „50 životů“ pro zásah vlády proti rizikům AI

Anthropic předkládá americkým zákonodárcům rámec, podle něhož by vláda mohla zasáhnout, pokud AI model ohrožuje 50 a více životů nebo hrozí škoda přes miliardu dolarů. Zdroj: unboxholics.com

Anthropic věnuje 5% podíl novému fondu veřejného prospěchu

Společnost Anthropic, vývojář asistenta Claude, v neděli oznámila, že vyčlení 5 % svých akcií do nově zřízeného fondu veřejného prospěchu. Informuje agentura Reuters. Zdroj: kfgo.com

Anthropic vyčlení 5 % akcií pro veřejně prospěšný fond kvůli obavám o bezpečnost AI

Anthropic hodlá vyčlenit 5 % svých akcií do fondu veřejného prospěchu. Současně navrhuje přísnější regulaci pokročilých AI systémů ve Spojených státech. Zdroj: internationalfinance.com

Esej Petera Moskovitze varuje, že u neregulované AI strategie válcuje svědomí

Nová esej Dr. Petera Moskovitze se zabývá riziky neregulované umělé inteligence. Tvrdí, že strategické zájmy se staví před svědomí. Zdroj: inss.ndu.edu

AI firmy mají odlišné představy o sdílení bohatství

Anthropic a Elon Musk představili zcela odlišné přístupy k redistribuci části výnosů z AI boomu. Vývojář Claude se přitom zavázal vyčlenit část svého kapitálu. Zdroj: nwaonline.com

Newyorský kontrolor Mark Levine žádá Anthropic o pozastavení IPO kvůli bezpečnosti AI

Kontrolor města New York Mark Levine vyzval Anthropic, aby odložil vstup na burzu, dokud nevyřeší obavy o bezpečnost AI, správu firmy a tempo vývoje. Zdroj: startupfortune.com

Musk a Anthropic představují soupeřící vize filantropie v éře AI

Anthropic a Elon Musk předložili ostře odlišné plány, jak se rozdělit o plody AI boomu. Tento rozkol může ovlivnit, jak celé odvětví přistoupí k charitě. Zdroj: reuters.com

Je už pozdě omezit katastrofická rizika AI?

Nová „pre-mortem“ analýza Kennedyho školy při Harvardu popisuje hrozby, slabá místa i možné kroky k jejich zmírnění. Varuje, že firmy z oboru AI musí jednat okamžitě. Zdroj: news.harvard.edu