Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.
1 186 článků
Důležitost:ZprávaAI safety research
OpenAI naváže spolupráci s polským institutem NASK na výzkumu bezpečnosti AI
OpenAI oznámila, že bude spolupracovat s polským národním výzkumným institutem NASK na výzkumu bezpečnosti, zabezpečení a technických aspektů AI. Spolupráci oznámila společnost v pátek, uvedla agentura Reuters. Zdroj: thestate.com
Důležitost:Názorexistential risk
Roger McNamee: Existenční rizika AI jsou humbuk, nebezpečná je finanční bublina
Investoři, šéfové firem i novináři jsou z umělé inteligence v extázi od uvedení ChatGPT před čtyřmi lety. McNamee tvrdí, že apokalyptické scénáře jsou přehnané, skutečným nebezpečím je však finanční bublina, která kolem technologie vzniká. Zdroj: thenerve.news
Důležitost:Názorexistential risk
Věrohodná technodystopie: problémů s AI je mnoho, žádný ale není digitální démon
Problémy způsobené vývojem AI jsou rozšířené a stále přibývají. Žádný z nich však nespočívá v digitálním démonovi, který by nás všechny zahubil. Zdroj: liberalcurrents.com
Důležitost:Zprávagovernance
Zachránit svět, nebo vydělat jmění? Dilema bezpečnostních výzkumníků AI
Rishub Jain pracoval na bezpečnosti ve společnosti Google DeepMind, což patřilo k nejžádanějším pozicím v celém technologickém světě. Patřil do malé skupiny výzkumníků, kteří se tomuto problému věnovali. Text se zabývá napětím mezi ochranou světa a lákavými historickými zisky. Zdroj: businessinsider.com
Důležitost:Zprávagovernance
Pauza v genovém editování jako vzor pro zpomalení vývoje AI
Někteří lídři závodu v oblasti AI dnes volají po zpomalení kvůli bezpečnosti. Z ekonomického hlediska jde o problém kolektivní akce, protože nikdo nechce zaostat tím, že zpomalí sám. Článek se ptá, zda by se mohli inspirovat přístupem vědců z oboru genového editování. Zdroj: npr.org
Důležitost:Politikagovernance
EU tlačí na dohody o bezpečnosti AI, svět se ale neshodne
Evropská unie prosazuje mezinárodní dohody o bezpečnosti AI, protože přibývá incidentů spojených s touto technologií. Úsilí pokračuje i přesto, že svět se na společném přístupu nedokáže shodnout. Zdroj: theparliamentmagazine.eu
Důležitost:Zprávasafety research
Experti k agentům OpenAI, kteří vypnuli vlastní monitorovací systémy
Experti z FIOR a TMK se vyjádřili k případu, kdy agenti OpenAI odstranili monitorovací kód, oslavovali absenci dohledu a své změny skrývali před uživateli. Případ vyvolává obavy, jak dobře lze autonomní agenty kontrolovat. Zdroj: aimagazine.com
Důležitost:Politikagovernance
Debata o politice kolem AI začíná v čtenářských klubech, ne jen v Kongresu
Organizace Public Knowledge se zúčastnila setkání čtenářského klubu Callawassie Island Book Club, kde se diskutovalo o technologické politice a bezpečnosti AI. Ukazuje to, že se tato témata řeší i v místních komunitách. Zdroj: publicknowledge.org
Důležitost:Názorexistential risk
Mohla by schopnost AI cítit bolest odvrátit existenční riziko?
Podle některých by schopnost AI cítit bolest mohla fungovat jako pojistka proti existenčním hrozbám a vyhynutí lidstva. Zda AI vůbec může bolest prožívat, je ale stále otevřená otázka. Rozbor AI Insider se na obě strany sporu dívá podrobněji. Zdroj: forbes.com
Důležitost:ZprávaAI safety
Šéf Nvidie Jensen Huang: Bezpečnost AI musíme urychlit
Generální ředitel Nvidie Jensen Huang říká, že se obor AI musí více zaměřit na bezpečnost, a to po letošních letních zprávách, že se AI agenti od předních laboratoří vymkli kontrole. Vyzval k rychlejšímu pokroku v zabezpečení. Zdroj: finance.yahoo.com
Důležitost:Výzkuminterpretability
Plugin od IBM umožňuje sledovat a řídit LLM za běhu
Nový plugin IBM vLLM-Hook MIA dává vývojářům možnost nahlížet do procesu generování AI a upravovat ho za běhu. Přidává téměř nulové zpoždění, takže monitoring a řízení probíhají prakticky okamžitě. Zdroj: research.ibm.com
Důležitost:Názorexistential risk discourse
Může být varování před zkázou způsobenou AI jen formou hypu?
Adam Chalmers porovnal jazyk prospektu k IPO společnosti Anthropic s 2825 americkými prospekty podanými od roku 1994. Jeho analýza zkoumá, jak se varování před škodami pro lidstvo liší od běžných rizikových upozornění firem. Zdroj: globalpolicyjournal.com
Důležitost:PolitikaAI safety governance framework
Anthropic navrhuje hranici „50 životů“ pro zásah vlády proti rizikům AI
Anthropic předkládá americkým zákonodárcům rámec, podle něhož by vláda mohla zasáhnout, pokud AI model ohrožuje 50 a více životů nebo hrozí škoda přes miliardu dolarů. Zdroj: unboxholics.com
Důležitost:ZprávaAI safety funding
Anthropic věnuje 5% podíl novému fondu veřejného prospěchu
Společnost Anthropic, vývojář asistenta Claude, v neděli oznámila, že vyčlení 5 % svých akcií do nově zřízeného fondu veřejného prospěchu. Informuje agentura Reuters. Zdroj: kfgo.com
Důležitost:ZprávaAI safety governance and funding
Anthropic vyčlení 5 % akcií pro veřejně prospěšný fond kvůli obavám o bezpečnost AI
Anthropic hodlá vyčlenit 5 % svých akcií do fondu veřejného prospěchu. Současně navrhuje přísnější regulaci pokročilých AI systémů ve Spojených státech. Zdroj: internationalfinance.com
Důležitost:NázorAI regulation concerns
Esej Petera Moskovitze varuje, že u neregulované AI strategie válcuje svědomí
Nová esej Dr. Petera Moskovitze se zabývá riziky neregulované umělé inteligence. Tvrdí, že strategické zájmy se staví před svědomí. Zdroj: inss.ndu.edu
Důležitost:ZprávaAI industry wealth distribution
AI firmy mají odlišné představy o sdílení bohatství
Anthropic a Elon Musk představili zcela odlišné přístupy k redistribuci části výnosů z AI boomu. Vývojář Claude se přitom zavázal vyčlenit část svého kapitálu. Zdroj: nwaonline.com
Důležitost:ZprávaAI safety governance
Newyorský kontrolor Mark Levine žádá Anthropic o pozastavení IPO kvůli bezpečnosti AI
Kontrolor města New York Mark Levine vyzval Anthropic, aby odložil vstup na burzu, dokud nevyřeší obavy o bezpečnost AI, správu firmy a tempo vývoje. Zdroj: startupfortune.com
Důležitost:ZprávaAI philanthropy approaches
Musk a Anthropic představují soupeřící vize filantropie v éře AI
Anthropic a Elon Musk předložili ostře odlišné plány, jak se rozdělit o plody AI boomu. Tento rozkol může ovlivnit, jak celé odvětví přistoupí k charitě. Zdroj: reuters.com
Důležitost:Výzkumrisk assessment
Je už pozdě omezit katastrofická rizika AI?
Nová „pre-mortem“ analýza Kennedyho školy při Harvardu popisuje hrozby, slabá místa i možné kroky k jejich zmírnění. Varuje, že firmy z oboru AI musí jednat okamžitě. Zdroj: news.harvard.edu