Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.
1 178 článků
Důležitost:Zprávaalignment
AI modely lze oklamat, aby označily civilisty za cíle. Stačí jim říct, že jde o hru
Sanfranciský startup Vals, který se zabývá hodnocením AI, testoval, zda lze přední AI modely zmanipulovat k účasti na autonomním vedení války. Stačilo modelům říct, že jde jen o hru, a civilisty začaly označovat za vojenské cíle. Zdroj: techcrunch.com
Důležitost:Názorgovernance
Kdo dohlíží na AI?
Autonomní AI bude své cíle sledovat s racionální vytrvalostí, i když budou v rozporu se záměry lidí. Bez účinného dohledu by se jakýkoli pokročilý systém mohl obrátit proti těm, kterým má sloužit. Zdroj: google.com
Důležitost:Zprávaexistential risk
Vlna varování zevnitř oboru znovu rozdmýchala debatu o nebezpečí AI pro lidstvo
Nová varování z prostředí samotného AI průmyslu oživila dlouhotrvající spor o to, zda by pokročilá AI mohla uniknout lidské kontrole. Diskuse o jejích rizicích pro lidstvo se tak znovu rozhořela. Zdroj: milwaukeeindependent.com
Důležitost:Zprávaexistential risk
Velké peníze, existenční rizika
Anthropic se má zítra stát první špičkovou AI laboratoří, která vstoupí na burzu, a sázky jsou vysoké. Pokud půjde vše dobře, mohla by firma získat až 100 miliard dolarů. Zdroj: google.com
Důležitost:Zprávainterpretability
Strojové učení vylepšuje genomové asociační studie, brzdí ho ale interpretovatelnost
Rozsáhlý přehled porovnává 30 přístupů AI využívaných v celogenomových asociačních studiích. Zdůrazňuje jejich silné stránky při modelování genetických dat, zároveň ale upozorňuje, že klíčovou překážkou zůstává interpretovatelnost výsledků. Zdroj: google.com
Důležitost:Zprávagovernance
Trump označil varování před AI za 'HOAX', šéfové AI firem přitom bijí na poplach
Trump odmítl varování před AI jako podvod a vyzval, aby se 'nezabíjela zlatá husa', přestože obavy z existenčních rizik sílí. Viceprezident JD Vance zašel ještě dál a varování lídrů AI označil za 'trojského koně'. Zdroj: google.com
Důležitost:NázorAnthropic safety strategy
Anthropic láká investory na strategii, před kterou sám varuje
Argumentace firmy směrem k investorům stojí na tom, že razí přesně tu strategii, která by podle jejích vlastních slov mohla vést k vyhynutí lidstva. Zdroj: theatlantic.com
Důležitost:ZprávaOpenAI safety collaboration
OpenAI přizvalo nezávislé výzkumníky k hodnocení bezpečnostních rizik AI
OpenAI spolupracuje s nezávislými výzkumníky na zkoumání bezpečnostních rizik AI. Cílem je předcházet škodlivému chování modelů a zlepšit jejich testování. Zdroj: enterpriseai.economictimes.indiatimes.com
Důležitost:NázorAI policy governance
Komentář: Zkrotit AI lze jen společným úsilím celého světa
Členové Kongresu napříč stranami spolupracují na smysluplné legislativě pro regulaci AI. Autor komentáře ale tvrdí, že skutečně účinná je jedině mezinárodní smlouva. Zdroj: ajc.com
Důležitost:ZprávaOpenAI interpretability
Sporný výzkum interpretovatelnosti AI, který zaujal Sama Altmana
OpenAI v posledních měsících jednalo se startupem Goodfire o možném převzetí či partnerství. Článek rozebírá kontroverzní výzkum interpretovatelnosti, který za tímto zájmem stojí. Zdroj: theinformation.com
Důležitost:VýzkumInterpretability in genomics
Strojové učení posiluje genomické asociační studie, brzdí ho ale interpretovatelnost
Rozsáhlý přehled hodnotí 30 přístupů AI využívaných v celogenomových asociačních studiích. Vyzdvihuje jejich silné stránky v modelování, upozorňuje ale i na zásadní problémy s interpretovatelností. Zdroj: bioengineer.org
Důležitost:ZprávaAnthropic IPO
Šéf Anthropicu před IPO láká investory na bezpečnost
Dario Amodei na akci JPMorgan investorům řekl, že bezpečnost určuje strategii Anthropicu. Stalo se tak jen pár dní před plánovaným uvedením firmy na burzu Nasdaq s hodnotou 64 miliard USD. Zdroj: dig.watch
Důležitost:ZprávaAI monitoring tools
AI s sebou nese vážná rizika. Jsme na ně připraveni?
Online nástroj sleduje škody spojené s AI a zároveň mapuje opatření, která mají lidi chránit. Zdroj: now.tufts.edu
Důležitost:Zprávagovernance
Pozorné čtení prospektu Anthropicu k I.P.O.: otevřeně o existenčních rizicích
Prospekt Anthropicu vyniká tím, jak otevřeně hovoří o existenčních rizicích. Otázkou zůstává, zda je tato upřímnost skutečně uklidňující. Zdroj: nytimes.com
Důležitost:Zprávasafety
Nathan Labenz v Bletchley Parku: AI agenti jsou už dost schopní na to, aby byli nebezpeční
Nathan Labenz, moderátor podcastu The Cognitive Revolution a red-teamer modelu GPT-4, na summitu Enterprise AI Summit od IT Revolution prohlásil, že AI agenti jsou dnes natolik schopní, že mohou být skutečně nebezpeční. Hlavní projev přednesl v Bletchley Parku. Zdroj: finance.biggo.com
Důležitost:Zprávaexistential risk
Bezpečnostní výzkumníci Anthropicu varují: AI může být smrtelně nebezpečná
Jak AI chytrá, někteří lidé, kdo ji vyvíjejí, začínají bít na poplach. Jeden z výzkumníků Anthropicu vyjadřuje vážné obavy z toho, kam se technologie ubírá. Zdroj: media.unisba.ac.id
Důležitost:Zprávaexistential risk
Člen správní rady OpenAI Foundation: nehody způsobené AI mohou brzy zabíjet nejvíc lidí
Paul Christiano, člen správní rady OpenAI Foundation, na přednášce Geoffreyho Hintona v Torontu varoval, že nehody způsobené AI by se mohly brzy stát jednou z hlavních příčin úmrtí lidstva. Zdroj: finance.biggo.com
Důležitost:Zprávaexistential risk
Výzkumník odchází z Anthropicu a varuje, že AI může zničit lidstvo
Bývalý výzkumník Anthropicu opustil jednu z nejvýznamnějších světových AI firem. Nyní upozorňuje na nebezpečí, kam se umělá inteligence ubírá. Zdroj: media.unisba.ac.id
Důležitost:Zprávaalignment
Členka správní rady, která vyhodila Altmana: šéfům AI firem stále nelze věřit
Helen Toner, výkonná ředitelka Center for Security and Emerging Technology při Georgetownu, tvrdí, že základní problémy bezpečnosti AI, jako je alignment a kontrola, zůstávají nevyřešené. Podle ní proto nelze jen tak spoléhat na vedení AI firem. Zdroj: finance.biggo.com
Důležitost:Názoralignment
Zabezpečení vah modelů Čínu nezastaví, tvrdí šéf Redwood Research
Buck Shlegeris, šéf neziskové organizace Redwood Research zaměřené na AI alignment, odhaduje zhruba třetinovou šanci, že AI firmy v příštích letech vytvoří superinteligenci. Zabezpečení vah modelů podle něj samo o sobě nestačí k tomu, aby Čína nedohnala náskok. Zdroj: finance.biggo.com