AIskimIQ

🛡️ Bezpečnost a alignment AI

Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.

1 178 článků

AI modely lze oklamat, aby označily civilisty za cíle. Stačí jim říct, že jde o hru

Sanfranciský startup Vals, který se zabývá hodnocením AI, testoval, zda lze přední AI modely zmanipulovat k účasti na autonomním vedení války. Stačilo modelům říct, že jde jen o hru, a civilisty začaly označovat za vojenské cíle. Zdroj: techcrunch.com

Kdo dohlíží na AI?

Autonomní AI bude své cíle sledovat s racionální vytrvalostí, i když budou v rozporu se záměry lidí. Bez účinného dohledu by se jakýkoli pokročilý systém mohl obrátit proti těm, kterým má sloužit. Zdroj: google.com

Vlna varování zevnitř oboru znovu rozdmýchala debatu o nebezpečí AI pro lidstvo

Nová varování z prostředí samotného AI průmyslu oživila dlouhotrvající spor o to, zda by pokročilá AI mohla uniknout lidské kontrole. Diskuse o jejích rizicích pro lidstvo se tak znovu rozhořela. Zdroj: milwaukeeindependent.com

Velké peníze, existenční rizika

Anthropic se má zítra stát první špičkovou AI laboratoří, která vstoupí na burzu, a sázky jsou vysoké. Pokud půjde vše dobře, mohla by firma získat až 100 miliard dolarů. Zdroj: google.com

Strojové učení vylepšuje genomové asociační studie, brzdí ho ale interpretovatelnost

Rozsáhlý přehled porovnává 30 přístupů AI využívaných v celogenomových asociačních studiích. Zdůrazňuje jejich silné stránky při modelování genetických dat, zároveň ale upozorňuje, že klíčovou překážkou zůstává interpretovatelnost výsledků. Zdroj: google.com

Trump označil varování před AI za 'HOAX', šéfové AI firem přitom bijí na poplach

Trump odmítl varování před AI jako podvod a vyzval, aby se 'nezabíjela zlatá husa', přestože obavy z existenčních rizik sílí. Viceprezident JD Vance zašel ještě dál a varování lídrů AI označil za 'trojského koně'. Zdroj: google.com

Anthropic láká investory na strategii, před kterou sám varuje

Argumentace firmy směrem k investorům stojí na tom, že razí přesně tu strategii, která by podle jejích vlastních slov mohla vést k vyhynutí lidstva. Zdroj: theatlantic.com

OpenAI přizvalo nezávislé výzkumníky k hodnocení bezpečnostních rizik AI

OpenAI spolupracuje s nezávislými výzkumníky na zkoumání bezpečnostních rizik AI. Cílem je předcházet škodlivému chování modelů a zlepšit jejich testování. Zdroj: enterpriseai.economictimes.indiatimes.com

Komentář: Zkrotit AI lze jen společným úsilím celého světa

Členové Kongresu napříč stranami spolupracují na smysluplné legislativě pro regulaci AI. Autor komentáře ale tvrdí, že skutečně účinná je jedině mezinárodní smlouva. Zdroj: ajc.com

Sporný výzkum interpretovatelnosti AI, který zaujal Sama Altmana

OpenAI v posledních měsících jednalo se startupem Goodfire o možném převzetí či partnerství. Článek rozebírá kontroverzní výzkum interpretovatelnosti, který za tímto zájmem stojí. Zdroj: theinformation.com

Strojové učení posiluje genomické asociační studie, brzdí ho ale interpretovatelnost

Rozsáhlý přehled hodnotí 30 přístupů AI využívaných v celogenomových asociačních studiích. Vyzdvihuje jejich silné stránky v modelování, upozorňuje ale i na zásadní problémy s interpretovatelností. Zdroj: bioengineer.org

Šéf Anthropicu před IPO láká investory na bezpečnost

Dario Amodei na akci JPMorgan investorům řekl, že bezpečnost určuje strategii Anthropicu. Stalo se tak jen pár dní před plánovaným uvedením firmy na burzu Nasdaq s hodnotou 64 miliard USD. Zdroj: dig.watch

AI s sebou nese vážná rizika. Jsme na ně připraveni?

Online nástroj sleduje škody spojené s AI a zároveň mapuje opatření, která mají lidi chránit. Zdroj: now.tufts.edu

Pozorné čtení prospektu Anthropicu k I.P.O.: otevřeně o existenčních rizicích

Prospekt Anthropicu vyniká tím, jak otevřeně hovoří o existenčních rizicích. Otázkou zůstává, zda je tato upřímnost skutečně uklidňující. Zdroj: nytimes.com

Nathan Labenz v Bletchley Parku: AI agenti jsou už dost schopní na to, aby byli nebezpeční

Nathan Labenz, moderátor podcastu The Cognitive Revolution a red-teamer modelu GPT-4, na summitu Enterprise AI Summit od IT Revolution prohlásil, že AI agenti jsou dnes natolik schopní, že mohou být skutečně nebezpeční. Hlavní projev přednesl v Bletchley Parku. Zdroj: finance.biggo.com

Bezpečnostní výzkumníci Anthropicu varují: AI může být smrtelně nebezpečná

Jak AI chytrá, někteří lidé, kdo ji vyvíjejí, začínají bít na poplach. Jeden z výzkumníků Anthropicu vyjadřuje vážné obavy z toho, kam se technologie ubírá. Zdroj: media.unisba.ac.id

Člen správní rady OpenAI Foundation: nehody způsobené AI mohou brzy zabíjet nejvíc lidí

Paul Christiano, člen správní rady OpenAI Foundation, na přednášce Geoffreyho Hintona v Torontu varoval, že nehody způsobené AI by se mohly brzy stát jednou z hlavních příčin úmrtí lidstva. Zdroj: finance.biggo.com

Výzkumník odchází z Anthropicu a varuje, že AI může zničit lidstvo

Bývalý výzkumník Anthropicu opustil jednu z nejvýznamnějších světových AI firem. Nyní upozorňuje na nebezpečí, kam se umělá inteligence ubírá. Zdroj: media.unisba.ac.id

Členka správní rady, která vyhodila Altmana: šéfům AI firem stále nelze věřit

Helen Toner, výkonná ředitelka Center for Security and Emerging Technology při Georgetownu, tvrdí, že základní problémy bezpečnosti AI, jako je alignment a kontrola, zůstávají nevyřešené. Podle ní proto nelze jen tak spoléhat na vedení AI firem. Zdroj: finance.biggo.com

Zabezpečení vah modelů Čínu nezastaví, tvrdí šéf Redwood Research

Buck Shlegeris, šéf neziskové organizace Redwood Research zaměřené na AI alignment, odhaduje zhruba třetinovou šanci, že AI firmy v příštích letech vytvoří superinteligenci. Zabezpečení vah modelů podle něj samo o sobě nestačí k tomu, aby Čína nedohnala náskok. Zdroj: finance.biggo.com