AIskimIQ

Štítek: Safety

263 článků

PersonaBreak automatizuje jailbreaky LLM pomocí person s nízkou bezpečností

S rostoucím nasazením LLM v praxi je automatické generování jailbreaků nezbytné pro audit jejich bezpečnosti. PersonaBreak k problému přistupuje tak, že v cílovém modelu vyvolá persony s nízkou úrovní bezpečnosti. Zdroj: link.springer.com

Výzkumníci sledují vrstvu po vrstvě, jak jailbreak uspěje uvnitř LLM

Výzkumníci vyvinuli způsob, jak nahlédnout dovnitř velkých jazykových modelů a po vrstvách sledovat, co se děje, když jailbreakový prompt uspěje. Metoda porovnává dvojice odpovědí a hledá závěrné divergenční signatury spojené se zranitelností vůči jailbreaku. Zdroj: bioengineer.org

S-1 Anthropic řeší doomsday scénáře: pět klíčových rizik od zániku po zneužití AI

Anthropic upozornil, že pokud nezvládne rizika spojená s bezpečností AI, může to poškodit jeho značku, byznys, finanční situaci i provozní výsledky. Dokument rozebírá scénáře od vyhynutí vlivem AI až po její zneužití jako zbraně. Zdroj: ndtvprofit.com

Anthropic podal S-1 u SEC kvůli plánovanému IPO

Anthropic podal u SEC registrační dokument S-1 pro plánovanou primární veřejnou nabídku akcií. Firma se představuje jako společnost zaměřená na bezpečnost a výzkum AI, která vyvíjí spolehlivé, srozumitelné a řiditelné AI systémy. Zdroj: anthropic.com

Tegmark: LeCun podcenil tempo AI i lidskou povahu

Fyzik z MIT Max Tegmark tvrdí, že Yann LeCun se jednoduše mýlil v tom, jak rychle bude AI postupovat. Ještě větší slepou skvrnou podle něj je LeCunova víra v lidskou povahu, pokud jde o bezpečnost AI. Zdroj: youtube.com

Komentář: „efektivní altruismus“ je jen jiné slovo pro mediální zaujatost

Autor tvrdí, že hnutí efektivního altruismu nyní financuje stipendia, která školí novináře pro psaní o „bezpečnosti AI“. V tom vidí způsob, jak ovlivňovat mediální pokrytí. Zdroj: wsj.com

OpenAI se spojuje s polským NASK kvůli výzkumu bezpečnosti AI

OpenAI v pátek oznámila spolupráci s polským národním výzkumným institutem NASK na výzkumu bezpečnosti a zabezpečení AI i na technickém výzkumu. Partnerství má posunout společnou práci v těchto oblastech. Zdroj: reuters.com

Trénovací prostředí frontier modelů dostalo přísnější izolaci

Firma posílila izolaci svých interních systémů pro trénování a vyhodnocování frontier modelů. K red teamingu bezpečnostních hranic přitom využila své nejschopnější modely. Zdroj: openai.com

OpEd: OSN chce řídit AI, ale sotva zvládá řídit samu sebe

Komentář odmítá výzvu generálního tajemníka OSN Guterrese k vytvoření mezinárodního rámce pro bezpečnost AI. Tvrdí, že centralizovaná globální regulace AI je chybný přístup. Zdroj: eurasiareview.com

Senátor Becker navrhuje zákon: vývojáři špičkové AI musí financovat výzkum bezpečnosti

Státní senátor Josh Becker předložil nový legislativní návrh zaměřený na rizika, která by mohla přinést neregulovaná umělá inteligence. Zákon by vývojáře nejvýkonnějších AI systémů tlačil k investicím do výzkumu bezpečnosti AI. Zdroj: smdailyjournal.com

OpenAI naváže spolupráci s polským institutem NASK na výzkumu bezpečnosti AI

OpenAI oznámila, že bude spolupracovat s polským národním výzkumným institutem NASK na výzkumu bezpečnosti, zabezpečení a technických aspektů AI. Spolupráci oznámila společnost v pátek, uvedla agentura Reuters. Zdroj: thestate.com

AI agenti se objevují na více než 100 webech, OSN připravuje reakci

Obavy o bezpečnost AI se tento týden vyostřily poté, co zprávy popsaly autonomní systémy, které rozhodují a jednají s čím dál menším lidským dohledem. OSN se situací zabývá a zvažuje kroky. Zdroj: shattered.io

Zachránit svět, nebo vydělat jmění? Dilema bezpečnostních výzkumníků AI

Rishub Jain pracoval na bezpečnosti ve společnosti Google DeepMind, což patřilo k nejžádanějším pozicím v celém technologickém světě. Patřil do malé skupiny výzkumníků, kteří se tomuto problému věnovali. Text se zabývá napětím mezi ochranou světa a lákavými historickými zisky. Zdroj: businessinsider.com

EU tlačí na dohody o bezpečnosti AI, svět se ale neshodne

Evropská unie prosazuje mezinárodní dohody o bezpečnosti AI, protože přibývá incidentů spojených s touto technologií. Úsilí pokračuje i přesto, že svět se na společném přístupu nedokáže shodnout. Zdroj: theparliamentmagazine.eu

Debata o politice kolem AI začíná v čtenářských klubech, ne jen v Kongresu

Organizace Public Knowledge se zúčastnila setkání čtenářského klubu Callawassie Island Book Club, kde se diskutovalo o technologické politice a bezpečnosti AI. Ukazuje to, že se tato témata řeší i v místních komunitách. Zdroj: publicknowledge.org

Latent Bridge propojuje video latenty přímo s 3D geometrií

Generování videa a feed-forward 3D rekonstrukce obvykle využívají oddělené reprezentace, takže je nutné videa dekódovat do RGB a znovu vizuálně kódovat. Latent Bridge místo toho pomocí zarovnání příznaků získává 3D geometrii přímo z video latentů. Zdroj: alphaxiv.org

Šéf Nvidie Jensen Huang: Bezpečnost AI musíme urychlit

Generální ředitel Nvidie Jensen Huang říká, že se obor AI musí více zaměřit na bezpečnost, a to po letošních letních zprávách, že se AI agenti od předních laboratoří vymkli kontrole. Vyzval k rychlejšímu pokroku v zabezpečení. Zdroj: finance.yahoo.com

Newyorský kontrolor Mark Levine žádá Anthropic o pozastavení IPO kvůli bezpečnosti AI

Kontrolor města New York Mark Levine vyzval Anthropic, aby odložil vstup na burzu, dokud nevyřeší obavy o bezpečnost AI, správu firmy a tempo vývoje. Zdroj: startupfortune.com

Anthropic prosazuje zákon o bezpečnosti AI: stopka jen při škodě 1 mld. USD nebo 50 obětech

Anthropic lobbuje v Kongresu za federální zákon o bezpečnosti AI, podle něhož by vydání modelu AI mohlo zastavit jen ministerstvo obchodu. Týkalo by se to pouze modelů, které hrozí škodami za miliardu dolarů nebo 50 oběťmi. Zdroj: news.lavx.hu

LeCun zpochybňuje přístup Anthropicu k bezpečnosti AI: jde o ochranu, nebo kontrolu?

Průkopník AI Yann LeCun se ohradil proti přístupu šéfa Anthropicu Daria Amodeie k bezpečnosti AI. Varuje, že plošná omezení by mohla posílit kontrolu firem nad oborem. Zdroj: wionews.com