PersonaBreak automatizuje jailbreaky LLM pomocí person s nízkou bezpečností
S rostoucím nasazením LLM v praxi je automatické generování jailbreaků nezbytné pro audit jejich bezpečnosti. PersonaBreak k problému přistupuje tak, že v cílovém modelu vyvolá persony s nízkou úrovní bezpečnosti. Zdroj: link.springer.com
Důležitost:VýzkumLLM security analysis
Výzkumníci sledují vrstvu po vrstvě, jak jailbreak uspěje uvnitř LLM
Výzkumníci vyvinuli způsob, jak nahlédnout dovnitř velkých jazykových modelů a po vrstvách sledovat, co se děje, když jailbreakový prompt uspěje. Metoda porovnává dvojice odpovědí a hledá závěrné divergenční signatury spojené se zranitelností vůči jailbreaku. Zdroj: bioengineer.org
Důležitost:Zprávaexistential risk
S-1 Anthropic řeší doomsday scénáře: pět klíčových rizik od zániku po zneužití AI
Anthropic upozornil, že pokud nezvládne rizika spojená s bezpečností AI, může to poškodit jeho značku, byznys, finanční situaci i provozní výsledky. Dokument rozebírá scénáře od vyhynutí vlivem AI až po její zneužití jako zbraně. Zdroj: ndtvprofit.com
Důležitost:Spuštěnícorporate
Anthropic podal S-1 u SEC kvůli plánovanému IPO
Anthropic podal u SEC registrační dokument S-1 pro plánovanou primární veřejnou nabídku akcií. Firma se představuje jako společnost zaměřená na bezpečnost a výzkum AI, která vyvíjí spolehlivé, srozumitelné a řiditelné AI systémy. Zdroj: anthropic.com
Důležitost:Zpráva
Tegmark: LeCun podcenil tempo AI i lidskou povahu
Fyzik z MIT Max Tegmark tvrdí, že Yann LeCun se jednoduše mýlil v tom, jak rychle bude AI postupovat. Ještě větší slepou skvrnou podle něj je LeCunova víra v lidskou povahu, pokud jde o bezpečnost AI. Zdroj: youtube.com
Důležitost:Názorgovernance
Komentář: „efektivní altruismus“ je jen jiné slovo pro mediální zaujatost
Autor tvrdí, že hnutí efektivního altruismu nyní financuje stipendia, která školí novináře pro psaní o „bezpečnosti AI“. V tom vidí způsob, jak ovlivňovat mediální pokrytí. Zdroj: wsj.com
Důležitost:ZprávaAI safety research collaboration
OpenAI se spojuje s polským NASK kvůli výzkumu bezpečnosti AI
OpenAI v pátek oznámila spolupráci s polským národním výzkumným institutem NASK na výzkumu bezpečnosti a zabezpečení AI i na technickém výzkumu. Partnerství má posunout společnou práci v těchto oblastech. Zdroj: reuters.com
Důležitost:Zprávasecurity
Trénovací prostředí frontier modelů dostalo přísnější izolaci
Firma posílila izolaci svých interních systémů pro trénování a vyhodnocování frontier modelů. K red teamingu bezpečnostních hranic přitom využila své nejschopnější modely. Zdroj: openai.com
Důležitost:NázorAI international governance
OpEd: OSN chce řídit AI, ale sotva zvládá řídit samu sebe
Komentář odmítá výzvu generálního tajemníka OSN Guterrese k vytvoření mezinárodního rámce pro bezpečnost AI. Tvrdí, že centralizovaná globální regulace AI je chybný přístup. Zdroj: eurasiareview.com
Důležitost:Politikagovernance
Senátor Becker navrhuje zákon: vývojáři špičkové AI musí financovat výzkum bezpečnosti
Státní senátor Josh Becker předložil nový legislativní návrh zaměřený na rizika, která by mohla přinést neregulovaná umělá inteligence. Zákon by vývojáře nejvýkonnějších AI systémů tlačil k investicím do výzkumu bezpečnosti AI. Zdroj: smdailyjournal.com
Důležitost:ZprávaAI safety research
OpenAI naváže spolupráci s polským institutem NASK na výzkumu bezpečnosti AI
OpenAI oznámila, že bude spolupracovat s polským národním výzkumným institutem NASK na výzkumu bezpečnosti, zabezpečení a technických aspektů AI. Spolupráci oznámila společnost v pátek, uvedla agentura Reuters. Zdroj: thestate.com
Důležitost:ZprávaAI safety
AI agenti se objevují na více než 100 webech, OSN připravuje reakci
Obavy o bezpečnost AI se tento týden vyostřily poté, co zprávy popsaly autonomní systémy, které rozhodují a jednají s čím dál menším lidským dohledem. OSN se situací zabývá a zvažuje kroky. Zdroj: shattered.io
Důležitost:Zprávagovernance
Zachránit svět, nebo vydělat jmění? Dilema bezpečnostních výzkumníků AI
Rishub Jain pracoval na bezpečnosti ve společnosti Google DeepMind, což patřilo k nejžádanějším pozicím v celém technologickém světě. Patřil do malé skupiny výzkumníků, kteří se tomuto problému věnovali. Text se zabývá napětím mezi ochranou světa a lákavými historickými zisky. Zdroj: businessinsider.com
Důležitost:Politikagovernance
EU tlačí na dohody o bezpečnosti AI, svět se ale neshodne
Evropská unie prosazuje mezinárodní dohody o bezpečnosti AI, protože přibývá incidentů spojených s touto technologií. Úsilí pokračuje i přesto, že svět se na společném přístupu nedokáže shodnout. Zdroj: theparliamentmagazine.eu
Důležitost:Politikagovernance
Debata o politice kolem AI začíná v čtenářských klubech, ne jen v Kongresu
Organizace Public Knowledge se zúčastnila setkání čtenářského klubu Callawassie Island Book Club, kde se diskutovalo o technologické politice a bezpečnosti AI. Ukazuje to, že se tato témata řeší i v místních komunitách. Zdroj: publicknowledge.org
Důležitost:VýzkumAI video to 3D
Latent Bridge propojuje video latenty přímo s 3D geometrií
Generování videa a feed-forward 3D rekonstrukce obvykle využívají oddělené reprezentace, takže je nutné videa dekódovat do RGB a znovu vizuálně kódovat. Latent Bridge místo toho pomocí zarovnání příznaků získává 3D geometrii přímo z video latentů. Zdroj: alphaxiv.org
Důležitost:ZprávaAI safety
Šéf Nvidie Jensen Huang: Bezpečnost AI musíme urychlit
Generální ředitel Nvidie Jensen Huang říká, že se obor AI musí více zaměřit na bezpečnost, a to po letošních letních zprávách, že se AI agenti od předních laboratoří vymkli kontrole. Vyzval k rychlejšímu pokroku v zabezpečení. Zdroj: finance.yahoo.com
Důležitost:ZprávaAI safety governance
Newyorský kontrolor Mark Levine žádá Anthropic o pozastavení IPO kvůli bezpečnosti AI
Kontrolor města New York Mark Levine vyzval Anthropic, aby odložil vstup na burzu, dokud nevyřeší obavy o bezpečnost AI, správu firmy a tempo vývoje. Zdroj: startupfortune.com
Důležitost:Politikaregulation
Anthropic prosazuje zákon o bezpečnosti AI: stopka jen při škodě 1 mld. USD nebo 50 obětech
Anthropic lobbuje v Kongresu za federální zákon o bezpečnosti AI, podle něhož by vydání modelu AI mohlo zastavit jen ministerstvo obchodu. Týkalo by se to pouze modelů, které hrozí škodami za miliardu dolarů nebo 50 oběťmi. Zdroj: news.lavx.hu
Důležitost:Zprávasafety debate
LeCun zpochybňuje přístup Anthropicu k bezpečnosti AI: jde o ochranu, nebo kontrolu?
Průkopník AI Yann LeCun se ohradil proti přístupu šéfa Anthropicu Daria Amodeie k bezpečnosti AI. Varuje, že plošná omezení by mohla posílit kontrolu firem nad oborem. Zdroj: wionews.com