Dohled Bílého domu nad bezpečnostními týmy AI je nebezpečná chyba
Komentář tvrdí, že když lidé auditující špičkové modely AI odpovídají přímo politickým zadavatelům, přestává jít o skutečnou bezpečnostní kontrolu. Varuje, že politický dohled podkopává nezávislost, kterou takové audity potřebují. Zdroj: geosirius.ifz.ru
Důležitost:Výzkuminterpretability
AI zevnitř: stav mechanistické interpretovatelnosti pro bezpečnost AI
Neuronové sítě patrně patří k nejvýznamnějším výtvorům lidské historie. S tím, jak jsou tyto systémy schopnější a autonomnější, je pochopení jejich vnitřního fungování pro bezpečnost AI stále důležitější. Zdroj: google.com
Důležitost:Zpráva
Komentář spojuje odpor proti AI a nervozitu trhů s hodnotou Nvidie 3,2 bil. USD
Videopřehled spojuje politický odpor vůči AI v Kongresu a Texasu s tlakem na Nvidii a velké technologické firmy, jejichž hodnota se uvádí na 3,2 bilionu dolarů. Zmiňuje i reakce Sama Altmana a Elona Muska a pokračující debatu o bezpečnosti versus zrychlování AI. Zdroj: youtube.com
Důležitost:NázorAI development lessons
Hassabis: Google asi udělal chybu, když zdržel LaMDA
Demis Hassabis uvádí, že Google pravděpodobně chyboval, když zadržel LaMDA. Text z toho vyvozuje 10 poučení pro zakladatele a investory o laťce pro spuštění, cílových funkcích a bezpečnosti AI. Zdroj: the-ai-corner.com
Důležitost:ZprávaAI safety/AGI
Dobré a špatné zprávy o AGI a změně klimatu
Od začátku září, kdy Jacob Coxon odešel z Anthropicu kvůli obavám o bezpečnost AI, se množí varovné hlasy. Text zvažuje dobré i špatné zprávy o AGI a změně klimatu. Zdroj: google.com
Důležitost:ZprávaAGI implications
AGI a klimatické změny: dobré a špatné zprávy
Od začátku září, kdy Jacob Coxon odešel z Anthropicu kvůli obavám o bezpečnost AI, se množí pochmurná varování před tím, co nás čeká. Text zvažuje povzbudivé i znepokojivé stránky AGI a klimatických změn. Zdroj: techpolicy.press
Důležitost:NázorAI alignment
Komentář: Gordický uzel zarovnání AI s lidskými hodnotami
Lidé z oboru i experti se shodují, že je potřeba globální regulace, aby AI sloužila lidskému blahu. Autor komentáře vyzývá, aby se to konečně podařilo prosadit. Zdroj: commondreams.org
Důležitost:Zprávasafety/risks
Banky čelí novým bezpečnostním rizikům AI s příchodem agentního bankovnictví
Na velkém summitu představili finanční manažeři blížící se éru bankovnictví, v němž budou komunikovat agenti mezi sebou. Zároveň varovali před bezpečnostními riziky, která AI přináší. Zdroj: scmp.com
Důležitost:Zprávagovernance
Čína zavede pravidla bezpečnosti AI pro vývoj i nasazení modelů
Čína plánuje zavést rozsáhlé bezpečnostní standardy pro AI, které pokryjí vývoj i nasazení modelů. Peking tak chce posílit dohled nad touto technologií. Zdroj: macaudailytimes.com.mo
Důležitost:Zprávaalignment
Altman: ztráta kontroly nad AI je „absolutně“ možná, alignment nikdo nevyřešil
Šéf OpenAI Sam Altman říká, že je absolutně možné, aby se AI vymkla lidské kontrole, a že žádná laboratoř zatím nevyřešila problém alignmentu. OpenAI podle něj pozastavilo trénovací běhy, dokud nebudou zavedeny pojistky. Zdroj: finance.biggo.com
Důležitost:Zprávagovernance
Čína chystá rozsáhlé bezpečnostní standardy pro AI po selháních ve světě
Čína plánuje zavést široký soubor standardů pro bezpečnost AI, které pokryjí celý cyklus od vývoje po nasazení. Krok přichází po bezpečnostních selháních, k nimž došlo po celém světě, a ukazuje, že Peking chce hrát prim při regulaci AI. Zdroj: taipeitimes.com
Důležitost:Zpráva
Repligate: komunita kolem AI safety mi přestala být zajímavá
Repligate v příspěvku na X uvedl, že je to možná hlavní důvod, proč mu celá komunita kolem AI safety v posledních letech připadá mnohem méně zajímavá. Komentář zachytil server Techmeme. Zdroj: techmeme.com
Důležitost:Výzkummodel efficiency
LeCunův model JEPA se 109M parametry překonal 72B LLM v propojení obrazu a textu
Nová studie Yanna LeCuna a Randalla Balestriera ukazuje, že model JEPA o velikosti 109M překonává 72B LLM v sladění obrazu a textu. Využívá přitom 42krát méně trénovacích dat. Zdroj: startupfortune.com
Důležitost:Zpráva
Hackeři jailbreakují nejvýkonnější AI modely v globálním úsilí o odhalení slabin
Financial Times představuje hackera Pliny the Prompter, kterému podle jeho slov obvykle stačí zhruba 30 minut na prolomení i nejvýkonnějších AI modelů světa. Jde o součást širšího celosvětového snažení o jailbreaky špičkových systémů. Zdroj: ft.com
Důležitost:Politikagovernance
Warrenová kritizuje Trumpovu dobrovolnou dohodu o bezpečnosti AI s šéfy firem
Senátorka Elizabeth Warrenová kritizovala Trumpa za to, že nechává AI firmy regulovat se samy. Varovala, že dobrovolné závazky o bezpečnosti nenahradí skutečnou regulaci. Zdroj: benzinga.com
Důležitost:Názoralignment
„Všichni zemřeme“ je jen hypotéza, tvrdí recenze Yudkowského knihy
Recenze Yudkowského knihy cituje vědce a ML výzkumníky, kteří odmítají její ústřední argument o rizicích superinteligence. Zároveň hájí AI alignment jako smysluplný přístup. Zdroj: medium.com
Důležitost:Politikagovernance
Komentář: Kongres musí okamžitě jednat o bezpečnosti a odpovědnosti AI
Autor tvrdí, že Kongres se příliš dlouho nezabývá vážnými ekonomickými a environmentálními riziky AI. Vyzývá k naléhavému legislativnímu kroku již tento týden. Zdroj: actionnetwork.org
Důležitost:Názor
Repligate vystupuje proti kritikům „nebezpečného“ chování modelů
Repligate označuje tvrzení, že je to nebezpečné a špatné, za absurdní a podle něj to posiluje dojem, že mnoho lidí kolem „AI safety“ jen hraje roli. Ptá se také, proč chtít modelům bránit mluvit určitým způsobem. Zdroj: google.com
Důležitost:Zprávapolicy and governance
Senátorka Warrenová zpovídá Anthropic kvůli bezpečnosti AI a rizikům IPO
Demokratická senátorka v dopise šéfovi Anthropicu Dariovi Amodeiovi napsala, že rizika spojená s touto technologií vyžadují důkladnější kontrolu. Zajímá ji jak bezpečnost AI, tak tržní rizika spojená s vstupem firmy na burzu. Zdroj: google.com
Důležitost:Zprávapolicy and governance
Warrenová se ptá Anthropicu na bezpečnost AI a rizika spojená s IPO
Dopis Elizabeth Warrenové z 27. října se šéfa Anthropicu Daria Amodeie ptá na ochranná opatření u AI, kybernetická rizika i možnou tržní expozici před plánovaným vstupem na burzu. Zdroj: google.com