AIskimIQ

Štítek: Safety

266 článků

Dohled Bílého domu nad bezpečnostními týmy AI je nebezpečná chyba

Komentář tvrdí, že když lidé auditující špičkové modely AI odpovídají přímo politickým zadavatelům, přestává jít o skutečnou bezpečnostní kontrolu. Varuje, že politický dohled podkopává nezávislost, kterou takové audity potřebují. Zdroj: geosirius.ifz.ru

AI zevnitř: stav mechanistické interpretovatelnosti pro bezpečnost AI

Neuronové sítě patrně patří k nejvýznamnějším výtvorům lidské historie. S tím, jak jsou tyto systémy schopnější a autonomnější, je pochopení jejich vnitřního fungování pro bezpečnost AI stále důležitější. Zdroj: google.com

Komentář spojuje odpor proti AI a nervozitu trhů s hodnotou Nvidie 3,2 bil. USD

Videopřehled spojuje politický odpor vůči AI v Kongresu a Texasu s tlakem na Nvidii a velké technologické firmy, jejichž hodnota se uvádí na 3,2 bilionu dolarů. Zmiňuje i reakce Sama Altmana a Elona Muska a pokračující debatu o bezpečnosti versus zrychlování AI. Zdroj: youtube.com

Hassabis: Google asi udělal chybu, když zdržel LaMDA

Demis Hassabis uvádí, že Google pravděpodobně chyboval, když zadržel LaMDA. Text z toho vyvozuje 10 poučení pro zakladatele a investory o laťce pro spuštění, cílových funkcích a bezpečnosti AI. Zdroj: the-ai-corner.com

Dobré a špatné zprávy o AGI a změně klimatu

Od začátku září, kdy Jacob Coxon odešel z Anthropicu kvůli obavám o bezpečnost AI, se množí varovné hlasy. Text zvažuje dobré i špatné zprávy o AGI a změně klimatu. Zdroj: google.com

AGI a klimatické změny: dobré a špatné zprávy

Od začátku září, kdy Jacob Coxon odešel z Anthropicu kvůli obavám o bezpečnost AI, se množí pochmurná varování před tím, co nás čeká. Text zvažuje povzbudivé i znepokojivé stránky AGI a klimatických změn. Zdroj: techpolicy.press

Komentář: Gordický uzel zarovnání AI s lidskými hodnotami

Lidé z oboru i experti se shodují, že je potřeba globální regulace, aby AI sloužila lidskému blahu. Autor komentáře vyzývá, aby se to konečně podařilo prosadit. Zdroj: commondreams.org

Banky čelí novým bezpečnostním rizikům AI s příchodem agentního bankovnictví

Na velkém summitu představili finanční manažeři blížící se éru bankovnictví, v němž budou komunikovat agenti mezi sebou. Zároveň varovali před bezpečnostními riziky, která AI přináší. Zdroj: scmp.com

Čína zavede pravidla bezpečnosti AI pro vývoj i nasazení modelů

Čína plánuje zavést rozsáhlé bezpečnostní standardy pro AI, které pokryjí vývoj i nasazení modelů. Peking tak chce posílit dohled nad touto technologií. Zdroj: macaudailytimes.com.mo

Altman: ztráta kontroly nad AI je „absolutně“ možná, alignment nikdo nevyřešil

Šéf OpenAI Sam Altman říká, že je absolutně možné, aby se AI vymkla lidské kontrole, a že žádná laboratoř zatím nevyřešila problém alignmentu. OpenAI podle něj pozastavilo trénovací běhy, dokud nebudou zavedeny pojistky. Zdroj: finance.biggo.com

Čína chystá rozsáhlé bezpečnostní standardy pro AI po selháních ve světě

Čína plánuje zavést široký soubor standardů pro bezpečnost AI, které pokryjí celý cyklus od vývoje po nasazení. Krok přichází po bezpečnostních selháních, k nimž došlo po celém světě, a ukazuje, že Peking chce hrát prim při regulaci AI. Zdroj: taipeitimes.com

Repligate: komunita kolem AI safety mi přestala být zajímavá

Repligate v příspěvku na X uvedl, že je to možná hlavní důvod, proč mu celá komunita kolem AI safety v posledních letech připadá mnohem méně zajímavá. Komentář zachytil server Techmeme. Zdroj: techmeme.com

LeCunův model JEPA se 109M parametry překonal 72B LLM v propojení obrazu a textu

Nová studie Yanna LeCuna a Randalla Balestriera ukazuje, že model JEPA o velikosti 109M překonává 72B LLM v sladění obrazu a textu. Využívá přitom 42krát méně trénovacích dat. Zdroj: startupfortune.com

Hackeři jailbreakují nejvýkonnější AI modely v globálním úsilí o odhalení slabin

Financial Times představuje hackera Pliny the Prompter, kterému podle jeho slov obvykle stačí zhruba 30 minut na prolomení i nejvýkonnějších AI modelů světa. Jde o součást širšího celosvětového snažení o jailbreaky špičkových systémů. Zdroj: ft.com

Warrenová kritizuje Trumpovu dobrovolnou dohodu o bezpečnosti AI s šéfy firem

Senátorka Elizabeth Warrenová kritizovala Trumpa za to, že nechává AI firmy regulovat se samy. Varovala, že dobrovolné závazky o bezpečnosti nenahradí skutečnou regulaci. Zdroj: benzinga.com

„Všichni zemřeme“ je jen hypotéza, tvrdí recenze Yudkowského knihy

Recenze Yudkowského knihy cituje vědce a ML výzkumníky, kteří odmítají její ústřední argument o rizicích superinteligence. Zároveň hájí AI alignment jako smysluplný přístup. Zdroj: medium.com

Komentář: Kongres musí okamžitě jednat o bezpečnosti a odpovědnosti AI

Autor tvrdí, že Kongres se příliš dlouho nezabývá vážnými ekonomickými a environmentálními riziky AI. Vyzývá k naléhavému legislativnímu kroku již tento týden. Zdroj: actionnetwork.org

Repligate vystupuje proti kritikům „nebezpečného“ chování modelů

Repligate označuje tvrzení, že je to nebezpečné a špatné, za absurdní a podle něj to posiluje dojem, že mnoho lidí kolem „AI safety“ jen hraje roli. Ptá se také, proč chtít modelům bránit mluvit určitým způsobem. Zdroj: google.com

Senátorka Warrenová zpovídá Anthropic kvůli bezpečnosti AI a rizikům IPO

Demokratická senátorka v dopise šéfovi Anthropicu Dariovi Amodeiovi napsala, že rizika spojená s touto technologií vyžadují důkladnější kontrolu. Zajímá ji jak bezpečnost AI, tak tržní rizika spojená s vstupem firmy na burzu. Zdroj: google.com

Warrenová se ptá Anthropicu na bezpečnost AI a rizika spojená s IPO

Dopis Elizabeth Warrenové z 27. října se šéfa Anthropicu Daria Amodeie ptá na ochranná opatření u AI, kybernetická rizika i možnou tržní expozici před plánovaným vstupem na burzu. Zdroj: google.com