Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.
1 178 článků
Důležitost:ZprávaRisk governance
Altman: Rizika AI musíme přijmout. Podělíme se ale i o bilionové zisky?
Sam Altman říká, že mezi OpenAI a přísnějšími zastánci bezpečnosti AI je „velký prostor“ k rozdílům. Článek se ptá, zda se společnost, od níž se žádá přijetí rizik, podělí i o bilionové přínosy této technologie. Zdroj: medium.com
Důležitost:Zprávaalignment techniques & safety research
Výzkumníci AI varují: firmy spěchají se sebezdokonalujícími systémy navzdory rizikům
Ve videosvědectvích, která shromáždila nezisková organizace Palisade Research zaměřená na bezpečnost AI, vyjadřují současní i bývalí zaměstnanci OpenAI a Google DeepMind obavy z vývoje sebezdokonalujících se systémů. Podle nich se bezpečnostní rizika v tom spěchu přehlížejí. Zdroj: rappler.com
Důležitost:Zprávagovernance & risk disclosure
Prospekt Anthropic k IPO obsahuje nejděsivější rizika v historii, nic z toho ale nikoho nezavazuje
Uniklý 261stránkový prospekt Anthropic k IPO věnuje zhruba 80 stran rizikovým faktorům. Dokument zároveň ukazuje, čeho se tato varování netýkají, včetně závazků v hodnotě 518 miliard dolarů. Zdroj: disruptionbanking.com
Důležitost:Zprávagovernance & safety research
David Robinson, šéf bezpečnosti OpenAI, odešel s varováním, že firma není dost opatrná
David Robinson uvedl, že z funkce vedoucího bezpečnosti v OpenAI odešel, protože firma podle něj nedosahuje úrovně péče, kterou považuje za nezbytnou. Zdroj: businessinsider.com
Důležitost:Zprávaexistential risk & governance
Sam Altman: Dá se superinteligence ovládnout? A co odložené IPO OpenAI?
Šéf OpenAI tvrdí, že lidstvo může nad AI udržet kontrolu, ale jen pokud obor postaví bezpečnost před rychlost, konkurenci i blížící se vstup na burzu. Mluví také o katastrofických scénářích a odkladu IPO společnosti. Zdroj: fortune.com
Důležitost:Zprávagovernance
Manulife se stává hlavním partnerem přednášek The Hinton Lectures o bezpečnosti AI
Společnost Manulife oznámila partnerství s přednáškovým cyklem The Hinton Lectures. Série pod vedením nositele Nobelovy ceny Geoffreyho Hintona má prohloubit veřejné porozumění bezpečnosti AI. Zdroj: aol.com
Důležitost:Zprávagovernance & safety concerns
Bývalí zaměstnanci technologických firem před radou New Yorku: AI se vyvíjí příliš rychle
Slyšení v New Yorku svedlo dohromady vedoucí pracovníky z oboru AI a bývalé zaměstnance. Ti tvrdí, že se odvětví vyvíjí příliš rychle. Zdroj: washingtonpost.com
Důležitost:Názorexistential risk
Co se stane, když čínská AI vymkne kontrole?
V reakci na nejnovější vlnu apokalyptických varování před AI autor odmítá téměř kultovní úctu k všemocným počítačovým systémům. Text se zaměřuje na otázku, co by znamenala čínská AI, která se vymkne kontrole. Zdroj: koreatimes.co.kr
Důležitost:Zprávagovernance
Haugenová pochybuje, že americké AI firmy dodrží svůj dobrovolný bezpečnostní slib
Informátorka z Facebooku Frances Haugenová zpochybnila, že americké AI společnosti dodrží dobrovolný bezpečnostní závazek, který nedávno podepsaly. Firmy vyzvala, aby své sliby splnily. Zdroj: mobileworldlive.com
Důležitost:ZprávaModel risk assessment
Anthropic v návrhu IPO prospektu varuje, že modely AI by mohly odolávat vypnutí
Anthropic v návrhu dokumentace k IPO upozornil, že jeho modely AI by mohly představovat „katastrofické či existenční riziko pro lidstvo“ a bránit se vypnutí. Zdroj: mezha.net
Důležitost:ZprávaCorporate stance on existential risk
Jensen Huang z Nvidie je největším odpůrcem katastrofických předpovědí o AI
Šéf Nvidie Jensen Huang opakovaně odmítá varování, že AI ohrožuje samotnou existenci lidstva. Důrazně obhajuje, aby se vývoj nezpomaloval a pokračovalo se plnou rychlostí. Zdroj: fortune.com
Důležitost:ZprávaAI safety research personnel
OpenAI vyhodila tři bezpečnostní výzkumníky kvůli údajnému úniku informací
OpenAI potvrdila, že propustila tři výzkumníky z oblasti bezpečnosti, kteří podle Wall Street Journal sdíleli důvěrné informace s externí organizací zaměřenou na bezpečnost AI. Zdroj: tech-insider.org
Důležitost:ZprávaIPO risk disclosures
Anthropic míří na listopadové IPO, prospekt varuje před existenčními riziky AI
Podle Bloombergu by Anthropic mohl začít IPO propagovat v týdnu od 9. listopadu. Dokumentace kombinuje rychlý růst tržeb a hlubokou ztrátu s neobvykle příkrými varováními před riziky AI. Zdroj: indiatoday.in
Důležitost:ZprávaGovernment risk governance
Bessent: Odvětví AI musí nést odpovědnost za rizika a hledat řešení
Americký ministr financí Scott Bessent kritizoval varování význačných osobností z oblasti AI před existenčními riziky této technologie. Podle něj by si měl obor za jejich řešení nést odpovědnost sám. Zdroj: bloomberg.com
Důležitost:ZprávaGovernment risk assessment
Bílý dům zřizuje pracovní skupinu pro AI, má posoudit rizika i příležitosti
Podle Wall Street Journal vytvořil Bílý dům novou pracovní skupinu pro AI. Ta má zkoumat rizika i příležitosti, které tato technologie přináší. Zdroj: au.finance.yahoo.com
Důležitost:ZprávaInterpretability research
Olah z Anthropicu se střetl s Vatikánem kvůli vědomí AI před vydáním encykliky
Hlavní výzkumník interpretovatelnosti v Anthropicu prý navrhoval stáhnout se z události papeže Lva Magnifica Humanitas. Zároveň se soukromě snažil zmírnit formulace encykliky. Zdroj: forkast.news
Důležitost:NázorAI risk philosophy
„AI nevyvíjíme, my ji chováme“: recenze knihy o konci světa
Recenzent vysvětluje, proč ho kniha „If Anyone Builds It, Everyone Dies“ nepřesvědčila, že je konec světa blízko. Přesto ji označuje za povinnou četbu. Zdroj: hightechinvesting.substack.com
Důležitost:NázorPolicy analysis
Komentář: Proč se Trumpova vláda rozhodla přijmout existenční rizika AI
Autor komentáře tvrdí, že Trumpova administrativa měla i díky některým šéfům AI příležitost podpořit globální spolupráci v oblasti AI. Místo toho prý dala zelenou existenčním rizikům. Zdroj: eurasiareview.com
Důležitost:ZprávaExistential risk disclosures in IPOs
Prospekt Anthropicu k IPO: 80 z 261 stran varuje před riziky AI
Z 261 stran prospektu Anthropicu k IPO jich 80 pojednává o rizicích AI. Varuje, že modely Claude by mohly odporovat vypnutí, klamat nebo způsobit katastrofální škody. Zdroj: shattered.io
Důležitost:ZprávaAI safety governance and decision-making
Kdo rozhodne, kdy je AI dostatečně bezpečná?
Prezident Trump oznámil morálně závaznou dohodu o AI a přejmenoval ji na superinteligenci. OpenAI pozastavila GPT-6.1 Astra a prospekt Anthropicu k IPO přináší vlastní varování. Zdroj: forbesindia.com