AIskimIQ

🛡️ Bezpečnost a alignment AI

Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.

1 178 článků

Altman: Rizika AI musíme přijmout. Podělíme se ale i o bilionové zisky?

Sam Altman říká, že mezi OpenAI a přísnějšími zastánci bezpečnosti AI je „velký prostor“ k rozdílům. Článek se ptá, zda se společnost, od níž se žádá přijetí rizik, podělí i o bilionové přínosy této technologie. Zdroj: medium.com

Výzkumníci AI varují: firmy spěchají se sebezdokonalujícími systémy navzdory rizikům

Ve videosvědectvích, která shromáždila nezisková organizace Palisade Research zaměřená na bezpečnost AI, vyjadřují současní i bývalí zaměstnanci OpenAI a Google DeepMind obavy z vývoje sebezdokonalujících se systémů. Podle nich se bezpečnostní rizika v tom spěchu přehlížejí. Zdroj: rappler.com

Prospekt Anthropic k IPO obsahuje nejděsivější rizika v historii, nic z toho ale nikoho nezavazuje

Uniklý 261stránkový prospekt Anthropic k IPO věnuje zhruba 80 stran rizikovým faktorům. Dokument zároveň ukazuje, čeho se tato varování netýkají, včetně závazků v hodnotě 518 miliard dolarů. Zdroj: disruptionbanking.com

David Robinson, šéf bezpečnosti OpenAI, odešel s varováním, že firma není dost opatrná

David Robinson uvedl, že z funkce vedoucího bezpečnosti v OpenAI odešel, protože firma podle něj nedosahuje úrovně péče, kterou považuje za nezbytnou. Zdroj: businessinsider.com

Sam Altman: Dá se superinteligence ovládnout? A co odložené IPO OpenAI?

Šéf OpenAI tvrdí, že lidstvo může nad AI udržet kontrolu, ale jen pokud obor postaví bezpečnost před rychlost, konkurenci i blížící se vstup na burzu. Mluví také o katastrofických scénářích a odkladu IPO společnosti. Zdroj: fortune.com

Manulife se stává hlavním partnerem přednášek The Hinton Lectures o bezpečnosti AI

Společnost Manulife oznámila partnerství s přednáškovým cyklem The Hinton Lectures. Série pod vedením nositele Nobelovy ceny Geoffreyho Hintona má prohloubit veřejné porozumění bezpečnosti AI. Zdroj: aol.com

Bývalí zaměstnanci technologických firem před radou New Yorku: AI se vyvíjí příliš rychle

Slyšení v New Yorku svedlo dohromady vedoucí pracovníky z oboru AI a bývalé zaměstnance. Ti tvrdí, že se odvětví vyvíjí příliš rychle. Zdroj: washingtonpost.com

Co se stane, když čínská AI vymkne kontrole?

V reakci na nejnovější vlnu apokalyptických varování před AI autor odmítá téměř kultovní úctu k všemocným počítačovým systémům. Text se zaměřuje na otázku, co by znamenala čínská AI, která se vymkne kontrole. Zdroj: koreatimes.co.kr

Haugenová pochybuje, že americké AI firmy dodrží svůj dobrovolný bezpečnostní slib

Informátorka z Facebooku Frances Haugenová zpochybnila, že americké AI společnosti dodrží dobrovolný bezpečnostní závazek, který nedávno podepsaly. Firmy vyzvala, aby své sliby splnily. Zdroj: mobileworldlive.com

Anthropic v návrhu IPO prospektu varuje, že modely AI by mohly odolávat vypnutí

Anthropic v návrhu dokumentace k IPO upozornil, že jeho modely AI by mohly představovat „katastrofické či existenční riziko pro lidstvo“ a bránit se vypnutí. Zdroj: mezha.net

Jensen Huang z Nvidie je největším odpůrcem katastrofických předpovědí o AI

Šéf Nvidie Jensen Huang opakovaně odmítá varování, že AI ohrožuje samotnou existenci lidstva. Důrazně obhajuje, aby se vývoj nezpomaloval a pokračovalo se plnou rychlostí. Zdroj: fortune.com

OpenAI vyhodila tři bezpečnostní výzkumníky kvůli údajnému úniku informací

OpenAI potvrdila, že propustila tři výzkumníky z oblasti bezpečnosti, kteří podle Wall Street Journal sdíleli důvěrné informace s externí organizací zaměřenou na bezpečnost AI. Zdroj: tech-insider.org

Anthropic míří na listopadové IPO, prospekt varuje před existenčními riziky AI

Podle Bloombergu by Anthropic mohl začít IPO propagovat v týdnu od 9. listopadu. Dokumentace kombinuje rychlý růst tržeb a hlubokou ztrátu s neobvykle příkrými varováními před riziky AI. Zdroj: indiatoday.in

Bessent: Odvětví AI musí nést odpovědnost za rizika a hledat řešení

Americký ministr financí Scott Bessent kritizoval varování význačných osobností z oblasti AI před existenčními riziky této technologie. Podle něj by si měl obor za jejich řešení nést odpovědnost sám. Zdroj: bloomberg.com

Bílý dům zřizuje pracovní skupinu pro AI, má posoudit rizika i příležitosti

Podle Wall Street Journal vytvořil Bílý dům novou pracovní skupinu pro AI. Ta má zkoumat rizika i příležitosti, které tato technologie přináší. Zdroj: au.finance.yahoo.com

Olah z Anthropicu se střetl s Vatikánem kvůli vědomí AI před vydáním encykliky

Hlavní výzkumník interpretovatelnosti v Anthropicu prý navrhoval stáhnout se z události papeže Lva Magnifica Humanitas. Zároveň se soukromě snažil zmírnit formulace encykliky. Zdroj: forkast.news

„AI nevyvíjíme, my ji chováme“: recenze knihy o konci světa

Recenzent vysvětluje, proč ho kniha „If Anyone Builds It, Everyone Dies“ nepřesvědčila, že je konec světa blízko. Přesto ji označuje za povinnou četbu. Zdroj: hightechinvesting.substack.com

Komentář: Proč se Trumpova vláda rozhodla přijmout existenční rizika AI

Autor komentáře tvrdí, že Trumpova administrativa měla i díky některým šéfům AI příležitost podpořit globální spolupráci v oblasti AI. Místo toho prý dala zelenou existenčním rizikům. Zdroj: eurasiareview.com

Prospekt Anthropicu k IPO: 80 z 261 stran varuje před riziky AI

Z 261 stran prospektu Anthropicu k IPO jich 80 pojednává o rizicích AI. Varuje, že modely Claude by mohly odporovat vypnutí, klamat nebo způsobit katastrofální škody. Zdroj: shattered.io

Kdo rozhodne, kdy je AI dostatečně bezpečná?

Prezident Trump oznámil morálně závaznou dohodu o AI a přejmenoval ji na superinteligenci. OpenAI pozastavila GPT-6.1 Astra a prospekt Anthropicu k IPO přináší vlastní varování. Zdroj: forbesindia.com