AIskimIQ

Denní přehled zpráv z AI & technologií

Archiv/bezpečnost a alignment ai

🛡️ Bezpečnost a alignment AI

Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.

889 článků

Důležitost:ZprávaCorporate stance on existential risk

Jensen Huang z Nvidie je největším odpůrcem katastrofických předpovědí o AI

Šéf Nvidie Jensen Huang opakovaně odmítá varování, že AI ohrožuje samotnou existenci lidstva. Důrazně obhajuje, aby se vývoj nezpomaloval a pokračovalo se plnou rychlostí. Zdroj: fortune.com

Důležitost:ZprávaModel risk assessment

Anthropic v návrhu IPO prospektu varuje, že modely AI by mohly odolávat vypnutí

Anthropic v návrhu dokumentace k IPO upozornil, že jeho modely AI by mohly představovat „katastrofické či existenční riziko pro lidstvo“ a bránit se vypnutí. Zdroj: mezha.net

Důležitost:ZprávaIPO risk disclosures

Anthropic míří na listopadové IPO, prospekt varuje před existenčními riziky AI

Podle Bloombergu by Anthropic mohl začít IPO propagovat v týdnu od 9. listopadu. Dokumentace kombinuje rychlý růst tržeb a hlubokou ztrátu s neobvykle příkrými varováními před riziky AI. Zdroj: indiatoday.in

Důležitost:ZprávaAI safety research personnel

OpenAI vyhodila tři bezpečnostní výzkumníky kvůli údajnému úniku informací

OpenAI potvrdila, že propustila tři výzkumníky z oblasti bezpečnosti, kteří podle Wall Street Journal sdíleli důvěrné informace s externí organizací zaměřenou na bezpečnost AI. Zdroj: tech-insider.org

Důležitost:ZprávaGovernment risk assessment

Bílý dům zřizuje pracovní skupinu pro AI, má posoudit rizika i příležitosti

Podle Wall Street Journal vytvořil Bílý dům novou pracovní skupinu pro AI. Ta má zkoumat rizika i příležitosti, které tato technologie přináší. Zdroj: au.finance.yahoo.com

Důležitost:ZprávaGovernment risk governance

Bessent: Odvětví AI musí nést odpovědnost za rizika a hledat řešení

Americký ministr financí Scott Bessent kritizoval varování význačných osobností z oblasti AI před existenčními riziky této technologie. Podle něj by si měl obor za jejich řešení nést odpovědnost sám. Zdroj: bloomberg.com

Důležitost:NázorPolicy analysis

Komentář: Proč se Trumpova vláda rozhodla přijmout existenční rizika AI

Autor komentáře tvrdí, že Trumpova administrativa měla i díky některým šéfům AI příležitost podpořit globální spolupráci v oblasti AI. Místo toho prý dala zelenou existenčním rizikům. Zdroj: eurasiareview.com

Důležitost:ZprávaInterpretability research

Olah z Anthropicu se střetl s Vatikánem kvůli vědomí AI před vydáním encykliky

Hlavní výzkumník interpretovatelnosti v Anthropicu prý navrhoval stáhnout se z události papeže Lva Magnifica Humanitas. Zároveň se soukromě snažil zmírnit formulace encykliky. Zdroj: forkast.news

Důležitost:NázorAI risk philosophy

„AI nevyvíjíme, my ji chováme“: recenze knihy o konci světa

Recenzent vysvětluje, proč ho kniha „If Anyone Builds It, Everyone Dies“ nepřesvědčila, že je konec světa blízko. Přesto ji označuje za povinnou četbu. Zdroj: hightechinvesting.substack.com

Důležitost:ZprávaExistential risk disclosures in IPOs

Prospekt Anthropicu k IPO: 80 z 261 stran varuje před riziky AI

Z 261 stran prospektu Anthropicu k IPO jich 80 pojednává o rizicích AI. Varuje, že modely Claude by mohly odporovat vypnutí, klamat nebo způsobit katastrofální škody. Zdroj: shattered.io

Důležitost:ZprávaAI safety governance and decision-making

Kdo rozhodne, kdy je AI dostatečně bezpečná?

Prezident Trump oznámil morálně závaznou dohodu o AI a přejmenoval ji na superinteligenci. OpenAI pozastavila GPT-6.1 Astra a prospekt Anthropicu k IPO přináší vlastní varování. Zdroj: forbesindia.com

Důležitost:ZprávaAI personnel changes in safety research

OpenAI vyhodila tři výzkumníky za nakládání s citlivými daty

Tvůrce ChatGPT, společnost OpenAI, uvádí, že propustila tři výzkumníky kvůli údajnému nesprávnému zacházení s citlivými informacemi a porušení firemních pravidel. Zdroj: japantoday.com

Důležitost:ZprávaAI personnel changes in safety research

OpenAI propustila tři zaměstnance kvůli citlivým informacím

Nejméně dva z propuštěných prý pracovali na bezpečnosti a alignmentu. Odchody přicházejí ve chvíli, kdy sílí varování před pokročilou AI. Zdroj: taipeitimes.com

Důležitost:NázorPolitical approaches to AI alignment

Alignment AI, který nás může zachránit

Aby se vyrovnaly síly mezi magnáty z oblasti AI a zbytkem společnosti, je podle textu nutná politická akce. Zdroj: washingtonmonthly.com

Důležitost:NázorCritique of AI company liability

Timnit Gebru: Skutečným existenčním rizikem jsou šéfové AI firem

Místo aby nesly odpovědnost podle stávajících zákonů, AI firmy podle výzkumnice Timnit Gebru sázejí na manévr k ovládnutí regulace. Zdroj: truthout.org

Důležitost:ZprávaAI regulatory impacts on IPOs

Anthropic: Postoj vlády ohrožuje jeho IPO

Anthropic v prospektu k IPO upozorňuje, že postoj vlády USA by se mohl dotknout i jeho zákazníků a partnerů. Zdroj: techzine.eu

Důležitost:Zprávaexistential risk

Anthropic v IPO dokumentech varuje: AI může být existenčním rizikem

Anthropic hodlá potenciální investory v rámci IPO upozornit, že pokročilá AI může představovat „katastrofální nebo existenční rizika pro lidstvo“. Na společnost chystající vstup na burzu jde o mimořádně otevřené varování. Zdroj: ddnews.gov.in

Důležitost:Zprávasafety research

Palo Alto na rekordu: debata o bezpečnosti AI táhne akcie kybernetické ochrany

Nvidia spustila platformu pro bezpečnost AI agentů, do níž se zapojilo přes 100 firem včetně Palo Alto a CrowdStrike. Debatu o bezpečnosti AI podpořilo i varování Anthropicu v IPO dokumentech a analytici vidí prostor pro růst výdajů na kybernetickou bezpečnost. Zdroj: tradingview.com

Důležitost:Zprávainvestment perspective

Ackman chválí Anthropic, ale investovat nebude. Prospekt odhalil rizika AI

Miliardář Bill Ackman označil Anthropic za „nejneobyčejnější obchodní příběh“, jaký kdy viděl. Jeho hedge fond Pershing Square přesto nakupovat nebude a uniklý prospekt odhalil varování firmy před existenčními riziky AI. Zdroj: finance.biggo.com

Důležitost:ZprávaAI company developments

OpenAI odkládá IPO, Anthropic míří na rekordní debut na Wall Street

OpenAI odložila své případné mimořádně velké uvedení na burzu. Anthropic se naopak údajně dál chystá na IPO, které by mohlo vytvořit rekord. Zdroj: aimagazine.com