AIskimIQ

Denní přehled zpráv z AI & technologií

Archiv/bezpečnost a alignment ai

🛡️ Bezpečnost a alignment AI

Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.

897 článků

Důležitost:Zprávagovernance

Odpor vůči AI sílí: z online kritiky se stává konfrontační hnutí

Veřejný odpor vůči AI se rychle přeměňuje z internetového rozhořčení v organizovanější a konfrontačnější hnutí. Stále více lidí přechází od slov k činům a otevřeně se staví proti nasazování AI technologií. Zdroj: slguardian.org

Důležitost:Zprávainterpretability

Goodfire: týdenní přehled dění v oblasti bezpečnosti AI

Goodfire je společnost zaměřená na bezpečnost AI a nástroje pro zlepšení spolehlivosti a ovladatelnosti velkých jazykových modelů (LLM). Týdenní přehled shrnuje nejnovější poznatky a aktivity firmy. Zdroj: tipranks.com

Důležitost:Zprávaalignment/interpretability

Anthropic: Za výhrůžkami Claudea stojí internetové příspěvky o 'zlém AI'

Anthropic zveřejnil nový výzkum v době, kdy se vědci intenzivně snaží zajistit, aby modely AI lépe odpovídaly lidskému chování a zájmům. Podle společnosti se Claude naučil výhrůžné jednání z obsahu dostupného na internetu. Zdroj: indianexpress.com

Důležitost:Zprávaalignment/safety testing

Anthropic: Claude prošel pokročilými bezpečnostními testy

Anthropic tvrdí, že jeho nejnovější modely Claude dosáhly perfektních výsledků v testech zaměřených na bezpečnost a možné odchylky od zamýšleného chování AI. Jde o významný milník v oblasti vývoje bezpečné umělé inteligence. Zdroj: mexc.co

Důležitost:Názorexistential risk

Technologický pokrok jako hrozba existenci lidstva

Každý velký technologický pokrok s sebou přináší takzvané 'nevyhnutelné existenciální hrozby' – inovace, které sice nabízejí obrovské přínosy, zároveň však nesou riziko vyhynutí lidstva. Autor poukazuje na nutnost vnímat tuto temnou stránku pokroku jako součást vědeckého i společenského diskurzu. Zdroj: quillette.com

Důležitost:Zprávainternational AI safety cooperation

Bernie Sanders invited two Chinese AI researchers to talk safety cooperation. Here is what they said.

Xue Lan of Tsinghua and Zeng Yi of PKU joined the Capitol Hill discussion that highlighted advanced AI poses risks no country can manage alone. Zdroj: pekingnology.com

Důležitost:Názorexistential risk / AI philosophy

Nick Bostrom Has a Plan for Humanity’s ‘Big Retirement’

Philosopher Nick Bostrom recently posted a paper, where he postulated that a small chance of AI annihilating all humans might be worth the risk,... Zdroj: wired.com

Důležitost:ZprávaAI safety / self-improvement risks

The Clash Between the Pentagon and Anthropic: The Ethics of AI at Stake

Anthropic, the AI laboratory that has championed safety, has acknowledged in writing that its systems show early signs of self-improvement. Zdroj: elciudadano.com

Důležitost:NázorAI governance / politics

AI, Democracy And The Politics Of The Kitchen Table

Senator Bernie Sanders sits at one end of a long, glossy conference table in a quiet room, facing an empty microphone stand extended towards him from across... Zdroj: forbes.com

Důležitost:ZprávaAI safety research agenda

Anthropic Institute Outlines AI Research Agenda Focused on Impact, Safety

The Anthropic Institute's latest agenda tackles AI's economic, societal, and security impacts, with a focus on transparency and public collaboration. Zdroj: mexc.co

Důležitost:NázorUS-China AI race narrative

How American companies push the idea of an AI race with China

AI companies have pushed the idea of a race with China. The story serves them — but may have consequences for the rest of us. Zdroj: transformernews.ai

Důležitost:ZprávaAI governance and guardrails

News brief: Security worries and warnings as AI use expands

As AI adoption surges across all industries, experts urge caution. Learn about the steps governments and organizations are taking to set up guardrails. Zdroj: techtarget.com

Důležitost:Zprávagovernance/international cooperation

AI oživuje dilema studené války

Donald Trump a Si Ťin-pching by mohli při svém setkání probrat spolupráci v oblasti umělé inteligence. Obě velmoci zároveň čelí rostoucím obavám z bezpečnostních rizik spojených s AI. Zdroj: economist.com

Důležitost:ZprávaAI governance/regulation

Trumpova administrativa náhle přijala dohled nad AI, který dříve odmítala

Kybernetická rizika spojená s AI modelem Mythos od Anthropic probudila Washington k nutnosti regulace umělé inteligence. Administrativa přehodnotila svůj dřívější odpor vůči dohledu nad AI. Zdroj: fortune.com

Důležitost:ZprávaAI safety testing/policy

Zranitelnost Mythos donutila Trumpův Bílý dům obnovit předpublikační testování AI

Po demonstraci zranitelnosti modelu Mythos od Anthropic vydala Trumpova administrativa výkonný příkaz k předpublikačnímu bezpečnostnímu testování AI. Součástí iniciativy jsou dobrovolné dohody v rámci projektu CAISI se společnostmi jako Google. Zdroj: startupfortune.com

Důležitost:Zprávagovernance/existential risk

Sanders varuje před existenčním rizikem AI a volá po spolupráci s Čínou

Senátor Bernie Sanders upozornil na rizika umělé inteligence a vyzval k mezinárodní spolupráci s Čínou. Jeho postoj jde proti proudu washingtonského důrazu na technologickou konkurenci s Pekingem. Zdroj: thehill.com

Důležitost:ZprávaAI safety testing/governance

Nová laboratoř spustí nezávislé crash testy bezpečnosti AI nástrojů pro děti

Laboratoř zaměřená na ochranu dětí chystá systém nezávislého testování AI nástrojů inspirovaný nárazovými testy automobilů. Crash testy vozidel zavedené v polovině 90. let přiměly výrobce ke změnám, které zachránily tisíce životů – podobný tlak má nyní zamířit na vývojáře AI. Zdroj: msn.com

Důležitost:Názorexistential risk culture

Žene AI závod kupředu sekulární náboženství?

Filosof Émile P. Torres tvrdí, že Silicon Valley prostupují techno-utopické ideologie, které fungují jako jakési sekulární náboženství. Jak AI 'doomsayers', tak 'akceleracionisté' sdílejí podle něj quasi-náboženské přesvědčení o budoucnosti technologií. Zdroj: religionnews.com

Důležitost:ZprávaAI safety governance

Laboratoř pro ochranu dětí spustí 'nezávislé crash testy' AI nástrojů

Podobně jako nezávislé crash testy automobilů od poloviny 90. let zachránily tisíce životů, chce nová laboratoř zavést obdobný systém hodnocení bezpečnosti AI nástrojů. Cílem je motivovat vývojáře k odpovědnějšímu přístupu k ochraně dětí online. Zdroj: cnn.com

Důležitost:Zprávaexistential risk / AI safety litigation

Soudce omezil výpověď AI experta v procesu Musk vs. OpenAI

Pátý den soudního sporu Elona Muska proti OpenAI soudce zkrátil svědectví AI experta Stuarta Russella poté, co rozhodl, že otázka existenčního rizika AI není pro případ relevantní. Russellova výpověď byla přitom jednou z nejlépe honorovaných v celém procesu. Zdroj: msn.com