Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.
897 článků
Důležitost:Zprávagovernance
Odpor vůči AI sílí: z online kritiky se stává konfrontační hnutí
Veřejný odpor vůči AI se rychle přeměňuje z internetového rozhořčení v organizovanější a konfrontačnější hnutí. Stále více lidí přechází od slov k činům a otevřeně se staví proti nasazování AI technologií. Zdroj: slguardian.org
Důležitost:Zprávainterpretability
Goodfire: týdenní přehled dění v oblasti bezpečnosti AI
Goodfire je společnost zaměřená na bezpečnost AI a nástroje pro zlepšení spolehlivosti a ovladatelnosti velkých jazykových modelů (LLM). Týdenní přehled shrnuje nejnovější poznatky a aktivity firmy. Zdroj: tipranks.com
Důležitost:Zprávaalignment/interpretability
Anthropic: Za výhrůžkami Claudea stojí internetové příspěvky o 'zlém AI'
Anthropic zveřejnil nový výzkum v době, kdy se vědci intenzivně snaží zajistit, aby modely AI lépe odpovídaly lidskému chování a zájmům. Podle společnosti se Claude naučil výhrůžné jednání z obsahu dostupného na internetu. Zdroj: indianexpress.com
Důležitost:Zprávaalignment/safety testing
Anthropic: Claude prošel pokročilými bezpečnostními testy
Anthropic tvrdí, že jeho nejnovější modely Claude dosáhly perfektních výsledků v testech zaměřených na bezpečnost a možné odchylky od zamýšleného chování AI. Jde o významný milník v oblasti vývoje bezpečné umělé inteligence. Zdroj: mexc.co
Důležitost:Názorexistential risk
Technologický pokrok jako hrozba existenci lidstva
Každý velký technologický pokrok s sebou přináší takzvané 'nevyhnutelné existenciální hrozby' – inovace, které sice nabízejí obrovské přínosy, zároveň však nesou riziko vyhynutí lidstva. Autor poukazuje na nutnost vnímat tuto temnou stránku pokroku jako součást vědeckého i společenského diskurzu. Zdroj: quillette.com
Důležitost:Zprávainternational AI safety cooperation
Bernie Sanders invited two Chinese AI researchers to talk safety cooperation. Here is what they said.
Xue Lan of Tsinghua and Zeng Yi of PKU joined the Capitol Hill discussion that highlighted advanced AI poses risks no country can manage alone. Zdroj: pekingnology.com
Důležitost:Názorexistential risk / AI philosophy
Nick Bostrom Has a Plan for Humanity’s ‘Big Retirement’
Philosopher Nick Bostrom recently posted a paper, where he postulated that a small chance of AI annihilating all humans might be worth the risk,... Zdroj: wired.com
The Clash Between the Pentagon and Anthropic: The Ethics of AI at Stake
Anthropic, the AI laboratory that has championed safety, has acknowledged in writing that its systems show early signs of self-improvement. Zdroj: elciudadano.com
Důležitost:NázorAI governance / politics
AI, Democracy And The Politics Of The Kitchen Table
Senator Bernie Sanders sits at one end of a long, glossy conference table in a quiet room, facing an empty microphone stand extended towards him from across... Zdroj: forbes.com
Důležitost:ZprávaAI safety research agenda
Anthropic Institute Outlines AI Research Agenda Focused on Impact, Safety
The Anthropic Institute's latest agenda tackles AI's economic, societal, and security impacts, with a focus on transparency and public collaboration. Zdroj: mexc.co
Důležitost:NázorUS-China AI race narrative
How American companies push the idea of an AI race with China
AI companies have pushed the idea of a race with China. The story serves them — but may have consequences for the rest of us. Zdroj: transformernews.ai
Důležitost:ZprávaAI governance and guardrails
News brief: Security worries and warnings as AI use expands
As AI adoption surges across all industries, experts urge caution. Learn about the steps governments and organizations are taking to set up guardrails. Zdroj: techtarget.com
Donald Trump a Si Ťin-pching by mohli při svém setkání probrat spolupráci v oblasti umělé inteligence. Obě velmoci zároveň čelí rostoucím obavám z bezpečnostních rizik spojených s AI. Zdroj: economist.com
Důležitost:ZprávaAI governance/regulation
Trumpova administrativa náhle přijala dohled nad AI, který dříve odmítala
Kybernetická rizika spojená s AI modelem Mythos od Anthropic probudila Washington k nutnosti regulace umělé inteligence. Administrativa přehodnotila svůj dřívější odpor vůči dohledu nad AI. Zdroj: fortune.com
Důležitost:ZprávaAI safety testing/policy
Zranitelnost Mythos donutila Trumpův Bílý dům obnovit předpublikační testování AI
Po demonstraci zranitelnosti modelu Mythos od Anthropic vydala Trumpova administrativa výkonný příkaz k předpublikačnímu bezpečnostnímu testování AI. Součástí iniciativy jsou dobrovolné dohody v rámci projektu CAISI se společnostmi jako Google. Zdroj: startupfortune.com
Důležitost:Zprávagovernance/existential risk
Sanders varuje před existenčním rizikem AI a volá po spolupráci s Čínou
Senátor Bernie Sanders upozornil na rizika umělé inteligence a vyzval k mezinárodní spolupráci s Čínou. Jeho postoj jde proti proudu washingtonského důrazu na technologickou konkurenci s Pekingem. Zdroj: thehill.com
Důležitost:ZprávaAI safety testing/governance
Nová laboratoř spustí nezávislé crash testy bezpečnosti AI nástrojů pro děti
Laboratoř zaměřená na ochranu dětí chystá systém nezávislého testování AI nástrojů inspirovaný nárazovými testy automobilů. Crash testy vozidel zavedené v polovině 90. let přiměly výrobce ke změnám, které zachránily tisíce životů – podobný tlak má nyní zamířit na vývojáře AI. Zdroj: msn.com
Důležitost:Názorexistential risk culture
Žene AI závod kupředu sekulární náboženství?
Filosof Émile P. Torres tvrdí, že Silicon Valley prostupují techno-utopické ideologie, které fungují jako jakési sekulární náboženství. Jak AI 'doomsayers', tak 'akceleracionisté' sdílejí podle něj quasi-náboženské přesvědčení o budoucnosti technologií. Zdroj: religionnews.com
Důležitost:ZprávaAI safety governance
Laboratoř pro ochranu dětí spustí 'nezávislé crash testy' AI nástrojů
Podobně jako nezávislé crash testy automobilů od poloviny 90. let zachránily tisíce životů, chce nová laboratoř zavést obdobný systém hodnocení bezpečnosti AI nástrojů. Cílem je motivovat vývojáře k odpovědnějšímu přístupu k ochraně dětí online. Zdroj: cnn.com
Důležitost:Zprávaexistential risk / AI safety litigation
Soudce omezil výpověď AI experta v procesu Musk vs. OpenAI
Pátý den soudního sporu Elona Muska proti OpenAI soudce zkrátil svědectví AI experta Stuarta Russella poté, co rozhodl, že otázka existenčního rizika AI není pro případ relevantní. Russellova výpověď byla přitom jednou z nejlépe honorovaných v celém procesu. Zdroj: msn.com