Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.
897 článků
Důležitost:Názoralignment
Komentář: Stvořte anděla, ne poloboha
Náboženské přesvědčení dokáže účinně formovat lidské chování – a právě to by mohlo zajímat vývojáře AI. Autor navrhuje, aby se AI laboratoře inspirovaly tím, jak náboženství ovlivňuje jednání svých následovníků. Zdroj: washingtonpost.com
Důležitost:Zprávagovernance
Anthropic míří do Washingtonu, aby prosadil odblokování svého nejnovějšího modelu
Anthropic lobbuje ve Washingtonu za zrušení zákazu svého nejnovějšího AI modelu. Téma existenčních rizik AI přitom rezonuje i mimo politické kulisy. Zdroj: morningbrew.com
Důležitost:Zprávaexistential risk
Anthropic volá po globální pauze ve vývoji AI a varuje před samozdokonalováním
Startup oceněný na bilion dolarů varuje, že modely AI se blíží schopnosti zlepšovat se bez lidského zásahu. Anthropic vyzývá ke koordinovanému celosvětovému zastavení vývoje, dokud nebudou tato rizika zvládnuta. Zdroj: tovima.com
Důležitost:Zprávaexistential risk
Altman: AI pravděpodobně povede ke konci světa, ale mezitím vzniknou skvělé firmy
Výrok šéfa OpenAI Sama Altmana se stal citátem dne a znovu rozvířil debatu o jeho přístupu k bezpečnosti AI. Altman sice dlouhodobě veřejně prohlašuje, že bezpečnost AI je zásadní priorita, jeho slova ale vyznívají přinejmenším rozporuplně. Zdroj: techradar.com
Důležitost:ZprávaAI safety
AI roboti mohou vypadnout z kontroly – vědci vysvětlují, jak snadno se to stane
Nová studie upozorňuje, že současné zákony v USA, Velké Británii ani EU nejsou připraveny na fyzické škody způsobené AI roboty. Vědci proto požadují zavedení nezávislých bezpečnostních vrstev, které nelze obejít. Zdroj: studyfinds.com
Důležitost:ZprávaAI safety research funding
Google DeepMind and partners put $10M behind multi-agent AI safety research
The funding call is open to researchers worldwide and focuses on the risks that may emerge when large populations of AI agents interact across shared... Zdroj: edtechinnovationhub.com
Důležitost:NázorAI safety in military/defense
Proving what a military AI model will do is the real problem
Military AI verification has no equivalent to nuclear arms control checks, leaving defense systems with a gap security teams must close. Zdroj: helpnetsecurity.com
Důležitost:Výzkuminterpretability in domain applications
Decoding Interpretable AI in Materials Discovery: Revealing the Secrets Behind Model Predictions
In the rapidly evolving field of materials science, the integration of artificial intelligence (AI) holds transformative potential for accelerating... Zdroj: bioengineer.org
Důležitost:Názorexistential risk
"AI could be faster and more effective than Hitler"
Artificial intelligence expert Stuart Russell has become one of the most vocal critics of the technology he has helped develop for decades. Zdroj: en.vijesti.me
Důležitost:ZprávaAI governance
Anthropic disables Fable and Mythos AI models after U.S. government bars it from giving foreigners access
The directive would even bar Anthropic's own foreign employees from using Fable and Mythos. Anthropic called the government position "a misunderstanding". Zdroj: fortune.com
Důležitost:ZprávaAI governance
Anthropic's Fable Lockdown Raises New Questions About AI Regulation
Anthropic's Fable AI was shut down following a U.S. government directive limiting access to U.S. nationals, exposing growing tensions between AI safety and... Zdroj: forbes.com
Důležitost:ZprávaAGI capabilities
Geoffrey Hinton predicts AI will surpass humans in mathematics within 10 years
The Nobel laureate and 'Godfather of AI' sees math as just another game for machines to master, drawing parallels to chess and Go. Zdroj: cryptobriefing.com
Důležitost:Názorexistential risk
Sam Altman's AGI Shift: From Extinction Warning to Gentle Singularity
Sam Altman co-signed an AI extinction warning in May 2023. By June 2025, he was writing of a 'gentle singularity.' Here is how his public position on AGI... Zdroj: startuphub.ai
Důležitost:ZprávaAI safety/self-improvement risk
Anthropic urges global pause in AI development, flags ‘self-improvement’ risk
The $1 trillion startup warns that artificial-intelligence models are nearing the capability to improve without human intervention. Zdroj: msn.com
Důležitost:Názorinterpretability critique
Reify This
The authors contend that contemporary efforts to render AI systems interpretable rest on a mistake: reification, the process of treating abstractions and... Zdroj: theideasletter.org
Důležitost:Zprávainterpretability/alignment gap
AI Is Advancing Faster Than Our Ability to Understand It, Researchers Warn
While we still can't explain how AI works, algorithms are rapidly learning what makes us tick. And the gap is widening. Zdroj: singularityhub.com
Důležitost:NázorAI governance/corporate structure
Anthropic IPO: Corporate Governance and Capital [In-Depth Analysis] [2026]
Anthropic's IPO governance model prioritizes mission control, LTBT authority, hyperscaler dependency, non-dilutive compute financing, and shareholder... Zdroj: klover.ai
Důležitost:Názorexistential risk framing
Jaron Lanier Frames AI Threat As Human Change
Jaron Lanier, VR pioneer and Microsoft Research scientist, argued that AI's real danger is not machines gaining consciousness but humans adapting themselves... Zdroj: letsdatascience.com
Důležitost:Zprávaexistential risk/governance
Šéf Anthropicu varuje před silou AI – a zároveň vydává nový model
Anthropic spustil model Claude Fable 5 pro veřejnost, zatímco výkonnější Mythos Preview zůstává s omezeným přístupem. CEO Dario Amodei přitom varuje před destabilizačními riziky spojenými s rozvojem AI. Zdroj: cryptobriefing.com
Důležitost:Názorexistential risk
Designérské děti a AI, která se sama zlepšuje – jsme na to připraveni?
Během jediného týdne vědci upravili lidská embrya a Anthropic přiznal, že AI urychluje vlastní vývoj. Obě události by mohly zásadně změnit samotnou podstatu lidství. Zdroj: vox.com