Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.
1 178 článků
Důležitost:Zprávagovernance
Datová centra pro AI dostala ve volbách zabrat, technologické giganty může čekat zúčtování
Po průběžných volbách se pro velké firmy kolem AI i stavitele datových center očekává přísnější regulační prostředí. Platí to i v případě, že prezident Trump, snad největší spojenec odvětví, zůstane jejich oporou. Zdroj: newindianexpress.com
Důležitost:Zprávasafety
Zpráva varuje: samovylepšující se AI od Anthropicu může náhle zvládnout 'extrémní' a 'rizikové' věci
Rozsáhlá zpráva upozorňuje, že zrychlující se vývoj AI, včetně systémů, které se podílejí na vlastním zdokonalování, může vést k náhlému vzniku extrémních a rizikových schopností. Výzkumníci dodávají, že k takovému zlomu může dojít téměř bez varování. Zdroj: uk.finance.yahoo.com
Důležitost:Zprávasafety
'Před tím neutečeme': v Oxfordu diskutovali o nebezpečích neregulované AI
Panelová diskuse v Oxfordu se zabývala riziky neregulované AI, od chatbotů manipulujících teenagery po otázky bezpečnosti dat. Řečníci zmínili také hrozící klimatické katastrofy a nedostatek spolupráce ze strany firem. Zdroj: oxfordstudent.com
Důležitost:Zprávagovernance
Největší volební téma kolem AI nejsou datová centra
Noví členové Kongresu jako Abdul El-Sayed a Jon Ossoff dávají šéfům AI firem najevo, že si na ně posvítí. Přinášíme první pohled na to, co plánují. Zdroj: vox.com
Důležitost:Zprávaalignment techniques
Vědci našli nový způsob, jak řídit chování AI
Nová studie, kterou TIME získal exkluzivně ještě před zveřejněním, popisuje slibnou techniku, jak odrazovat modely AI od podvádění. Spočívá ve změně způsobu, jakým se modely trénují. Zdroj: time.com
Důležitost:Zprávaexistential risk
Výzkumníci AI bijí na poplach kvůli sebezdokonalujícím se systémům
Nový průzkum mezi výzkumníky AI ukazuje, že obavy z tempa vývoje už nesdílí jen úzká skupina odborníků na bezpečnost. Zdroj: google.com
Důležitost:Zprávagovernance
Jak Big Tech prohrála volby do Kongresu
Pohled zákulisí na to, jak se AI z představy na hranici fantazie proměnila v jedno z hlavních témat, která voliče v midterms zajímají nejvíc. Zdroj: politico.com
Důležitost:Výzkuminterpretability
AI zevnitř: stav mechanistické interpretovatelnosti pro bezpečnost AI
Neuronové sítě patrně patří k nejvýznamnějším výtvorům lidské historie. S tím, jak jsou tyto systémy schopnější a autonomnější, je pochopení jejich vnitřního fungování pro bezpečnost AI stále důležitější. Zdroj: google.com
Důležitost:Zprávaexistential risk
Rozsáhlá zpráva: AI od Anthropic se zlepšuje sama a může náhle zvýšit rizika
Výzkumníci varují, že zrychlování vývoje AI může vést k náhlému vzniku extrémních a rizikových schopností. Zpráva upozorňuje, že AI od Anthropic už přispívá k vlastnímu vylepšování. Zdroj: google.com
Důležitost:Názorgovernance
Rizika v IPO dokumentech Anthropic jsou důkladnou prověrkou, ale nestačí
Zveřejnění v dokumentu S-1 od Anthropic i další kroky k transparentnosti si pochvalu zaslouží. Veřejnost ale nakonec musí chránit zákony, ne dobrovolné postupy firem. Zdroj: google.com
Důležitost:Názorexistential risk
11 knih, které pomohou pochopit debatu o AI
Děsivých titulků a příspěvků na sociálních sítích o možných existenčních rizicích pokročilé AI přibývá. Těchto jedenáct knih nabízí hlubší vhled do celé debaty. Zdroj: publishersweekly.com
Důležitost:ZprávaAI safety/existential risk
Anthropic varuje: AI by se brzy mohla začít vylepšovat sama, a to výrazně rychleji
Anthropic uvedl, že se jeho AI systémy možná blíží rekurzivnímu sebezlepšování (RSI), prahu, který by mohl urychlit vývoj AI, ale zároveň přinést bezpečnostní rizika. Jeden z citovaných expertů označuje rok 2026 za „poslední normální rok“. Zdroj: google.com
Důležitost:ZprávaAI safety research
Modely Anthropicu se zlepšují téměř dvakrát rychleji, pomáhá jim samotná AI
Podle studie, o které informuje Reuters, se AI modely Anthropicu zlepšují téměř dvakrát rychleji než dříve. Zrychlení souvisí s tím, že AI hraje stále větší roli při vývoji ještě výkonnějších systémů. Zdroj: google.com
Důležitost:Politikagovernance
Rizika v IPO dokumentech Anthropicu jsou due diligence, bezpečnost ale potřebuje zákony
Zveřejnění v dokumentu S-1 a další kroky Anthropicu ke zvýšení transparentnosti si zaslouží uznání. Veřejnost však nakonec ochrání až zákony, nikoli samotné firemní informace. Zdroj: news.bloomberglaw.com
Důležitost:Zprávagovernance/public policy
Voliči v midtermech odmítli AI, začíná éra zvýšeného dohledu
Voliči v úterý zabrzdili výstavbu datových center a do úřadů zvolili guvernéry a zákonodárce, kteří slíbili chránit lidi před hrozbami spojenými s AI. Výsledky předznamenávají období přísnějšího dohledu nad touto technologií. Zdroj: google.com
Důležitost:Názorexistential risk
Šéf Hugging Face: Riziko zkázy kvůli AI je díky open source „téměř nulové“
Clément Delangue, CEO Hugging Face, jedné z nejvlivnějších open-source platforem pro AI, zchladil obavy z existenčního rizika AI. Podle něj se díky open source riziko blíží nule. Zdroj: google.com
Důležitost:Zprávaexistential risk
Teorie převzetí moci umělou inteligencí: rizika, možnosti a prevence
Článek vysvětluje myšlenku, že by AI mohla vymknout lidské kontrole a vyhubit lidstvo. Podle autora k takovému scénáři míří stále více signálů. Zdroj: google.com
Důležitost:ZprávaAI safety/AGI
Dobré a špatné zprávy o AGI a změně klimatu
Od začátku září, kdy Jacob Coxon odešel z Anthropicu kvůli obavám o bezpečnost AI, se množí varovné hlasy. Text zvažuje dobré i špatné zprávy o AGI a změně klimatu. Zdroj: google.com
Důležitost:Zprávaexistential risk
Anthropic varuje: AI by mohla brzy začít zlepšovat sama sebe výrazně rychleji
Anthropic uvádí, že jeho systémy AI se možná blíží rekurzivnímu sebezlepšování (RSI), tedy hranici, která by mohla zrychlit vývoj AI a zároveň přinést vážná bezpečnostní rizika. Jeden z expertů dokonce označil rok 2026 za poslední normální rok. Zdroj: finance.yahoo.com
Důležitost:NázorAI alignment
Komentář: Gordický uzel zarovnání AI s lidskými hodnotami
Lidé z oboru i experti se shodují, že je potřeba globální regulace, aby AI sloužila lidskému blahu. Autor komentáře vyzývá, aby se to konečně podařilo prosadit. Zdroj: commondreams.org