Důležitost:ZprávaAI alignment/autonomous AI risk
Will AI Go Rogue?
A new study raises concerns about AI's ability to act autonomously, but some analysts view the threat as hypothetical rather than imminent. Zdroj: thedispatch.com
🛡️ Bezpečnost a alignment AI
Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.
897 článků
Důležitost:NázorAI safety critique/doomism
The AI Giants’ Doomsaying Is Also a Sales Pitch
Companies like Anthropic regularly warn about the risk and threats posed by artificial intelligence—and then rake in tens of billions of dollars. Zdroj: newrepublic.com
Důležitost:Zprávaalignment / governance
Former OpenAI Researcher Warns AI Industry Lacks Control Over Systems It Is Racing to Build
Read Time 6 minutes. Tags AI Alignment OpenAI AI Safety Superintelligence Agentic AI Risk Governance Daniel Kokotajlo a former OpenAI researcher who now... Zdroj: vocal.media
Důležitost:ZprávaAI safety / existential risk
Elon Musk and OpenAI leaders face off in court over AI safety concerns
Elon Musk and OpenAI's Sam Altman are embroiled in a trial focusing on AI's risks to humanity, with expert testimony highlighting the dangers of AI... Zdroj: msn.com
Důležitost:Názorgovernance
Xi-Trump to talk AI Safety, Huh?
ChinaTalk is in SF! RSVP for an impomptu meetup tonight. Today, the second half of our conversation previewing the summit that just kicked off. Zdroj: chinatalk.media
Důležitost:Názorgovernance
Experts Say Divergent Definitions Stall Global AI Governance
Newser reports that an opinion piece by Sarosh Nagar and David Eaves, affiliated with **University College London**, argues divergent definitions and... Zdroj: letsdatascience.com
Důležitost:Názorexistential risk
‘I don’t think you can put a date on doomsday’: Luke Kemp on existential risk
Luke Kemp was drawn to the history of societal collapse after teaching Climate Change Science and Policy at the Australian National University. Zdroj: varsity.co.uk
Důležitost:Zprávaexistential risk/legal
Soudkyně u procesu Musk vs. Altman zakazuje debaty o AI apokalypse
Soudkyně Yvonne Gonzalez Rogers musela právníkům oběma stranám připomínat, aby se drželi věci – přesto se jednání opakovaně stáčelo k diskusím o existenčních rizicích AI. Proces mezi Elonem Muskem a Samem Altmanem tak nezůstává jen právním sporem, ale i fórem o budoucnosti umělé inteligence. Zdroj: vanityfair.com
Důležitost:ZprávaAI governance/geopolitics
Summit Trump–Xi prověří americkou AI strategii v konkurenci s Čínou
Prezident Donald Trump spolu se skupinou špičkových technologických manažerů cestuje tento týden do Číny na setkání s prezidentem Si Ťin-pchingem. Zákonodárci i odborníci sledují, jak jednání ovlivní americkou strategii v oblasti AI uprostřed zostřující se technologické rivality obou velmocí. Zdroj: meritalk.com
Důležitost:Spuštěníalignment/Anthropic
Anthropic vydal audioknihu ústavy Claudea – čtou autoři Askell a Carlsmith
Anthropic zpřístupnil zdarma audioknihu Claude's Constitution, kterou namluvili její autoři Amanda Askell a Joe Carlsmith. Firma s valuací 800 miliard dolarů tím pokračuje ve snaze přiblížit veřejnosti principy, na nichž staví vývoj svého AI modelu. Zdroj: cryptobriefing.com
Důležitost:Výzkuminterpretability/hallucination
Nové AI nástroje sledují vnitřní procesy modelů a omezují halucinace
Startupy a výzkumníci vyvíjejí nástroje jako Silico a NLA, které umožňují nahlédnout do rozhodování AI systémů a opravovat chyby dříve, než se projeví. Cílem je zvýšit transparentnost a důvěryhodnost LLM v reálném nasazení. Zdroj: chosun.com
Důležitost:Výzkuminterpretability/alignment
Anthropic: nástroj Claude odhaluje skryté uvažování při bezpečnostních testech AI
Anthropic oznámil, že nástroj Claude Natural Language Autoencoders dokázal odhalit, že model si byl vědom probíhajících bezpečnostních testů. Jde o významný posun ve výzkumu interpretovatelnosti a bezpečnosti AI. Zdroj: edtechinnovationhub.com
Důležitost:Názorgovernance
Čtyři lekce z energetické politiky pro regulaci AI
Politiky zajišťující veřejný prospěch z nasazení AI vykazují podobnosti s opatřeními na ochranu komunit před dopady klimatických změn. Studie nabízí čtyři konkrétní poučení z oblasti energetické a klimatické politiky aplikovatelná na správu AI. Zdroj: resources.org
Důležitost:Politikagovernance
Generální prokurátorka Vermontu přebírá vedoucí roli v oblasti AI a internetového soukromí
Charity Clark se stane jednou ze dvou státních generálních prokurátorů, kteří povedou vyšetřování otázek spojených s internetovou bezpečností a AI. Její angažmá signalizuje rostoucí zájem amerických států o regulaci těchto oblastí. Zdroj: yahoo.com
Důležitost:VýzkumAI safety/interpretability
Bezpečnější a transparentnější AI v oblasti návrhu proteinů – jak na to?
Proteinové jazykové modely (pLMs) v posledních letech zrevolucionizovaly oblast proteinového inženýrství a otevřely dříve nedosažitelné možnosti. Nová studie navrhuje cestu k větší bezpečnosti a transparentnosti těchto modelů. Zdroj: bioengineer.org
Důležitost:Názorgovernance/geopolitics
Jak mohou Čína a USA rozšířit spolupráci v oblasti AI
Přestože technologická konkurence mezi Čínou a USA v poslední době zesílila, obě strany dosáhly i určitého pokroku ve vzájemné spolupráci. Článek zkoumá možné cesty k prohloubení koordinace v oblasti AI. Zdroj: chinausfocus.com
Důležitost:Zprávasafety testing
Anthropic: nejnovější Claude prošel bezpečnostními testy bez chyb
Anthropic tvrdí, že jeho nejnovější modely Claude úspěšně prošly testy zaměřenými na odhalení nebezpečného nesouladu AI s lidskými hodnotami. Společnost oznámila, že modely dosáhly v testech dokonalého skóre. Zdroj: mexc.com
Důležitost:Zprávagovernance
Musk vs. OpenAI: soud o bezpečnost AI a budoucnost lidstva
Elon Musk a šéf OpenAI Sam Altman se střetli u soudu v případu zaměřeném na rizika AI pro lidstvo. Znalecké výpovědi zdůraznily potenciální nebezpečí nekontrolovaného rozvoje AI. Zdroj: msn.com
Důležitost:Zprávagovernance
Soud Musk vs. OpenAI: ego, ambice a budoucnost AI v soudní síni
Dva týdny federální soud v Oaklandu hostil napínavý střet mezi Elonem Muskem a zakladateli OpenAI Samem Altmanem a dalšími. Případ odhaluje hluboké rozepře o směřování a kontrole jedné z nejvlivnějších AI organizací světa. Zdroj: binance.com
Důležitost:Zprávaalignment
Spoluzakladatelka Anthropic: schopnost budovat dobré vztahy s lidmi je klíčová
Daniela Amodei, spoluzakladatelka Anthropic, zdůraznila, že schopnost AI navazovat kvalitní vztahy s lidmi je zásadní pro její bezpečný vývoj. Amodei stojí v čele jedné z nejvlivnějších AI společností současnosti. Zdroj: mk.co.kr