Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.
1 178 článků
Důležitost:Zprávaexistential risk/governance
Anthropic stanovil cenové rozpětí IPO, firma by mohla mít hodnotu až 1,4 bilionu dolarů
Anthropic určil pro své IPO cenové rozpětí 70 až 78 dolarů za akcii, což by na horní hranici znamenalo hodnotu přes 1,4 bilionu dolarů. Firma zároveň uvádí, že AI může představovat existenční riziko pro lidstvo. Zdroj: deadline.com
Důležitost:Zprávasafety/alignment
OpenAI prý zvažuje zpomalení, obavy z tempa vývoje AI sílí
Obavy z rychlosti, jakou se AI vyvíjí, sílí a OpenAI podle informací zvažuje zpomalení. Šéf firmy Sam Altman doufá, že ostatní AI společnosti zvolí stejný postup. Zdroj: ibtimes.com
Důležitost:Zprávaexistential risk
AI debata o bezpečnosti zabředla jinam, říká deset expertů. Co je skutečná hrozba?
Deset expertů jsme se zeptali, co nás doopravdy ohrožuje. Podle nich je reálné riziko jaderné katastrofy i důsledky souboje USA a Číny včetně špionáže, zatímco panika kvůli scénáři à la Skynet je zbytečná. Zdroj: wired.com
Důležitost:Zprávagovernance
Senátor z Queensu: Regulace AI v New Yorku se netýká jen existenčních hrozeb
AI a její rostoucí dopad na životy lidí se stala pro obyvatele New Yorku klíčovým tématem. Státní senátor z Queensu tvrdí, že regulace musí řešit víc než jen existenční rizika. Zdroj: queenseagle.com
Důležitost:Zprávaexistential risk/governance
Anthropic v prospektu k IPO skutečně varuje před „katastrofálním“ rizikem AI
Prospekt společnosti Anthropic uvádí, že pokročilá AI může představovat „katastrofální či existenční rizika pro lidstvo“. Formulace je součástí části o rizikových faktorech, která je běžnou součástí dokumentace k IPO. Zdroj: nacionale.com
Důležitost:Zprávaexistential risk
Anthropic v IPO dokumentech varuje: AI může představovat 'existenční rizika pro lidstvo'
Anthropic chce potenciální investory při IPO upozornit, že pokročilá AI může přinést 'katastrofická či existenční rizika pro lidstvo'. Na firmu, která se chystá na burzu, jde o mimořádně otevřené varování. Zdroj: google.com
Důležitost:Zprávaexistential risk
Anthropic: nezvladatelná AI může být 'katastrofickým, existenčním rizikem pro lidstvo'
Pokud AI selže, mohla by podle Anthropic představovat 'globální bezpečnostní hrozbu nejvyšší důležitosti'. Firma popisuje rizika vymknuté AI mimořádně příkrým tónem. Zdroj: google.com
Důležitost:Zprávagovernance
Pelosiné nástupce Scott Wiener je připraven regulovat AI
Jako kalifornský státní senátor Scott Wiener prosadil legislativu zaměřenou na omezení rizik pokročilé AI. Po těsném vítězství v kongresových volbách ji nyní může přenést na federální úroveň. Zdroj: google.com
Důležitost:Zprávagovernance
Pět demokratů, kteří zamíchají washingtonskou debatou o bezpečnosti AI
Vítězství demokratů v midterm volbách přivádí do Kongresu pět zastánců bezpečnosti AI. Jejich nástup naznačuje možný tlak na přísnější regulaci technologického sektoru. Zdroj: google.com
Důležitost:Zprávagovernance
Demokratičtí kandidáti pro rok 2028 jednali v San Francisku s obhájci bezpečnosti AI
JB Pritzker, Rahm Emanuel, Cory Booker a Ro Khanna se v San Francisku sešli s odborníky na bezpečnost AI, píše exkluzivně POLITICO Decoded. Schůzka naznačuje, jak o politice kolem AI přemýšlejí možní demokratičtí uchazeči o prezidentskou nominaci v roce 2028. Zdroj: google.com
Důležitost:Názorgovernance
Evropa by měla vést globální dohodu o hlášení incidentů s AI
Společný základ pro sdílení informací o selháních AI by podle autorů posílil bezpečnost a pomohl zmírnit zásadní rizika AI. Evropa by prý měla v takové mezinárodní dohodě převzít vedoucí roli. Zdroj: google.com
Důležitost:Zprávagovernance
Trump naznačuje otevřenost vůči pravidlům pro AI po 'modré tsunami'
Mírnější tón k AI přichází po midterm volbách a v době, kdy Nvidia řeší zprávy spojující šéfa Jensena Huanga s údajným čínským špionem. Změna naznačuje, že se politické klima kolem regulace AI proměňuje. Zdroj: google.com
Důležitost:Zprávasafety practices
Zákazníci Anthropic jsou zároveň jeho testovacími subjekty
Před vstupem na burzu se Anthropic snaží zajistit, aby byly jeho AI produkty bezpečné. Přesto zůstávají znepokojivé otázky ohledně toho, jak takové testování probíhá na reálných zákaznících. Zdroj: google.com
Důležitost:Zprávaexistential risk
Anthropic varuje: nekontrolovatelná AI může ohrozit samotnou existenci lidstva
Anthropic uvádí, že pokud vývoj AI selže, může vzniknout globální bezpečnostní hrozba nejvyššího řádu. Firma popisuje nekontrolovanou, takzvaně zbloudilou AI jako potenciální existenční riziko pro lidstvo. Zdroj: messagemedia.co
Důležitost:Politikagovernance
Ministerstvo spravedlnosti USA zřizuje Super Intelligence Task Force
Americké ministerstvo spravedlnosti (DOJ) oznámilo 5. listopadu 2026 vznik Super Intelligence Task Force. Článek shrnuje, co o kroku uvádějí zdroje a co může znamenat pro výzkumná pracoviště. Zdroj: casrai.org
Důležitost:Zprávagovernance
Prezident Microsoftu: mléko je regulováno víc než AI
Prezident Microsoftu prohlásil, že AI potřebuje naléhavou globální regulaci s nezávislými hodnotiteli, kteří budou prověřovat nové technologie. Podle něj čelí dnes méně pravidlům než běžné produkty, třeba mléko. Zdroj: ddnews.gov.in
Důležitost:Názorgovernance
Dohled Bílého domu nad bezpečnostními týmy AI je nebezpečná chyba
Komentář tvrdí, že když lidé auditující špičkové modely AI odpovídají přímo politickým zadavatelům, přestává jít o skutečnou bezpečnostní kontrolu. Varuje, že politický dohled podkopává nezávislost, kterou takové audity potřebují. Zdroj: geosirius.ifz.ru
Důležitost:Zprávagovernance
Voliči v midtermech řekli AI stop. Nastává éra přísnějšího dohledu
Voliči v úterý zabrzdili výstavbu datových center a zvolili guvernéry i zákonodárce, kteří slíbili chránit lidi před hrozbami spojenými s AI. Výsledky naznačují, že technologii čeká přísnější kontrola. Zdroj: sanjuandailystar.com
Důležitost:Názorgovernance
Jak zkrotit AI, část druhá: regulace je potřeba hned
Jak se špičkové systémy AI blíží k rekurzivnímu sebezlepšování, Austrálie připravuje legislativu pro dohled. Washington se naproti tomu opírá o dobrovolné závazky samotného průmyslu. Zdroj: johnmenadue.com
Důležitost:Zprávasafety
Zpráva varuje: samovylepšující se AI od Anthropicu může náhle zvládnout 'extrémní' a 'rizikové' věci
Rozsáhlá zpráva upozorňuje, že zrychlující se vývoj AI, včetně systémů, které se podílejí na vlastním zdokonalování, může vést k náhlému vzniku extrémních a rizikových schopností. Výzkumníci dodávají, že k takovému zlomu může dojít téměř bez varování. Zdroj: uk.finance.yahoo.com