AIskimIQ

🛡️ Bezpečnost a alignment AI

Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.

1 178 článků

Anthropic stanovil cenové rozpětí IPO, firma by mohla mít hodnotu až 1,4 bilionu dolarů

Anthropic určil pro své IPO cenové rozpětí 70 až 78 dolarů za akcii, což by na horní hranici znamenalo hodnotu přes 1,4 bilionu dolarů. Firma zároveň uvádí, že AI může představovat existenční riziko pro lidstvo. Zdroj: deadline.com

OpenAI prý zvažuje zpomalení, obavy z tempa vývoje AI sílí

Obavy z rychlosti, jakou se AI vyvíjí, sílí a OpenAI podle informací zvažuje zpomalení. Šéf firmy Sam Altman doufá, že ostatní AI společnosti zvolí stejný postup. Zdroj: ibtimes.com

AI debata o bezpečnosti zabředla jinam, říká deset expertů. Co je skutečná hrozba?

Deset expertů jsme se zeptali, co nás doopravdy ohrožuje. Podle nich je reálné riziko jaderné katastrofy i důsledky souboje USA a Číny včetně špionáže, zatímco panika kvůli scénáři à la Skynet je zbytečná. Zdroj: wired.com

Senátor z Queensu: Regulace AI v New Yorku se netýká jen existenčních hrozeb

AI a její rostoucí dopad na životy lidí se stala pro obyvatele New Yorku klíčovým tématem. Státní senátor z Queensu tvrdí, že regulace musí řešit víc než jen existenční rizika. Zdroj: queenseagle.com

Anthropic v prospektu k IPO skutečně varuje před „katastrofálním“ rizikem AI

Prospekt společnosti Anthropic uvádí, že pokročilá AI může představovat „katastrofální či existenční rizika pro lidstvo“. Formulace je součástí části o rizikových faktorech, která je běžnou součástí dokumentace k IPO. Zdroj: nacionale.com

Anthropic v IPO dokumentech varuje: AI může představovat 'existenční rizika pro lidstvo'

Anthropic chce potenciální investory při IPO upozornit, že pokročilá AI může přinést 'katastrofická či existenční rizika pro lidstvo'. Na firmu, která se chystá na burzu, jde o mimořádně otevřené varování. Zdroj: google.com

Anthropic: nezvladatelná AI může být 'katastrofickým, existenčním rizikem pro lidstvo'

Pokud AI selže, mohla by podle Anthropic představovat 'globální bezpečnostní hrozbu nejvyšší důležitosti'. Firma popisuje rizika vymknuté AI mimořádně příkrým tónem. Zdroj: google.com

Pelosiné nástupce Scott Wiener je připraven regulovat AI

Jako kalifornský státní senátor Scott Wiener prosadil legislativu zaměřenou na omezení rizik pokročilé AI. Po těsném vítězství v kongresových volbách ji nyní může přenést na federální úroveň. Zdroj: google.com

Pět demokratů, kteří zamíchají washingtonskou debatou o bezpečnosti AI

Vítězství demokratů v midterm volbách přivádí do Kongresu pět zastánců bezpečnosti AI. Jejich nástup naznačuje možný tlak na přísnější regulaci technologického sektoru. Zdroj: google.com

Demokratičtí kandidáti pro rok 2028 jednali v San Francisku s obhájci bezpečnosti AI

JB Pritzker, Rahm Emanuel, Cory Booker a Ro Khanna se v San Francisku sešli s odborníky na bezpečnost AI, píše exkluzivně POLITICO Decoded. Schůzka naznačuje, jak o politice kolem AI přemýšlejí možní demokratičtí uchazeči o prezidentskou nominaci v roce 2028. Zdroj: google.com

Evropa by měla vést globální dohodu o hlášení incidentů s AI

Společný základ pro sdílení informací o selháních AI by podle autorů posílil bezpečnost a pomohl zmírnit zásadní rizika AI. Evropa by prý měla v takové mezinárodní dohodě převzít vedoucí roli. Zdroj: google.com

Trump naznačuje otevřenost vůči pravidlům pro AI po 'modré tsunami'

Mírnější tón k AI přichází po midterm volbách a v době, kdy Nvidia řeší zprávy spojující šéfa Jensena Huanga s údajným čínským špionem. Změna naznačuje, že se politické klima kolem regulace AI proměňuje. Zdroj: google.com

Zákazníci Anthropic jsou zároveň jeho testovacími subjekty

Před vstupem na burzu se Anthropic snaží zajistit, aby byly jeho AI produkty bezpečné. Přesto zůstávají znepokojivé otázky ohledně toho, jak takové testování probíhá na reálných zákaznících. Zdroj: google.com

Anthropic varuje: nekontrolovatelná AI může ohrozit samotnou existenci lidstva

Anthropic uvádí, že pokud vývoj AI selže, může vzniknout globální bezpečnostní hrozba nejvyššího řádu. Firma popisuje nekontrolovanou, takzvaně zbloudilou AI jako potenciální existenční riziko pro lidstvo. Zdroj: messagemedia.co

Ministerstvo spravedlnosti USA zřizuje Super Intelligence Task Force

Americké ministerstvo spravedlnosti (DOJ) oznámilo 5. listopadu 2026 vznik Super Intelligence Task Force. Článek shrnuje, co o kroku uvádějí zdroje a co může znamenat pro výzkumná pracoviště. Zdroj: casrai.org

Prezident Microsoftu: mléko je regulováno víc než AI

Prezident Microsoftu prohlásil, že AI potřebuje naléhavou globální regulaci s nezávislými hodnotiteli, kteří budou prověřovat nové technologie. Podle něj čelí dnes méně pravidlům než běžné produkty, třeba mléko. Zdroj: ddnews.gov.in

Dohled Bílého domu nad bezpečnostními týmy AI je nebezpečná chyba

Komentář tvrdí, že když lidé auditující špičkové modely AI odpovídají přímo politickým zadavatelům, přestává jít o skutečnou bezpečnostní kontrolu. Varuje, že politický dohled podkopává nezávislost, kterou takové audity potřebují. Zdroj: geosirius.ifz.ru

Voliči v midtermech řekli AI stop. Nastává éra přísnějšího dohledu

Voliči v úterý zabrzdili výstavbu datových center a zvolili guvernéry i zákonodárce, kteří slíbili chránit lidi před hrozbami spojenými s AI. Výsledky naznačují, že technologii čeká přísnější kontrola. Zdroj: sanjuandailystar.com

Jak zkrotit AI, část druhá: regulace je potřeba hned

Jak se špičkové systémy AI blíží k rekurzivnímu sebezlepšování, Austrálie připravuje legislativu pro dohled. Washington se naproti tomu opírá o dobrovolné závazky samotného průmyslu. Zdroj: johnmenadue.com

Zpráva varuje: samovylepšující se AI od Anthropicu může náhle zvládnout 'extrémní' a 'rizikové' věci

Rozsáhlá zpráva upozorňuje, že zrychlující se vývoj AI, včetně systémů, které se podílejí na vlastním zdokonalování, může vést k náhlému vzniku extrémních a rizikových schopností. Výzkumníci dodávají, že k takovému zlomu může dojít téměř bez varování. Zdroj: uk.finance.yahoo.com