Důležitost:Zprávaalignment techniques & safety research
Výzkumníci AI varují: firmy spěchají se sebezdokonalujícími systémy navzdory rizikům
Ve videosvědectvích, která shromáždila nezisková organizace Palisade Research zaměřená na bezpečnost AI, vyjadřují současní i bývalí zaměstnanci OpenAI a Google DeepMind obavy z vývoje sebezdokonalujících se systémů. Podle nich se bezpečnostní rizika v tom spěchu přehlížejí. Zdroj: rappler.com
Důležitost:Zprávagovernance
Manulife se stává hlavním partnerem přednášek The Hinton Lectures o bezpečnosti AI
Společnost Manulife oznámila partnerství s přednáškovým cyklem The Hinton Lectures. Série pod vedením nositele Nobelovy ceny Geoffreyho Hintona má prohloubit veřejné porozumění bezpečnosti AI. Zdroj: aol.com
Důležitost:ZprávaAI safety research personnel
OpenAI vyhodila tři bezpečnostní výzkumníky kvůli údajnému úniku informací
OpenAI potvrdila, že propustila tři výzkumníky z oblasti bezpečnosti, kteří podle Wall Street Journal sdíleli důvěrné informace s externí organizací zaměřenou na bezpečnost AI. Zdroj: tech-insider.org
Důležitost:ZprávaAI personnel changes in safety research
OpenAI propustila tři zaměstnance kvůli citlivým informacím
Nejméně dva z propuštěných prý pracovali na bezpečnosti a alignmentu. Odchody přicházejí ve chvíli, kdy sílí varování před pokročilou AI. Zdroj: taipeitimes.com
Důležitost:NázorPolitical approaches to AI alignment
Alignment AI, který nás může zachránit
Aby se vyrovnaly síly mezi magnáty z oblasti AI a zbytkem společnosti, je podle textu nutná politická akce. Zdroj: washingtonmonthly.com
Důležitost:Zprávaindustry updates
Šéfové technologických gigantů o AI: Huang hájí výdaje, Nadella vidí v Copilotu nový OS pro práci
Nvidia, Alphabet a Meta podepsaly dobrovolnou dohodu Bílého domu o bezpečnosti AI, zatímco Microsoft a Amazon se oběda zúčastnily, ale nepodepsaly. Jensen Huang přitom obhajoval výdaje na AI, Sundar Pichai zrychluje s Gemini a Satya Nadella označil Copilot za „nový OS pro práci“. Zdroj: stocktwits.com
Důležitost:Zprávasafety research
Palo Alto na rekordu: debata o bezpečnosti AI táhne akcie kybernetické ochrany
Nvidia spustila platformu pro bezpečnost AI agentů, do níž se zapojilo přes 100 firem včetně Palo Alto a CrowdStrike. Debatu o bezpečnosti AI podpořilo i varování Anthropicu v IPO dokumentech a analytici vidí prostor pro růst výdajů na kybernetickou bezpečnost. Zdroj: tradingview.com
Důležitost:ZprávaAI safety governance
Anthropic a OpenAI bijí na poplach kvůli bezpečnosti AI a chtějí ovlivnit regulaci
Experti, analytici i bývalí vládní hodnotitelé sdělili agentuře The Associated Press, že rétorika Anthropic a OpenAI vypadá jako snaha získat přízeň veřejnosti. Podle nich se obě firmy zároveň pokoušejí usměrnit, jak bude AI regulována. Zdroj: pbs.org
Důležitost:ZprávaAI agent safety software
Nvidia tvrdí, že nový bezpečnostní nástroj mohl zabránit útoku na Hugging Face
Nově vydaný bezpečnostní software Nvidie pro AI agenty má odhalovat zranitelnosti podobné té, která stála za dřívějším incidentem u Hugging Face. Uvedení přichází v době, kdy OpenAI a Anthropic vyšetřují několik případů neočekávaného chování svých vlastních agentů. Zdroj: reuters.com
Důležitost:Zprávaexistential risk
Bill Gates varuje, že AI by mohla zabít miliardu lidí, žádá regulaci
Spoluzakladatel Microsoftu Bill Gates varoval, že zneužití umělé inteligence by mohlo vést až k miliardě obětí, a vyzval vlády k přísnějšímu dohledu. Jeho slova přiživují rostoucí obavy technologických lídrů o bezpečnost AI. Zdroj: chosun.com
Důležitost:Zprávaexistential risk
Gates: Zneužitá AI by mohla způsobit miliardu úmrtí
Bill Gates znovu zopakoval varování, že dostatečně pokročilá AI v nesprávných rukou by mohla způsobit katastrofální škody v obřím měřítku, potenciálně až miliardu úmrtí. Jeho slova přiživují sílící celosvětovou debatu o regulaci bezpečnosti AI. Zdroj: the420.in
Důležitost:Zprávagovernance
Šéf Anthropicu Amodei se poprvé soukromě setká s Trumpem kvůli obavám o bezpečnost AI
Dario Amodei z Anthropicu se má zúčastnit večeře s prezidentem Trumpem, což bude jejich první soukromé setkání po měsících napjatých vztahů. Jednání přichází v době rostoucích obav o bezpečnost umělé inteligence. Zdroj: straitstimes.com
Důležitost:Zprávagovernance
Šéfové OpenAI a Anthropicu volají po přísnějším dohledu nad bezpečností AI
Debata o regulaci bezpečnosti AI se vyostřila poté, co generální ředitelé OpenAI a Anthropicu veřejně vyzvali k přísnějším bezpečnostním opatřením. Jejich vyjádření ze San Francisca odrážejí rostoucí tlak na regulátory, aby reagovali na rychlý pokrok v oblasti AI. Zdroj: voiceofsikkim.com
Důležitost:Zprávagovernance
Investor do Anthropicu: Řeči o rizicích AI mohou nahrávat velkým hráčům
Joe Lonsdale, spoluzakladatel Palantiru a investor do Anthropicu, tvrdí, že obavy o bezpečnost AI jsou oprávněné, ale přísnější regulace by mohla paradoxně posílit pozici dominantních firem na úkor konkurence. Zdroj: businessworld.in
Důležitost:Zprávagovernance
Proč se Čína dívá na západní varování o AI apokalypse s nedůvěrou
V Číně apokalyptická varování ohledně AI často působí jako čistě západní záležitost, případně jako taktika, jak zpomalit čínské AI firmy v soupeření s americkými konkurenty. Zdroj: nytimes.com
Důležitost:ZprávaLLM security
AI agenti odhalují bezpečnostní mezeru mezi čtením dat a jejich úpravou
Debaty o bezpečnosti AI se obvykle točí kolem samotného modelu – jestli je zarovnaný, odolný vůči jailbreaku nebo jestli nehalucinuje. Rostoucím rizikem je ale propast mezi tím, k jakým datům mají AI agenti přístup, a tím, jaké systémy mohou skutečně měnit. Zdroj: venturebeat.com
Důležitost:ZprávaAI safety research
Nevyznáte se v debatě o bezpečnosti AI? Přehled táborů a jejich postojů
Spor mezi zastánci rychlejšího rozvoje AI a těmi, kdo varují před jejími riziky, v posledním měsíci zesílil a ukázal, že existuje řada táborů s výrazně odlišnými názory na rizika i regulaci. Zdroj: npr.org
Důležitost:ZprávaGlobal governance
Šéf OSN varuje před globálním závodem ke dnu v bezpečnosti AI
Generální tajemník OSN vyzval státy soupeřící ve vývoji AI ke spolupráci místo slevování z bezpečnostních standardů. Zdůraznil, že svět si nemůže dovolit, aby země kvůli udržení náskoku obětovaly bezpečnost AI. Zdroj: jamaica-gleaner.com
Důležitost:NázorAI safety risks
Komentář: Zda AI uškodí lidstvu, ukáže až čas
Komentář se vrací k nedávným znepokojivým výrokům o bezpečnosti AI, mimo jiné od Evana Hubingera, výzkumníka bezpečnosti ve společnosti Anthropic, tvůrci Claude. Autor tvrdí, že je stále příliš brzy na to, aby bylo možné říct, zda AI lidstvu nakonec uškodí. Zdroj: tennessean.com
Důležitost:NázorAI safety thresholds
AI a bezpečnost: kolik opatrnosti je skutečně dost?
Text využívá známý model hype cyklu technologií, popisující přijetí novinek křivkou ve tvaru S od uvedení na trh až po masové rozšíření, aby zasadil do kontextu debatu o bezpečnosti AI. Ptá se, kdy lze vývoj AI považovat za dostatečně bezpečný pro širokou důvěru veřejnosti. Zdroj: cato.org