AIskimIQ

Denní přehled zpráv z AI & technologií

Archiv/safety

Štítek: Safety

175 článků

Důležitost:Zprávaalignment techniques & safety research

Výzkumníci AI varují: firmy spěchají se sebezdokonalujícími systémy navzdory rizikům

Ve videosvědectvích, která shromáždila nezisková organizace Palisade Research zaměřená na bezpečnost AI, vyjadřují současní i bývalí zaměstnanci OpenAI a Google DeepMind obavy z vývoje sebezdokonalujících se systémů. Podle nich se bezpečnostní rizika v tom spěchu přehlížejí. Zdroj: rappler.com

Důležitost:Zprávagovernance

Manulife se stává hlavním partnerem přednášek The Hinton Lectures o bezpečnosti AI

Společnost Manulife oznámila partnerství s přednáškovým cyklem The Hinton Lectures. Série pod vedením nositele Nobelovy ceny Geoffreyho Hintona má prohloubit veřejné porozumění bezpečnosti AI. Zdroj: aol.com

Důležitost:ZprávaAI safety research personnel

OpenAI vyhodila tři bezpečnostní výzkumníky kvůli údajnému úniku informací

OpenAI potvrdila, že propustila tři výzkumníky z oblasti bezpečnosti, kteří podle Wall Street Journal sdíleli důvěrné informace s externí organizací zaměřenou na bezpečnost AI. Zdroj: tech-insider.org

Důležitost:ZprávaAI personnel changes in safety research

OpenAI propustila tři zaměstnance kvůli citlivým informacím

Nejméně dva z propuštěných prý pracovali na bezpečnosti a alignmentu. Odchody přicházejí ve chvíli, kdy sílí varování před pokročilou AI. Zdroj: taipeitimes.com

Důležitost:NázorPolitical approaches to AI alignment

Alignment AI, který nás může zachránit

Aby se vyrovnaly síly mezi magnáty z oblasti AI a zbytkem společnosti, je podle textu nutná politická akce. Zdroj: washingtonmonthly.com

Důležitost:Zprávaindustry updates

Šéfové technologických gigantů o AI: Huang hájí výdaje, Nadella vidí v Copilotu nový OS pro práci

Nvidia, Alphabet a Meta podepsaly dobrovolnou dohodu Bílého domu o bezpečnosti AI, zatímco Microsoft a Amazon se oběda zúčastnily, ale nepodepsaly. Jensen Huang přitom obhajoval výdaje na AI, Sundar Pichai zrychluje s Gemini a Satya Nadella označil Copilot za „nový OS pro práci“. Zdroj: stocktwits.com

Důležitost:Zprávasafety research

Palo Alto na rekordu: debata o bezpečnosti AI táhne akcie kybernetické ochrany

Nvidia spustila platformu pro bezpečnost AI agentů, do níž se zapojilo přes 100 firem včetně Palo Alto a CrowdStrike. Debatu o bezpečnosti AI podpořilo i varování Anthropicu v IPO dokumentech a analytici vidí prostor pro růst výdajů na kybernetickou bezpečnost. Zdroj: tradingview.com

Důležitost:ZprávaAI safety governance

Anthropic a OpenAI bijí na poplach kvůli bezpečnosti AI a chtějí ovlivnit regulaci

Experti, analytici i bývalí vládní hodnotitelé sdělili agentuře The Associated Press, že rétorika Anthropic a OpenAI vypadá jako snaha získat přízeň veřejnosti. Podle nich se obě firmy zároveň pokoušejí usměrnit, jak bude AI regulována. Zdroj: pbs.org

Důležitost:ZprávaAI agent safety software

Nvidia tvrdí, že nový bezpečnostní nástroj mohl zabránit útoku na Hugging Face

Nově vydaný bezpečnostní software Nvidie pro AI agenty má odhalovat zranitelnosti podobné té, která stála za dřívějším incidentem u Hugging Face. Uvedení přichází v době, kdy OpenAI a Anthropic vyšetřují několik případů neočekávaného chování svých vlastních agentů. Zdroj: reuters.com

Důležitost:Zprávaexistential risk

Bill Gates varuje, že AI by mohla zabít miliardu lidí, žádá regulaci

Spoluzakladatel Microsoftu Bill Gates varoval, že zneužití umělé inteligence by mohlo vést až k miliardě obětí, a vyzval vlády k přísnějšímu dohledu. Jeho slova přiživují rostoucí obavy technologických lídrů o bezpečnost AI. Zdroj: chosun.com

Důležitost:Zprávaexistential risk

Gates: Zneužitá AI by mohla způsobit miliardu úmrtí

Bill Gates znovu zopakoval varování, že dostatečně pokročilá AI v nesprávných rukou by mohla způsobit katastrofální škody v obřím měřítku, potenciálně až miliardu úmrtí. Jeho slova přiživují sílící celosvětovou debatu o regulaci bezpečnosti AI. Zdroj: the420.in

Důležitost:Zprávagovernance

Šéf Anthropicu Amodei se poprvé soukromě setká s Trumpem kvůli obavám o bezpečnost AI

Dario Amodei z Anthropicu se má zúčastnit večeře s prezidentem Trumpem, což bude jejich první soukromé setkání po měsících napjatých vztahů. Jednání přichází v době rostoucích obav o bezpečnost umělé inteligence. Zdroj: straitstimes.com

Důležitost:Zprávagovernance

Šéfové OpenAI a Anthropicu volají po přísnějším dohledu nad bezpečností AI

Debata o regulaci bezpečnosti AI se vyostřila poté, co generální ředitelé OpenAI a Anthropicu veřejně vyzvali k přísnějším bezpečnostním opatřením. Jejich vyjádření ze San Francisca odrážejí rostoucí tlak na regulátory, aby reagovali na rychlý pokrok v oblasti AI. Zdroj: voiceofsikkim.com

Důležitost:Zprávagovernance

Investor do Anthropicu: Řeči o rizicích AI mohou nahrávat velkým hráčům

Joe Lonsdale, spoluzakladatel Palantiru a investor do Anthropicu, tvrdí, že obavy o bezpečnost AI jsou oprávněné, ale přísnější regulace by mohla paradoxně posílit pozici dominantních firem na úkor konkurence. Zdroj: businessworld.in

Důležitost:Zprávagovernance

Proč se Čína dívá na západní varování o AI apokalypse s nedůvěrou

V Číně apokalyptická varování ohledně AI často působí jako čistě západní záležitost, případně jako taktika, jak zpomalit čínské AI firmy v soupeření s americkými konkurenty. Zdroj: nytimes.com

Důležitost:ZprávaLLM security

AI agenti odhalují bezpečnostní mezeru mezi čtením dat a jejich úpravou

Debaty o bezpečnosti AI se obvykle točí kolem samotného modelu – jestli je zarovnaný, odolný vůči jailbreaku nebo jestli nehalucinuje. Rostoucím rizikem je ale propast mezi tím, k jakým datům mají AI agenti přístup, a tím, jaké systémy mohou skutečně měnit. Zdroj: venturebeat.com

Důležitost:ZprávaAI safety research

Nevyznáte se v debatě o bezpečnosti AI? Přehled táborů a jejich postojů

Spor mezi zastánci rychlejšího rozvoje AI a těmi, kdo varují před jejími riziky, v posledním měsíci zesílil a ukázal, že existuje řada táborů s výrazně odlišnými názory na rizika i regulaci. Zdroj: npr.org

Důležitost:ZprávaGlobal governance

Šéf OSN varuje před globálním závodem ke dnu v bezpečnosti AI

Generální tajemník OSN vyzval státy soupeřící ve vývoji AI ke spolupráci místo slevování z bezpečnostních standardů. Zdůraznil, že svět si nemůže dovolit, aby země kvůli udržení náskoku obětovaly bezpečnost AI. Zdroj: jamaica-gleaner.com

Důležitost:NázorAI safety risks

Komentář: Zda AI uškodí lidstvu, ukáže až čas

Komentář se vrací k nedávným znepokojivým výrokům o bezpečnosti AI, mimo jiné od Evana Hubingera, výzkumníka bezpečnosti ve společnosti Anthropic, tvůrci Claude. Autor tvrdí, že je stále příliš brzy na to, aby bylo možné říct, zda AI lidstvu nakonec uškodí. Zdroj: tennessean.com

Důležitost:NázorAI safety thresholds

AI a bezpečnost: kolik opatrnosti je skutečně dost?

Text využívá známý model hype cyklu technologií, popisující přijetí novinek křivkou ve tvaru S od uvedení na trh až po masové rozšíření, aby zasadil do kontextu debatu o bezpečnosti AI. Ptá se, kdy lze vývoj AI považovat za dostatečně bezpečný pro širokou důvěru veřejnosti. Zdroj: cato.org