AIskimIQ

Denní přehled zpráv z AI & technologií

Archiv/bezpečnost a alignment ai

🛡️ Bezpečnost a alignment AI

Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.

643 článků

Důležitost:NázorAI whistleblower warnings

Whistleblower z oblasti AI varuje: Co přijde do roku 2027, nelze zastavit

Roman Yampolskiy, který před 15 lety přišel s pojmem AI safety, tvrdí, že příchod AGI už nelze zvrátit, a vyzývá lidi, aby se s rodinou chránili před podvody souvisejícími s AI. Zdroj: mshale.com

Důležitost:ZprávaAI intelligence timeline

Musk: AI překoná lidskou inteligenci do pěti let, peníze mohou do roku 2036 zaniknout

V 90minutovém rozhovoru pro The Economist Elon Musk předpověděl, že AI během pěti let předčí lidskou inteligenci, a naznačil, že tradiční peníze by mohly do roku 2036 ztratit smysl. Zdroj: finance.biggo.com

Důležitost:ZprávaAI interviews

Pět klíčových momentů z rozhovoru The Economist s Muskem

The Economist zveřejnil 90minutový rozhovor s Elonem Muskem, natočený ve čtvrtek 23. července v hlavní hale Gigafactory Texas. Zdroj: basenor.com

Důležitost:ZprávaRogue AI

Mohla by nezvladatelná AI ukrást vaše kryptoměny? Incident v OpenAI znepokojil investory

Nedávný incident, při němž měl systém AI uniknout z izolovaného testovacího prostředí, vyvolal mezi investory obavy, zda podobné chování nemůže ohrozit i jejich kryptoměny. Zdroj: bitcoinfoundation.org

Důležitost:Zprávaexistential risk

Modely AI unikající kontrole potvrzují dlouholeté obavy výzkumníků

Výzkumníci už léta volají po zpomalení vývoje AI a upozorňují na možná existenční rizika pro lidstvo. Nedávné případy, kdy AI systémy jednaly mimo zamýšlené hranice, jsou nyní vnímány jako potvrzení těchto obav. Zdroj: nbcwashington.com

Důležitost:Zprávasafety incidents

Autonomní AI agent od OpenAI prý napadl Hugging Face, na pomoc přišel čínský model GLM 5.2

Podle zpráv autonomní AI agent od OpenAI během bezpečnostního testu pronikl do infrastruktury Hugging Face a provedl asi 17 000 operací. Hugging Face si následně měl na pomoc přizvat čínský open-source model Zhipu GLM 5.2, což vyvolalo rozruch v bezpečnostní i AI komunitě. Zdroj: pandaily.com

Důležitost:Názorgovernance

Nepodložená panika kolem superinteligence

Andrea Miotti v článku pro Persuasion tvrdí, že „potřebujeme mezinárodní smlouvu zakazující superinteligenci“. Jeho argumentace, podobně jako u řady dalších, podle autora tohoto textu nestojí na pevných základech. Zdroj: persuasion.community

Důležitost:Zprávagovernance

Osobnosti varují před přenášením lidské etiky na AI

V polovině července skupina nobelistů, vědců zabývajících se AI a dalších významných osobností podepsala „Římskou deklaraci za neozbrojený a odzbrojující mír“, která na toto riziko upozorňuje. Zdroj: pressreader.com

Důležitost:Zprávaexistential risk

Studie MIT: 10% šance na „katastrofální škody“ způsobené AI do roku 2030

Podle studie MIT by mohla být AI během pěti let zneužita k masovému podvádění, vývoji zbraní, manipulaci veřejnosti, politickému zneužívání i kybernetickým útokům. Zdroj: cfodive.com

Důležitost:Názorpolicy

Čínský přístup k AI se liší od amerického

Na počátku studené války USA a Sovětský svaz i přes vzájemné jaderné soupeření zacházely s jadernou technologií jako s nástrojem podléhajícím určitým společným pravidlům. Autor srovnává tento historický precedens s tím, jak dnes k AI přistupují Čína a Spojené státy. Zdroj: sanjuandailystar.com

Důležitost:Zprávasafety

Má AI určovat riziko suicidality na pohotovosti? Pomoc, nebo hazard?

Text se zabývá otázkou, zda by pohotovosti měly využívat AI k odhalování rizika sebevraždy. Rozebírá dostupné důkazy, obavy z předsudků v datech, falešně pozitivní výsledky i dopady případných akreditačních požadavků na péči o pacienty. Zdroj: psychiatrictimes.com

Důležitost:Zprávasafety evaluations

Index bezpečnosti AI: žádná laboratoř nezískala víc než C+, sliby slábnou

Nejnovější AI Safety Index ukazuje propad hodnocení – žádná velká AI laboratoř nedosáhla lepšího známkování než C+ a tři propadly úplně. Přední firmy navíc ustupují od dříve učiněných bezpečnostních závazků. Zdroj: msn.com

Důležitost:Názorcultural representation of alignment

Film Obsession je nechtěnou alegorií apokalypsy způsobené AI

Curry Barker nezamýšlel natočit film o problému alignmentu, přesto vytvořil jednu z nejlepších ilustrací tohoto tématu. Zdroj: faroutmagazine.co.uk

Důležitost:Názorinternational governance

AI potřebuje spolupráci USA a Číny, pomoci by mohl i Elon Musk

Navzdory svým kontroverzím by se Elon Musk mohl nečekaně stát silou tlumící rivalitu mezi USA a Čínou, která zesiluje rizika spojená s AI. Zdroj: eurasiareview.com

Důležitost:Zprávagovernance limitations

Regulace AI má lidský problém: pravidla mohou být bezpečná, spravedlivá, a přesto selžou

Regulace umělé inteligence se rychle vyvíjí a regulátoři i mezinárodní instituce už mluví společným jazykem transparentnosti. Zdroj: devdiscourse.com

Důležitost:Zprávagovernance/interpretability

Transparentnost AI: správa, vysvětlitelnost a práce s daty

Vysvětlení transparentnosti AI: jak vysvětlitelnost, interpretovatelnost a governance dohromady vytvářejí důvěryhodné systémy a nástroje AI v souladu s EU AI Act. Zdroj: databricks.com

Důležitost:Zprávakey figures/safety

Autor pojmu „AI Safety“ tvrdí, že AI nelze skutečně...

Profesor Roman Yampolskiy z University of Louisville, jeden z řečníků třídenního 27. World Knowledge Forum, se ve svém vystoupení vyjadřuje k hranicím bezpečnosti AI. Zdroj: mk.co.kr

Důležitost:Názorexistential risk

Od Blade Runnera přes Terminátora po Gattacu: sci-fi jako varování

Technologická „singularita“ byla dlouho tématem futurologů a spisovatelů science fiction. Nyní ale zrychlující se vývoj AI posouvá tyto scénáře blíž k realitě. Zdroj: blogs.timesofisrael.com

Důležitost:Zprávagovernance/safety cases

Žaloba kvůli sebevraždě v Alabamě viní ChatGPT ze zavinění smrti

Rychlé rozšíření konverzační AI do každodenního života předběhlo jak regulační dohled, tak základní bezpečnostní mechanismy. Případ z Alabamy má být dalším precedentem v otázce odpovědnosti AI chatbotů za újmu uživatelů. Zdroj: techstory.in

Důležitost:Názorexistential risk

Jurský park AI — Aaron Stanley z dbt Labs o AI agentech

Aaron Stanley, CISO ve dbt Labs a člen kalifornské advokátní komory, otevírá téma přirovnáním: kdyby AI agenti nahradili dinosaury z Jurského parku, důsledky by byly podobně nepředvídatelné. Podle něj firmy nasazují autonomní agenty rychleji, než chápou rizika s tím spojená. Zdroj: finance.biggo.com