AIskimIQ

Štítek: Safety

266 článků

Komunita kolem AI safety je čím dál znepokojenější. Je to oprávněné?

Jeden z členů komunity zabývající se bezpečností AI popisuje, že cítí strach, smutek i hněv. Výrok odráží rostoucí obavy v oboru ohledně směřování vývoje AI. Zdroj: google.com

Anthropic zahájil obchodování na Nasdaqu uprostřed obav z dopadů AI

Anthropic ve čtvrtek zahájil obchodování na burze Nasdaq a okamžitě se zařadil mezi nejhodnotnější veřejně obchodované firmy světa. Debut přichází uprostřed obav z ekonomických otřesů a bezpečnostních rizik AI. Zdroj: google.com

Necenzurované AI modely vzkvétají na platformách pro hostování kódu

Modely zbavené bezpečnostního zarovnání (alignmentu) se čile šíří na platformách pro hostování kódu, čímž z původního úsilí vývojářů dělají frašku. Zprávu přináší redaktor Thomas Claburn z The Register. Zdroj: google.com

Pliny the Prompter prý vytvořil jailbreak Claude, který učí prolamovat i jiné AI

Příspěvek z korejské komunity tvrdí, že uživatel Pliny the Prompter vytvořil jailbreakový prompt pro Claude s názvem „godmode". Podle něj prompt Claude navíc naučí, jak jailbreakovat další AI agenty. Zdroj: piresdoza.osiedleakacjowa.pl

Co by investoři měli zvážit před IPO Anthropicu

Adam Irwin ze společnosti Heligan Group upozorňuje na rizika, která by investoři měli před IPO Anthropicu zohlednit. Jde o bezpečnost AI, vojenské využití i správu a řízení firmy. Zdroj: google.com

Esej: proč je „p(doom)“ chybný způsob, jak diskutovat o bezpečnosti AI

Nástup široce použitelných LLM od předních AI firem vyvolal rozsáhlou, sama sebe živící debatu o bezpečnosti. Text kritizuje oblíbené odhady „p(doom)“ jako nevhodný rámec této diskuse. Zdroj: thebreakthrough.org

Komentář: Proč je 'p(doom)' špatný nástroj pro debatu o bezpečnosti AI

Autor tvrdí, že p(doom), zkratka pro odhad pravděpodobnosti katastrofy způsobené AI, je pro diskusi nevhodný. Text reaguje na rekurzivní debatu o bezpečnosti, kterou odstartoval vznik široce použitelných velkých jazykových modelů u předních AI firem. Zdroj: google.com

Helen Tonerová z bývalé rady OpenAI: šéfům AI firem stále nelze věřit

Helen Tonerová, členka rady OpenAI, která odvolala Sama Altmana, tvrdí, že šéfům AI firem se stále nedá slepě důvěřovat. Zabývá se bezpečností a politikou v oblasti AI. Zdroj: reddit.com

Jailbreak nástroj godmode od Pliny the Prompter testován na Claude Sonnet 4

Repozitář dovedností spojený s hermes-agentem od NousResearch uvádí výsledky testů z března 2026 pro nástroj auto_jailbreak od Pliny the Prompter. Testy probíhaly proti modelu Claude Sonnet 4 přes OpenRouter. Zdroj: tessl.io

OpenAI přizvalo nezávislé výzkumníky k hodnocení bezpečnostních rizik AI

OpenAI spolupracuje s nezávislými výzkumníky na zkoumání bezpečnostních rizik AI. Cílem je předcházet škodlivému chování modelů a zlepšit jejich testování. Zdroj: enterpriseai.economictimes.indiatimes.com

Členka správní rady, která vyhodila Altmana: šéfům AI firem stále nelze věřit

Helen Toner, výkonná ředitelka Center for Security and Emerging Technology při Georgetownu, tvrdí, že základní problémy bezpečnosti AI, jako je alignment a kontrola, zůstávají nevyřešené. Podle ní proto nelze jen tak spoléhat na vedení AI firem. Zdroj: finance.biggo.com

Zabezpečení vah modelů Čínu nezastaví, tvrdí šéf Redwood Research

Buck Shlegeris, šéf neziskové organizace Redwood Research zaměřené na AI alignment, odhaduje zhruba třetinovou šanci, že AI firmy v příštích letech vytvoří superinteligenci. Zabezpečení vah modelů podle něj samo o sobě nestačí k tomu, aby Čína nedohnala náskok. Zdroj: finance.biggo.com

Nová studie zkoumá teoretické limity alignmentu jazykových modelů

Alignment jazykových modelů (LM) se snaží přiblížit výstupy modelu lidským preferencím, aniž by oslabil schopnosti základního modelu. Studie se zaměřuje na teoretické hranice toho, kam až tento přístup může dojít. Zdroj: machinelearning.apple.com

Studie zkoumá teoretické meze alignmentu jazykových modelů

Alignment jazykových modelů se snaží přiblížit jejich výstupy lidským preferencím, aniž by oslabil schopnosti základního modelu. Nová práce zkoumá teoretické hranice, kam až lze takové ladění dotáhnout. Zdroj: machinelearning.apple.com

AI bezpečnostní skupiny žalují pět technologických gigantů a žádají zastavení nových modelů

Žaloba tvrdí, že firmy vyvíjejí stále autonomnější systémy, přestože samy přiznávají možná katastrofální rizika. Zdroj: nationalheraldindia.com

Anthropic před IPO: AI zrychluje vlastní výzkum a spouští klíčový bezpečnostní alarm

Nový prospekt k IPO společnosti Anthropic uvádí, že AI už urychluje vlastní výzkum natolik, že to spouští jeden z klíčových interních bezpečnostních alarmů firmy. Informace přichází jen pár dní před plánovaným vstupem na burzu. Zdroj: finance.yahoo.com

AI debata o bezpečnosti zabředla jinam, říká deset expertů. Co je skutečná hrozba?

Deset expertů jsme se zeptali, co nás doopravdy ohrožuje. Podle nich je reálné riziko jaderné katastrofy i důsledky souboje USA a Číny včetně špionáže, zatímco panika kvůli scénáři à la Skynet je zbytečná. Zdroj: wired.com

Trump v pořadu 60 Minutes o bezpečnosti AI a Číně

V rozhovoru pro 60 Minutes Trump uvedl, že rizika spojená s bezpečností AI řeší ministerstvo spravedlnosti, a tvrdil, že Čína nemá „žádná ochranná pravidla“. Zdroj: theverge.com

Pět demokratů, kteří zamíchají washingtonskou debatou o bezpečnosti AI

Vítězství demokratů v midterm volbách přivádí do Kongresu pět zastánců bezpečnosti AI. Jejich nástup naznačuje možný tlak na přísnější regulaci technologického sektoru. Zdroj: google.com

Demokratičtí kandidáti pro rok 2028 jednali v San Francisku s obhájci bezpečnosti AI

JB Pritzker, Rahm Emanuel, Cory Booker a Ro Khanna se v San Francisku sešli s odborníky na bezpečnost AI, píše exkluzivně POLITICO Decoded. Schůzka naznačuje, jak o politice kolem AI přemýšlejí možní demokratičtí uchazeči o prezidentskou nominaci v roce 2028. Zdroj: google.com