Komunita kolem AI safety je čím dál znepokojenější. Je to oprávněné?
Jeden z členů komunity zabývající se bezpečností AI popisuje, že cítí strach, smutek i hněv. Výrok odráží rostoucí obavy v oboru ohledně směřování vývoje AI. Zdroj: google.com
266 článků
Jeden z členů komunity zabývající se bezpečností AI popisuje, že cítí strach, smutek i hněv. Výrok odráží rostoucí obavy v oboru ohledně směřování vývoje AI. Zdroj: google.com
Anthropic ve čtvrtek zahájil obchodování na burze Nasdaq a okamžitě se zařadil mezi nejhodnotnější veřejně obchodované firmy světa. Debut přichází uprostřed obav z ekonomických otřesů a bezpečnostních rizik AI. Zdroj: google.com
Modely zbavené bezpečnostního zarovnání (alignmentu) se čile šíří na platformách pro hostování kódu, čímž z původního úsilí vývojářů dělají frašku. Zprávu přináší redaktor Thomas Claburn z The Register. Zdroj: google.com
Příspěvek z korejské komunity tvrdí, že uživatel Pliny the Prompter vytvořil jailbreakový prompt pro Claude s názvem „godmode". Podle něj prompt Claude navíc naučí, jak jailbreakovat další AI agenty. Zdroj: piresdoza.osiedleakacjowa.pl
Adam Irwin ze společnosti Heligan Group upozorňuje na rizika, která by investoři měli před IPO Anthropicu zohlednit. Jde o bezpečnost AI, vojenské využití i správu a řízení firmy. Zdroj: google.com
Nástup široce použitelných LLM od předních AI firem vyvolal rozsáhlou, sama sebe živící debatu o bezpečnosti. Text kritizuje oblíbené odhady „p(doom)“ jako nevhodný rámec této diskuse. Zdroj: thebreakthrough.org
Autor tvrdí, že p(doom), zkratka pro odhad pravděpodobnosti katastrofy způsobené AI, je pro diskusi nevhodný. Text reaguje na rekurzivní debatu o bezpečnosti, kterou odstartoval vznik široce použitelných velkých jazykových modelů u předních AI firem. Zdroj: google.com
Helen Tonerová, členka rady OpenAI, která odvolala Sama Altmana, tvrdí, že šéfům AI firem se stále nedá slepě důvěřovat. Zabývá se bezpečností a politikou v oblasti AI. Zdroj: reddit.com
Repozitář dovedností spojený s hermes-agentem od NousResearch uvádí výsledky testů z března 2026 pro nástroj auto_jailbreak od Pliny the Prompter. Testy probíhaly proti modelu Claude Sonnet 4 přes OpenRouter. Zdroj: tessl.io
OpenAI spolupracuje s nezávislými výzkumníky na zkoumání bezpečnostních rizik AI. Cílem je předcházet škodlivému chování modelů a zlepšit jejich testování. Zdroj: enterpriseai.economictimes.indiatimes.com
Helen Toner, výkonná ředitelka Center for Security and Emerging Technology při Georgetownu, tvrdí, že základní problémy bezpečnosti AI, jako je alignment a kontrola, zůstávají nevyřešené. Podle ní proto nelze jen tak spoléhat na vedení AI firem. Zdroj: finance.biggo.com
Buck Shlegeris, šéf neziskové organizace Redwood Research zaměřené na AI alignment, odhaduje zhruba třetinovou šanci, že AI firmy v příštích letech vytvoří superinteligenci. Zabezpečení vah modelů podle něj samo o sobě nestačí k tomu, aby Čína nedohnala náskok. Zdroj: finance.biggo.com
Alignment jazykových modelů (LM) se snaží přiblížit výstupy modelu lidským preferencím, aniž by oslabil schopnosti základního modelu. Studie se zaměřuje na teoretické hranice toho, kam až tento přístup může dojít. Zdroj: machinelearning.apple.com
Alignment jazykových modelů se snaží přiblížit jejich výstupy lidským preferencím, aniž by oslabil schopnosti základního modelu. Nová práce zkoumá teoretické hranice, kam až lze takové ladění dotáhnout. Zdroj: machinelearning.apple.com
Žaloba tvrdí, že firmy vyvíjejí stále autonomnější systémy, přestože samy přiznávají možná katastrofální rizika. Zdroj: nationalheraldindia.com
Nový prospekt k IPO společnosti Anthropic uvádí, že AI už urychluje vlastní výzkum natolik, že to spouští jeden z klíčových interních bezpečnostních alarmů firmy. Informace přichází jen pár dní před plánovaným vstupem na burzu. Zdroj: finance.yahoo.com
Deset expertů jsme se zeptali, co nás doopravdy ohrožuje. Podle nich je reálné riziko jaderné katastrofy i důsledky souboje USA a Číny včetně špionáže, zatímco panika kvůli scénáři à la Skynet je zbytečná. Zdroj: wired.com
V rozhovoru pro 60 Minutes Trump uvedl, že rizika spojená s bezpečností AI řeší ministerstvo spravedlnosti, a tvrdil, že Čína nemá „žádná ochranná pravidla“. Zdroj: theverge.com
Vítězství demokratů v midterm volbách přivádí do Kongresu pět zastánců bezpečnosti AI. Jejich nástup naznačuje možný tlak na přísnější regulaci technologického sektoru. Zdroj: google.com
JB Pritzker, Rahm Emanuel, Cory Booker a Ro Khanna se v San Francisku sešli s odborníky na bezpečnost AI, píše exkluzivně POLITICO Decoded. Schůzka naznačuje, jak o politice kolem AI přemýšlejí možní demokratičtí uchazeči o prezidentskou nominaci v roce 2028. Zdroj: google.com