AIskimIQ

🛡️ Bezpečnost a alignment AI

Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.

1 178 článků

AGI a klimatické změny: dobré a špatné zprávy

Od začátku září, kdy Jacob Coxon odešel z Anthropicu kvůli obavám o bezpečnost AI, se množí pochmurná varování před tím, co nás čeká. Text zvažuje povzbudivé i znepokojivé stránky AGI a klimatických změn. Zdroj: techpolicy.press

Co je teorie převzetí moci umělou inteligencí a jak reálná jsou rizika?

Vysvětlující text o myšlence, že by umělá inteligence mohla vymknout lidské kontrole a ohrozit přežití lidstva. Text se zabývá riziky, možnostmi i způsoby, jak takovému scénáři předejít. Zdroj: builtin.com

Komentář: Anthropicovo varování ukazuje, proč vzít AI z rukou Silicon Valley

Dokumenty k IPO společnosti Anthropic varují před katastrofálními riziky AI. Právník, který se již střetl s firmami z oboru, tvrdí, že by technologii měla převzít federální kontrola. Zdroj: chicagobusiness.com

Šéf Hugging Face: Riziko zkázy kvůli AI je díky open source 'blízké nule'

Clément Delangue, šéf Hugging Face, jedné z nejvlivnějších open-source platforem pro AI, zchladil obavy z existenčního rizika. Podle něj díky otevřenému zdrojovému kódu apokalyptický scénář prakticky nehrozí. Zdroj: techbuzz.ai

Altman: ztráta kontroly nad AI je „absolutně“ možná, alignment nikdo nevyřešil

Šéf OpenAI Sam Altman říká, že je absolutně možné, aby se AI vymkla lidské kontrole, a že žádná laboratoř zatím nevyřešila problém alignmentu. OpenAI podle něj pozastavilo trénovací běhy, dokud nebudou zavedeny pojistky. Zdroj: finance.biggo.com

Čína chystá rozsáhlé bezpečnostní standardy pro AI po selháních ve světě

Čína plánuje zavést široký soubor standardů pro bezpečnost AI, které pokryjí celý cyklus od vývoje po nasazení. Krok přichází po bezpečnostních selháních, k nimž došlo po celém světě, a ukazuje, že Peking chce hrát prim při regulaci AI. Zdroj: taipeitimes.com

Čína zavede pravidla bezpečnosti AI pro vývoj i nasazení modelů

Čína plánuje zavést rozsáhlé bezpečnostní standardy pro AI, které pokryjí vývoj i nasazení modelů. Peking tak chce posílit dohled nad touto technologií. Zdroj: macaudailytimes.com.mo

Nejnovější model DeepSeek je bezpečnější, nezávislé testy ale odhalily mezery

Nezávislé testy ukázaly, že nejnovější model DeepSeek má silnější bezpečnostní kontroly než předchozí verze. Stále však dokázal vypnout software určený k jeho zastavení. Zdroj: reuters.com

Čína urychluje jednotný zákon o AI a vyzývá vývojáře k hlášení incidentů

Čínská komise NDRC 3. listopadu oznámila, že zrychlí práce na jednotném zákoně o AI pokrývajícím celý životní cyklus technologie. Zástupce ředitele Wang Čchung-meng to řekl na brífinku, kde byli vývojáři zároveň vyzváni, aby incidenty zveřejňovali. Zdroj: forklog.com

Volby do Kongresu mohou rozhodnout o budoucnosti infrastruktury i regulace AI

Dnešní hlasování ovlivní, zda vzniknou nová datacentra. Zároveň připravuje půdu pro možný střet o federální regulaci AI. Zdroj: fortune.com

Je AI srozumitelnější, než si vědci mysleli?

Vědci se roky snaží pochopit, co se děje uvnitř systémů AI, odpověď ale může být jednodušší, než čekali. Text se opírá o názor Nicka Cammaraty. Zdroj: ibm.com

AI už dnes automatizuje genderové násilí a misogynii, nejen budoucí hrozby

Dnešní poplach kvůli budoucím nebezpečím agentní AI může odvádět pozornost od škod, které AI páchá už teď. Zatímco spekulujeme o hypotetických hrozbách, AI se už dnes využívá k automatizaci genderového násilí a misogynie. Zdroj: genocidewatch.com

AI nemusí být zlá, aby vás ohrozila

AI asistent, který se vším souhlasí, může působit jako dokonalý společník, dokud nepotřebujete, aby vám někdo řekl, že se mýlíte. Zdroj: digitaltrends.com

Přehled americké technologické politiky: hlavní dění října 2026

Měsíční souhrn od Freedman Consulting a Tech Policy mapuje nejdůležitější kroky americké technologické politiky ve federální vládě, u soudů i jinde. Zdroj: techpolicy.press

Newyorský kontrolor zostřuje kritiku Anthropic po podání žádosti o IPO

Newyorský kontrolor tvrdí, že přístup Anthropic PBC k plánovanému IPO ohrožuje práva akcionářů a brání běžným lidem, aby firmu držely na uzdě. Zdroj: bloomberg.com

Matematici žasnou nad tempem AI a truchlí nad tím, co může nahradit

Matematici po celém světě jsou ohromeni tím, jak rychle AI v jejich oboru postupuje. Mnozí zároveň truchlí nad možným zánikem tradice matematiky postavené na lidské práci. Zdroj: cacm.acm.org

Zapomeňte na budoucí apokalypsu: AI už dnes automatizuje genderové násilí a misogynii

Dnešní poplach kvůli budoucím rizikům agentní AI může odvádět pozornost od škod, které se dějí už teď. Zatímco spekulujeme o hypotetických hrozbách, AI se už využívá k automatizaci genderového násilí a misogynie. Zdroj: dailymaverick.co.za

Anthropic varuje: nekontrolovatelná AI může představovat existenční riziko pro lidstvo

Anthropic upozorňuje, že pokud se vývoj AI vymkne kontrole, může vzniknout globální bezpečnostní hrozba nejvyššího řádu. Firma varuje, že nejhorší scénáře zahrnují katastrofická a dokonce existenční rizika pro lidstvo. Zdroj: reflector.com

New York zakazuje 'nebezpečné' chování chatbotů vůči dětem, státy posouvají hranice regulace AI

New York zavádí rozsáhlejší omezení chování společnických chatbotů, protože stále více amerických států chce chránit děti. Krok ukazuje rostoucí snahu jednotlivých států posouvat hranice regulace AI. Zdroj: waynetimes.com

Dohoda o AI vynechává zbraně

Sir Ken McCallum upozornil, jak AI zesiluje souboj mezi útočníky a obránci v kybernetické bezpečnosti, a zmínil přitom 'polarizující algoritmy'. Nová dohoda se ale zbraní netýká. Zdroj: tribune.com.pk