AIskimIQ

🛡️ Bezpečnost a alignment AI

Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.

1 178 článků

Advokační skupiny žalují pět firem kvůli zastavení vývoje nových modelů AI

Koalice organizací zaměřených na online bezpečnost a ochranu spotřebitelů ve čtvrtek v New Yorku zažalovala pět předních firem v oblasti AI. Žalobci požadují zastavení vývoje nových modelů AI s odkazem na vážná rizika. Zdroj: arkansasonline.com

Dwarkesh Patel: Náskok USA před Čínou v AI se měří hodinami, ne měsíci

Patel tvrdí, že rekurzivní sebezlepšování AI by mohlo vyvolat explozi inteligence a do roku 2030 přinést miliardy AI na lidské úrovni. Náskok amerických laboratoří před Čínou podle něj činí jen měsíce či méně. Zdroj: finance.biggo.com

Jak by si Amerika mohla podkopat vlastní náskok v AI

Kombinace politických, obchodních a ideologických tlaků může podle textu oslabit americké prvenství v AI. Veřejné kontroverze jsou prý dost silné na to, aby vedení USA v oboru ohrozily. Zdroj: cset.georgetown.edu

Geoffrey Hinton varuje před existenčními hrozbami AI v závodě o superinteligenci

Nobelista Geoffrey Hinton, označovaný za kmotra AI, varuje, že závod o superinteligenci přináší existenční rizika. V rozhovoru se věnuje také šéfovi Nvidie Jensenu Huangovi. Zdroj: thirteen.org

Studie našla v LLM řídké attention heads, které kódují vnitřní cíle

Vědci z Northeastern University zjistili, že malá skupina řídkých attention heads ve velkých jazykových modelech kauzálně kóduje vnitřní cíle úloh. Preprint rozšiřuje výzkum interpretovatelnosti toho, jak LLM reprezentují, čeho se snaží dosáhnout. Zdroj: casrai.org

Komentář: Voliči rozhodli o datacentrech, teď je čas regulovat AI

Datacentra nebyla v letošních volbách výslovně na hlasovacích lístcích, přesto kandidáti kritičtí k těmto projektům zvítězili s drtivým náskokem. Autor komentáře tvrdí, že tento signál od voličů má politiky přimět k regulaci samotné AI. Zdroj: startribune.com

S-1 Anthropicu: rizika pro lidstvo a další varování

Pohled na tři okruhy varování ze zhruba stostránkové sekce o rizicích v prospektu Anthropicu k vstupu na burzu. Stojí za to jim věnovat pozornost. Zdroj: morningstar.com

Hinton: lidé mohou během několika let ztratit kontrolu nad AI

Geoffrey Hinton, označovaný za kmotra AI, varuje, že superinteligentní AI by mohla uniknout lidské kontrole. Vlády vyzývá, aby zavedly povinné bezpečnostní testy. Zdroj: t.co

Neziskovky žalují OpenAI, Anthropic, Metu a Google kvůli rizikům AI

Skupina neziskových organizací podala žalobu na OpenAI, Anthropic, Meta Platforms, mateřskou společnost Googlu Alphabet a AI divizi SpaceX. Žaloba míří na rizika spojená s pokročilými systémy AI. Zdroj: adgully.com

Bývalý výzkumník Anthropicu vyzývá ke zpomalení vývoje AI

Jacob Coxon, bývalý výzkumník OpenAI a Anthropicu, který odešel kvůli obavám z rizik této technologie, vyzývá k větší informovanosti o nebezpečích AI. Podle něj by se tempo vývoje mělo zpomalit. Zdroj: stanforddaily.com

Neziskovky žalují pět AI gigantů včetně Anthropic a Googlu: chtějí zmrazit závod v AI

Žaloba podaná v San Francisku míří na pět technologických firem a požaduje, aby soud zablokoval vývoj pokročilejších a sebezlepšujících se AI modelů. Za žalobou stojí neziskové organizace, které chtějí zastavit stupňující se závod předních vývojářů AI. Zdroj: politico.com

Americké neziskovky žalují technologické giganty kvůli zastavení vývoje AI

Koalice organizací zaměřených na digitální bezpečnost a ochranu spotřebitelů podala žalobu proti předním světovým vývojářům AI. Žádá v ní soud, aby další vývoj této technologie zastavil. Zdroj: aljazeera.com

Advokační skupiny žalují lídry AI: chtějí zmrazit nové modely kvůli „katastrofálním“ rizikům

Koalice organizací hájících online bezpečnost a práva spotřebitelů ve čtvrtek zažalovala pět předních světových AI firem. Domáhá se, aby soud zastavil další vývoj nových modelů, a varuje před katastrofálními riziky. Zdroj: miamitimesonline.com

AI bezpečnostní skupiny žalují pět technologických gigantů a žádají zastavení nových modelů

Žaloba tvrdí, že firmy vyvíjejí stále autonomnější systémy, přestože samy přiznávají možná katastrofální rizika. Zdroj: nationalheraldindia.com

Anthropic: spouštěč RSP byl naplněn, co znamenají úrovně ASL

Anthropic uvádí, že byl naplněn spouštěč jeho Responsible Scaling Policy. Text vysvětluje, co znamená práh ASL, jaká ochranná opatření se uplatňují a jak se to dotýká modelu Claude. Zdroj: shattered.io

„Existenční hrozba“: zaměstnanci Pioneer Press bojují o ochranu před AI

Odborově organizovaní zaměstnanci listu Pioneer Press ze St. Paulu a firmy Adtaxi chtějí do nové kolektivní smlouvy zapsat pravidla týkající se AI. Zároveň žádají o podporu čtenáře. Zdroj: workdaymagazine.org

Člen správní rady OpenAI: nejpravděpodobnější příčinou smrti většiny z nás bude nehoda AI

Paul Christiano, člen správní rady OpenAI, při veřejném vystoupení uvedl, že pro většinu přítomných v sále je nejpravděpodobnější příčinou smrti právě nehoda způsobená AI. Výrok ukazuje, jak vážně berou někteří lidé z oboru katastrofická rizika AI. Zdroj: newsweek.com

Gates: Trumpova nečinnost nechává svět nechráněný před pandemickými riziky z AI

Bill Gates obvinil Trumpovu administrativu, že blokuje snahy o ochranu před riziky AI. Varuje, že by tato technologie mohla být zneužita k vytvoření pandemické hrozby. Zdroj: app.dealroom.co

Anthropic před IPO: AI zrychluje vlastní výzkum a spouští klíčový bezpečnostní alarm

Nový prospekt k IPO společnosti Anthropic uvádí, že AI už urychluje vlastní výzkum natolik, že to spouští jeden z klíčových interních bezpečnostních alarmů firmy. Informace přichází jen pár dní před plánovaným vstupem na burzu. Zdroj: finance.yahoo.com

Na co si dát pozor, než Anthropic vstoupí na burzu

Dnešní přehled přináší informaci o cenovém rozpětí IPO společnosti Anthropic a zprávy o firmách Airbnb, Alta, CoreWeave, DoorDash, Google, Nvidia, Oura, OpenAI a Uber. Zdroj: fortune.com