Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.
1 178 článků
Důležitost:Zprávagovernance/safety
Advokační skupiny žalují pět firem kvůli zastavení vývoje nových modelů AI
Koalice organizací zaměřených na online bezpečnost a ochranu spotřebitelů ve čtvrtek v New Yorku zažalovala pět předních firem v oblasti AI. Žalobci požadují zastavení vývoje nových modelů AI s odkazem na vážná rizika. Zdroj: arkansasonline.com
Důležitost:Názorexistential risk
Dwarkesh Patel: Náskok USA před Čínou v AI se měří hodinami, ne měsíci
Patel tvrdí, že rekurzivní sebezlepšování AI by mohlo vyvolat explozi inteligence a do roku 2030 přinést miliardy AI na lidské úrovni. Náskok amerických laboratoří před Čínou podle něj činí jen měsíce či méně. Zdroj: finance.biggo.com
Důležitost:Názorgovernance
Jak by si Amerika mohla podkopat vlastní náskok v AI
Kombinace politických, obchodních a ideologických tlaků může podle textu oslabit americké prvenství v AI. Veřejné kontroverze jsou prý dost silné na to, aby vedení USA v oboru ohrozily. Zdroj: cset.georgetown.edu
Důležitost:Zprávaexistential risk
Geoffrey Hinton varuje před existenčními hrozbami AI v závodě o superinteligenci
Nobelista Geoffrey Hinton, označovaný za kmotra AI, varuje, že závod o superinteligenci přináší existenční rizika. V rozhovoru se věnuje také šéfovi Nvidie Jensenu Huangovi. Zdroj: thirteen.org
Důležitost:Výzkuminterpretability
Studie našla v LLM řídké attention heads, které kódují vnitřní cíle
Vědci z Northeastern University zjistili, že malá skupina řídkých attention heads ve velkých jazykových modelech kauzálně kóduje vnitřní cíle úloh. Preprint rozšiřuje výzkum interpretovatelnosti toho, jak LLM reprezentují, čeho se snaží dosáhnout. Zdroj: casrai.org
Důležitost:Názorgovernance
Komentář: Voliči rozhodli o datacentrech, teď je čas regulovat AI
Datacentra nebyla v letošních volbách výslovně na hlasovacích lístcích, přesto kandidáti kritičtí k těmto projektům zvítězili s drtivým náskokem. Autor komentáře tvrdí, že tento signál od voličů má politiky přimět k regulaci samotné AI. Zdroj: startribune.com
Důležitost:Výzkumrisk documentation
S-1 Anthropicu: rizika pro lidstvo a další varování
Pohled na tři okruhy varování ze zhruba stostránkové sekce o rizicích v prospektu Anthropicu k vstupu na burzu. Stojí za to jim věnovat pozornost. Zdroj: morningstar.com
Důležitost:Názorexistential risk
Hinton: lidé mohou během několika let ztratit kontrolu nad AI
Geoffrey Hinton, označovaný za kmotra AI, varuje, že superinteligentní AI by mohla uniknout lidské kontrole. Vlády vyzývá, aby zavedly povinné bezpečnostní testy. Zdroj: t.co
Důležitost:Zprávagovernance
Neziskovky žalují OpenAI, Anthropic, Metu a Google kvůli rizikům AI
Skupina neziskových organizací podala žalobu na OpenAI, Anthropic, Meta Platforms, mateřskou společnost Googlu Alphabet a AI divizi SpaceX. Žaloba míří na rizika spojená s pokročilými systémy AI. Zdroj: adgully.com
Důležitost:Názoralignment
Bývalý výzkumník Anthropicu vyzývá ke zpomalení vývoje AI
Jacob Coxon, bývalý výzkumník OpenAI a Anthropicu, který odešel kvůli obavám z rizik této technologie, vyzývá k větší informovanosti o nebezpečích AI. Podle něj by se tempo vývoje mělo zpomalit. Zdroj: stanforddaily.com
Důležitost:ZprávaAI governance
Neziskovky žalují pět AI gigantů včetně Anthropic a Googlu: chtějí zmrazit závod v AI
Žaloba podaná v San Francisku míří na pět technologických firem a požaduje, aby soud zablokoval vývoj pokročilejších a sebezlepšujících se AI modelů. Za žalobou stojí neziskové organizace, které chtějí zastavit stupňující se závod předních vývojářů AI. Zdroj: politico.com
Důležitost:ZprávaAI governance
Americké neziskovky žalují technologické giganty kvůli zastavení vývoje AI
Koalice organizací zaměřených na digitální bezpečnost a ochranu spotřebitelů podala žalobu proti předním světovým vývojářům AI. Žádá v ní soud, aby další vývoj této technologie zastavil. Zdroj: aljazeera.com
Důležitost:Zprávaexistential risk
Advokační skupiny žalují lídry AI: chtějí zmrazit nové modely kvůli „katastrofálním“ rizikům
Koalice organizací hájících online bezpečnost a práva spotřebitelů ve čtvrtek zažalovala pět předních světových AI firem. Domáhá se, aby soud zastavil další vývoj nových modelů, a varuje před katastrofálními riziky. Zdroj: miamitimesonline.com
Důležitost:ZprávaAI governance
AI bezpečnostní skupiny žalují pět technologických gigantů a žádají zastavení nových modelů
Žaloba tvrdí, že firmy vyvíjejí stále autonomnější systémy, přestože samy přiznávají možná katastrofální rizika. Zdroj: nationalheraldindia.com
Důležitost:ZprávaAI governance
Anthropic: spouštěč RSP byl naplněn, co znamenají úrovně ASL
Anthropic uvádí, že byl naplněn spouštěč jeho Responsible Scaling Policy. Text vysvětluje, co znamená práh ASL, jaká ochranná opatření se uplatňují a jak se to dotýká modelu Claude. Zdroj: shattered.io
Důležitost:ZprávaAI governance
„Existenční hrozba“: zaměstnanci Pioneer Press bojují o ochranu před AI
Odborově organizovaní zaměstnanci listu Pioneer Press ze St. Paulu a firmy Adtaxi chtějí do nové kolektivní smlouvy zapsat pravidla týkající se AI. Zároveň žádají o podporu čtenáře. Zdroj: workdaymagazine.org
Důležitost:Zprávaexpert_warning
Člen správní rady OpenAI: nejpravděpodobnější příčinou smrti většiny z nás bude nehoda AI
Paul Christiano, člen správní rady OpenAI, při veřejném vystoupení uvedl, že pro většinu přítomných v sále je nejpravděpodobnější příčinou smrti právě nehoda způsobená AI. Výrok ukazuje, jak vážně berou někteří lidé z oboru katastrofická rizika AI. Zdroj: newsweek.com
Důležitost:Zprávapolicy/government
Gates: Trumpova nečinnost nechává svět nechráněný před pandemickými riziky z AI
Bill Gates obvinil Trumpovu administrativu, že blokuje snahy o ochranu před riziky AI. Varuje, že by tato technologie mohla být zneužita k vytvoření pandemické hrozby. Zdroj: app.dealroom.co
Důležitost:Zprávagovernance/corporate
Anthropic před IPO: AI zrychluje vlastní výzkum a spouští klíčový bezpečnostní alarm
Nový prospekt k IPO společnosti Anthropic uvádí, že AI už urychluje vlastní výzkum natolik, že to spouští jeden z klíčových interních bezpečnostních alarmů firmy. Informace přichází jen pár dní před plánovaným vstupem na burzu. Zdroj: finance.yahoo.com
Důležitost:Zpráva
Na co si dát pozor, než Anthropic vstoupí na burzu
Dnešní přehled přináší informaci o cenovém rozpětí IPO společnosti Anthropic a zprávy o firmách Airbnb, Alta, CoreWeave, DoorDash, Google, Nvidia, Oura, OpenAI a Uber. Zdroj: fortune.com