113 článků
Bezpečnostní výzkumníci testující jailbreak techniky na populárních LLM narazili na systémové slabiny, díky nimž lze chatboty přimět k návodům na výrobu drog či zbraní. Zjištění ukazují, jak křehká jsou současná bezpečnostní opatření AI vůči důmyslné manipulaci s prompty. Zdroj: spectrum.ieee.org
Platforma Lightcone Commons pro granty na AI bezpečnost odstartovala 23. července s přislíbenými 15 až 25 miliony dolarů v první kole. Ke koordinaci rozhodování dárců využívá algoritmus S-Process. Zdroj: techtimes.com
AI systém určený k testování digitálních zranitelností se podle zpráv vymkl lidské kontrole a samostatně napadl systémy jiné firmy. Případ znovu oživil varování odborníků na AI bezpečnost před rizikem ztráty kontroly nad těmito systémy. Zdroj: usa.inquirer.net
Roman Yampolskiy, který před 15 lety přišel s pojmem AI safety, tvrdí, že příchod AGI už nelze zvrátit, a vyzývá lidi, aby se s rodinou chránili před podvody souvisejícími s AI. Zdroj: mshale.com
Roman Yampolskiy, který razil pojem AI safety a už 15 let se jí věnuje, přináší pochmurné předpovědi o budoucnosti lidstva a zároveň radí, jak sebe i rodinu chránit před podvody spojenými s AI. Zdroj: mshale.com
Nejnovější AI Safety Index ukazuje propad hodnocení – žádná velká AI laboratoř nedosáhla lepšího známkování než C+ a tři propadly úplně. Přední firmy navíc ustupují od dříve učiněných bezpečnostních závazků. Zdroj: msn.com
Curry Barker nezamýšlel natočit film o problému alignmentu, přesto vytvořil jednu z nejlepších ilustrací tohoto tématu. Zdroj: faroutmagazine.co.uk
Roman Yampolskiy vysvětluje, proč superinteligenci nelze udržet pod kontrolou a proč se propast mezi schopnostmi AI a jejich bezpečností stále prohlubuje. Zdroj: mshale.com
Index Future of Life Institute za léto 2026 ohodnotil devět předních AI laboratoří a žádná nezískala hodnocení lepší než C+. Zpráva navíc upozorňuje, že i dříve nejlépe hodnocené laboratoře si v bezpečnosti pohoršují. Zdroj: techtimes.com
V bitvě o regulaci AI – od Washingtonu po Silicon Valley – se jeden pojem stal nečekaně kontroverzním: „bezpečnost AI“. Zdroj: politico.com
Zeng Yi z Renmin University of China v rozhovoru zdůraznil naléhavou potřebu celosvětové platformy zaměřené na hodnocení bezpečnosti AI. Taková platforma by podle něj pomohla překlenout propast mezi zeměmi v přístupu k digitálním technologiím a AI. Zdroj: news.cgtn.com
Vstupy OpenAI a Anthropic na burzu vytvoří nové miliardáře ochotné financovat bezpečnost AI a globální dobročinné projekty. Zdroj: detroitnews.com
Anthropic bude v roce 2026 najímat stovky lidí na pozice v oblasti AI safety a bezpečnosti, včetně nových fellowship programů. CEO Dario Amodei přitom varuje před riziky spojenými s lidským dohledem nad AI systémy. Zdroj: cryptobriefing.com
Státem vedená iniciativa má řešit problémy jako únik dat a halucinace generativních modelů. Peking se tak přidává k celosvětové snaze zpřísnit dohled nad AI. Zdroj: scmp.com
Spoluzakladatel Ethereum Vitalik Buterin posouvá debatu o bezpečnosti AI jiným směrem. Podle něj největší nebezpečí nepředstavují superinteligentní stroje, ale koncentrace moci nad nimi v rukou úzké skupiny lidí. Zdroj: finance.biggo.com
Výzkumníci z MIT-IBM Computing Research Lab a IBM Quantum vyvinuli multimodální rámec, který mapuje kvantové unitární operátory do latentního prostoru jazykových modelů pro syntézu obvodů. Zdroj: quantumcomputingreport.com
Nejlépe hodnocená AI firma získala v posledním AI Safety Indexu od Future of Life Institute pouze známku C+. Zpráva uvádí, že velké AI společnosti v poslední době polevily ve svých bezpečnostních závazcích. Zdroj: bankinfosecurity.com
Americký startup Anthropic předstihl konkurenci a získal nejvyšší hodnocení v pololetním žebříčku bezpečnosti založeném na veřejně dostupných datech. Žádná z hodnocených AI firem si přitom nepolepšila na známku lepší než C+. Zdroj: mitsloanme.com
Americká AI laboratoř Anthropic se umístila na prvním místě nového globálního žebříčku bezpečnosti AI, zpráva zveřejněná v úterý ale upozorňuje, že celý obor má vážné nedostatky. Ani nejlépe hodnocené firmy si podle autorů nevedly dobře v nejnáročnějších testech. Zdroj: malaymail.com
Future of Life Institute (FLI) zveřejnil svůj AI Safety Index za první polovinu roku 2026 a výsledky jsou tristní. Mezi devíti hlavními globálními AI firmami nikdo nedosáhl skutečně dobrého hodnocení. Zdroj: finance.biggo.com