AIskimIQ

🛡️ Bezpečnost a alignment AI

Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.

1 145 článků

Trh s vysvětlitelnou AI má do roku 2036 vzrůst na 25 miliard dolarů

Trh s vysvětlitelnou AI, oceňovaný v roce 2026 na 4 miliardy dolarů, by měl růst tempem 20,1 % ročně a do roku 2036 dosáhnout 25 miliard dolarů. Mezi klíčové hráče tohoto růstu patří IBM a Microsoft. Zdroj: futuremarketinsights.com

Zuckerberg: Moc musí zůstat v rukou lidí, ne AI

Šéf Metay Mark Zuckerberg představil svou vizi vývoje superinteligence, v níž zdůrazňuje posílení jednotlivce, vyvážené rozdělení moci a zachování lidské kontroly nad AI systémy. Zdroj: storyboard18.com

Australský premiér vyzývá k vážnému řešení rizik AI

Premiér Jižní Austrálie Peter Malinauskas varoval, že umělá inteligence představuje reálné riziko pro společnost, a vyzval k přísnějšímu dohledu. Jeho slova zazněla v souvislosti s rozsáhlým vyšetřováním regulace AI. Zdroj: canberratimes.com.au

Šéf Anthropicu Dario Amodei varuje: AI se vyvíjí rychleji, než si lidé uvědomují

Generální ředitel Anthropicu Dario Amodei ve veřejném vystoupení otevřeně přiznal, že vývoj AI postupuje rychleji, než si většina lidí myslí. Vyzval k větší informovanosti veřejnosti o tomto rychlém pokroku a jeho možných rizicích. Zdroj: mshale.com

Šéfka AI bezpečnosti DeepMind: Riziko zániku není nulové, řešme ale současné škody

Lila Ibrahim, která má v Google DeepMind na starosti připravenost na AI, v rozhovoru vyvolala rozruch, když připustila, že riziko vyhynutí lidstva kvůli AI není nulové. Zároveň ale zdůraznila, že pozornost by se měla soustředit hlavně na reálné škody, které AI systémy způsobují už dnes. Zdroj: thecooldown.com

Výzkumník AI bezpečnosti: 99,9% šance, že superinteligence zničí lidstvo do roku 2030

Dr. Roman Yampolskiy, výzkumník zabývající se bezpečností AI, tvrdí, že lidstvo se rychle blíží bodu, kdy by superinteligentní AI mohla představovat existenční hrozbu, a uvádí extrémně vysokou pravděpodobnost katastrofy do roku 2030. Podle něj by pokročilá AI mohla být posledním velkým vynálezem lidstva. Zdroj: mshale.com

Bostromova Superinteligence po deseti letech: jak obstála varování v době AI boomu

Kniha Nicka Bostroma Superintelligence z roku 2014 varovala před riziky nekontrolované AI, která by mohla převýšit lidskou inteligenci. O deset let později, uprostřed současného boomu AI, se odborníci vrací k tomu, nakolik se jeho předpovědi naplnily. Zdroj: medium.com

Dr. Roman Yampolskiy: Superinteligentní AI může být nebezpečnější než jaderné zbraně

Výzkumník AI bezpečnosti Dr. Roman Yampolskiy varuje, že nekontrolovaná superinteligence představuje pro lidstvo větší nebezpečí než jaderné zbraně. Popisuje scénáře ztráty lidské kontroly nad AI systémy jako hrozbu existenčního rozměru. Zdroj: mshale.com

Geoffrey Hinton varuje: modely OpenAI, Mety a Anthropicu by mohly jednat proti sobě

Geoffrey Hinton, označovaný za 'kmotra AI', znovu upozornil na rizika spojená s pokročilými systémy umělé inteligence. Podle něj by modely vyvíjené konkurenčními laboratořemi jako OpenAI, Meta a Anthropic mohly časem jednat proti zájmům jiných firem. Zdroj: timesofindia.indiatimes.com

CTO Goodfire Dan Balsam vysvětluje koncept 'manifoldů' za výzkumným agentem Silico

Startup Goodfire se posledních pár let věnuje přenosu technik jako řídké autoenkodéry a analýza obvodů z laboratorního výzkumu do praxe. CTO Dan Balsam popisuje, jak tyto nástroje stojí za novým předplatitelským ML výzkumným agentem Silico. Zdroj: finance.biggo.com

Vědci varují, že AI by mohla umožnit vznik nebezpečných virů

Vědci upozorňují, že nástroje AI schopné navrhovat biologické sekvence by mohly být zneužity k tvorbě nových nebezpečných virů. Vyzývají vlády, aby oblast rychle regulovaly, než technologie postoupí ještě dál bez dohledu. Zdroj: newsgram.com

CTO Goodfire: Řídit AI uvnitř jejího 'konceptového prostoru' funguje lépe než ji z něj tlačit ven

Startup Goodfire, zaměřený na mechanistickou interpretovatelnost, spustil platformu Silico za 1000 dolarů měsíčně postavenou na autonomních AI agentech pro výzkum. CTO Dan Balsam tvrdí, že řízení modelů v rámci jejich přirozeného konceptového prostoru přináší lepší výsledky než jejich vytlačování mimo něj. Zdroj: finance.biggo.com

Levnější čínské AI modely ohrožují americkou dominanci

Čínské AI laboratoře podle všeho dosahují na náročných úlohách srovnatelných výsledků jako OpenAI a další američtí konkurenti, ale za výrazně nižší cenu. Tento cenový rozdíl vyvolává obavy, že Čína může USA připravit o náskok v pokročilé umělé inteligenci. Zdroj: pressreader.com

Tajný AI rámec Bílého domu podle kritiků nemůže fungovat

Nezveřejněný rámec sjednotil v kritice jak zastánce bezpečnosti AI, tak odpůrce regulace. Podle kritiků je právě jeho utajení hlavním problémem. Zdroj: transformernews.ai

Expert varuje: necháváme AI vymknout se lidské kontrole

David Krueger tvrdí, že rostoucí role AI ve vojenství činí mezinárodní dohody o zpomalení vývoje ještě naléhavějšími. Zdroj: truthout.org

AI modely se učí podvádět – a možná je to dobrá zpráva

Výzkumník Nate Soares mluví o tom, jak AI modely obcházejí omezení, o takzvaném bezpečnostním divadle a proč ho nedávné bezpečnostní incidenty naopak naplnily větším optimismem ohledně zvládnutí rizik AI. Zdroj: vox.com

Šéfka z Google DeepMind: riziko zániku lidstva kvůli AI není nulové

Elon Musk předpověděl, že peníze přestanou mít do roku 2036 význam, Jeff Bezos zase že lidé budou do roku 2045 žít ve vesmíru. Lila Ibrahim z Google DeepMind říká, že taková jistota je neopodstatněná, ale existenciální riziko AI nevylučuje. Zdroj: fortune.com

Nová pravidla EU o transparentnosti AI platí i pro běžné uživatele, ne jen pro velké firmy

Podle článku 50 unijního AI Act vstoupila 2. srpna v platnost nová pravidla o transparentnosti, která se týkají každého, kdo vytváří, zveřejňuje nebo nasazuje obsah generovaný AI – nejen velkých technologických firem. Zdroj: aol.co.uk

Proč má nová kanadská strategie pro AI globální význam

Kanadský přístup, který staví právní stát do centra řízení AI, by mohl posloužit jako vzor pro další středně velké státy. Zdroj: justsecurity.org

Manažerka Google DeepMind: pravděpodobnost zániku lidstva kvůli AI není nulová

Lila Ibrahim, šéfka připravenosti na AI v Google DeepMind, odmítá uvést konkrétní číslo pravděpodobnosti, že AI způsobí zánik lidstva, ale tuto možnost nevylučuje. Zdroj: thenews.com.pk