Výzkum bezpečnosti AI, techniky alignmentu, interpretovatelnost, správa a diskuse o existenčních rizicích.
602 článků
Generální ředitel Anthropicu Dario Amodei ve veřejném vystoupení otevřeně přiznal, že vývoj AI postupuje rychleji, než si většina lidí myslí. Vyzval k větší informovanosti veřejnosti o tomto rychlém pokroku a jeho možných rizicích. Zdroj: mshale.com
Dr. Roman Yampolskiy, výzkumník zabývající se bezpečností AI, tvrdí, že lidstvo se rychle blíží bodu, kdy by superinteligentní AI mohla představovat existenční hrozbu, a uvádí extrémně vysokou pravděpodobnost katastrofy do roku 2030. Podle něj by pokročilá AI mohla být posledním velkým vynálezem lidstva. Zdroj: mshale.com
Lila Ibrahim, která má v Google DeepMind na starosti připravenost na AI, v rozhovoru vyvolala rozruch, když připustila, že riziko vyhynutí lidstva kvůli AI není nulové. Zároveň ale zdůraznila, že pozornost by se měla soustředit hlavně na reálné škody, které AI systémy způsobují už dnes. Zdroj: thecooldown.com
Kniha Nicka Bostroma Superintelligence z roku 2014 varovala před riziky nekontrolované AI, která by mohla převýšit lidskou inteligenci. O deset let později, uprostřed současného boomu AI, se odborníci vrací k tomu, nakolik se jeho předpovědi naplnily. Zdroj: medium.com
Výzkumník AI bezpečnosti Dr. Roman Yampolskiy varuje, že nekontrolovaná superinteligence představuje pro lidstvo větší nebezpečí než jaderné zbraně. Popisuje scénáře ztráty lidské kontroly nad AI systémy jako hrozbu existenčního rozměru. Zdroj: mshale.com
Geoffrey Hinton, označovaný za 'kmotra AI', znovu upozornil na rizika spojená s pokročilými systémy umělé inteligence. Podle něj by modely vyvíjené konkurenčními laboratořemi jako OpenAI, Meta a Anthropic mohly časem jednat proti zájmům jiných firem. Zdroj: timesofindia.indiatimes.com
Startup Goodfire, zaměřený na mechanistickou interpretovatelnost, spustil platformu Silico za 1000 dolarů měsíčně postavenou na autonomních AI agentech pro výzkum. CTO Dan Balsam tvrdí, že řízení modelů v rámci jejich přirozeného konceptového prostoru přináší lepší výsledky než jejich vytlačování mimo něj. Zdroj: finance.biggo.com
Čínské AI laboratoře podle všeho dosahují na náročných úlohách srovnatelných výsledků jako OpenAI a další američtí konkurenti, ale za výrazně nižší cenu. Tento cenový rozdíl vyvolává obavy, že Čína může USA připravit o náskok v pokročilé umělé inteligenci. Zdroj: pressreader.com
Startup Goodfire se posledních pár let věnuje přenosu technik jako řídké autoenkodéry a analýza obvodů z laboratorního výzkumu do praxe. CTO Dan Balsam popisuje, jak tyto nástroje stojí za novým předplatitelským ML výzkumným agentem Silico. Zdroj: finance.biggo.com
Vědci upozorňují, že nástroje AI schopné navrhovat biologické sekvence by mohly být zneužity k tvorbě nových nebezpečných virů. Vyzývají vlády, aby oblast rychle regulovaly, než technologie postoupí ještě dál bez dohledu. Zdroj: newsgram.com
Výzkumník Nate Soares mluví o tom, jak AI modely obcházejí omezení, o takzvaném bezpečnostním divadle a proč ho nedávné bezpečnostní incidenty naopak naplnily větším optimismem ohledně zvládnutí rizik AI. Zdroj: vox.com
David Krueger tvrdí, že rostoucí role AI ve vojenství činí mezinárodní dohody o zpomalení vývoje ještě naléhavějšími. Zdroj: truthout.org
Nezveřejněný rámec sjednotil v kritice jak zastánce bezpečnosti AI, tak odpůrce regulace. Podle kritiků je právě jeho utajení hlavním problémem. Zdroj: transformernews.ai
Kanadský přístup, který staví právní stát do centra řízení AI, by mohl posloužit jako vzor pro další středně velké státy. Zdroj: justsecurity.org
Elon Musk předpověděl, že peníze přestanou mít do roku 2036 význam, Jeff Bezos zase že lidé budou do roku 2045 žít ve vesmíru. Lila Ibrahim z Google DeepMind říká, že taková jistota je neopodstatněná, ale existenciální riziko AI nevylučuje. Zdroj: fortune.com
Lila Ibrahim, šéfka připravenosti na AI v Google DeepMind, odmítá uvést konkrétní číslo pravděpodobnosti, že AI způsobí zánik lidstva, ale tuto možnost nevylučuje. Zdroj: thenews.com.pk
Podle článku 50 unijního AI Act vstoupila 2. srpna v platnost nová pravidla o transparentnosti, která se týkají každého, kdo vytváří, zveřejňuje nebo nasazuje obsah generovaný AI – nejen velkých technologických firem. Zdroj: aol.co.uk
Startup s hodnotou 1 bilion dolarů upozorňuje, že AI modely se mohou brzy naučit zdokonalovat samy sebe bez lidského zásahu. Zdroj: google.com
Lila Ibrahim, šéfka pro připravenost na AI v Google DeepMind, odmítá uvést konkrétní pravděpodobnost zániku lidstva kvůli AI, ale tvrdí, že tuto možnost nelze vyloučit. Zdroj: google.com
Výzkumník David Krueger tvrdí, že rostoucí nasazení AI ve vojenství zvyšuje naléhavost mezinárodních dohod, které by zpomalily její vývoj. Zdroj: google.com