AIskimIQ

Štítek: Benchmark

108 článků

LLM čtou zprávy: rozebírají debaty o veřejném zdravotnictví v německých médiích

Výzkumníci ukázali, že GPT-5 a Gemini dokážou z německých zpravodajských článků vytáhnout a klasifikovat citace rámcující zdravotní politiku. F1 skóre se při srovnání s lidským měřítkem blíží 80 procentům. Zdroj: bioengineer.org

Ladění jader v ML posouvá detekci síťových průniků na téměř 99% přesnost

Nová studie uvádí, že algoritmy Random Forest a Support Vector Machines s Gaussovým a sigmoidním jádrem dosáhly díky systematickému předzpracování dat přesnosti až 99,87 % na srovnávacích datech. Výsledky naznačují, že pečlivé ladění jader může výrazně zlepšit detekci síťových průniků. Zdroj: bioengineer.org

Nový index Artificial Analysis zvětšuje propast oproti otevřeným modelům

Artificial Analysis zásadně přepracovala svůj Intelligence Index, čímž se výrazně zamíchalo pořadím modelů. Kimi K3.1 Pro v žebříčku kvůli tomu kleslo o pět příček. Zdroj: the-decoder.com

Open-data ML framework dosáhl na benchmarku téměř dokonalé diagnózy rakoviny prsu

Čínští vědci vytvořili plně reprodukovatelný framework s otevřenými daty, který kombinuje interpretovatelné strojové učení s kvantitativní cytopatologií. Na srovnávacím datasetu dosahuje téměř dokonalé přesnosti při diagnostice rakoviny prsu. Zdroj: bioengineer.org

Studie Anthropic: AI agenti stále nezvládnou skutečný vědecký výzkum

Špičkoví programovací agenti dnes dokážou převádět výzkum strojového učení do automaticky spustitelných workflow, jenže většina dosavadních studií se soustředí na úzké testovací scénáře. Výzkum Anthropic ukazuje, že AI na skutečný vědecký výzkum v reálném světě stále nestačí. Zdroj: eu.36kr.com

HeyGen Video 1 dobyl první místo v žebříčku text-to-video bez zvuku

Startup HeyGen, který se zaměřuje na AI video, 22. října 2026 oznámil, že jeho první univerzální videomodel Video 1 obsadil první místo v kategorii text-to-video v žebříčku Artificial Analysis pro videa bez zvuku. Jde o silný debut firmy mimo oblast avatarových videí. Zdroj: app.dealroom.co

Martingale představuje Raven Alpha pro detekci driftu modelů AI

Společnost Martingale, kterou založili tři studenti informatiky z CMU, uvedla metodu detekce driftu modelů Raven Alpha. V benchmarkových testech se umístila na prvním místě. Zdroj: usatoday.com

Promptovací strategie pro LLM v benchmarku nevykázaly stabilní výhodu

Srovnávací benchmark ukázal, že promptovací strategie pro LLM si v některých provozních bodech vedly srovnatelně s logistickou regresí a XGBoost. Stabilní výhodu oproti těmto klasickým metodám však nepřinesly. Zdroj: bioengineer.org

Meta představila modely Muse Wonder a v žebříčku předběhla konkurenci

Meta uvedla novou rodinu AI modelů s názvem Muse Wonder. V žebříčku Artificial Analysis předčila Gemini 4, GPT-Astra i Fable 5 a vrací se tak do souboje s OpenAI a Anthropic. Zdroj: mashable.com

Benchmark zkoumá, jak si AI agenti vedou při psaní ekonometrického kódu

Velké jazykové modely stále častěji píší kód, na kterém stojí empirický výzkum. Nový sloupek přináší benchmark 40 ekonometrických úloh ve Stata, R a dalších nástrojích. Zdroj: cepr.org

Vlastní benchmark Cursor vs GitHub Copilot ve 12 krocích

Praktický návod ukazuje, jak ve vlastním repozitáři sestavit opakovatelné srovnání nástrojů Cursor a GitHub Copilot. Obsahuje 12 kroků, skripty pro bodování a kompletní funkční projekt. Zdroj: shattered.io

Kyutai představuje REKI: 2,4B VLA model s pamětí pro robotickou manipulaci

REKI od Kyutai je vision-language-action model o 2,4 miliardách parametrů natrénovaný na veřejných datech. V benchmarku LIBERO-Plus dosáhl skóre 90,4 a díky vestavěné paměti umožňuje efektivnější manipulaci robotů s objekty. Zdroj: marktechpost.com

Crun AI spouští žebříček LLM, video, obrazových i audio modelů

Crun AI představila žebříček, který porovnává přední modely z kategorií LLM, video, obraz a audio. Modely jsou řazeny vedle sebe podle výkonu i ceny. Zdroj: financialcontent.com

Gemini 4 Argon pro robotiku: fyzikální uvažování a zero-shot řízení

Gemini 4 Argon míří do robotiky a vede v benchmarku ERQA. Mezi jeho přednosti patří fyzikální uvažování, zero-shot řízení, Real2Sim a agentní workflow. Zdroj: developers.googleblog.com

Arena získala 200 mil. USD v kole Series B při valuaci 3,1 mld. USD

Společnost Arena ze San Franciska, která provozuje platformu a žebříček pro hodnocení reálných schopností AI modelů a agentů, získala v kole Series B 200 milionů dolarů při valuaci 3,1 miliardy dolarů. Zdroj: finsmes.com

Jak vyvíjet AI agenty: nástroje, bezpečnost a evaluace v praxi

Text shrnuje tři základní principy architektury agentní AI. Přidává vzory pro oprávnění nástrojů, řízení přístupu k vyhledávaným datům, cachování promptů, lidskou revizi a evaluace. Zdroj: medium.com

ROBOTERA vede žebříček embodied AI benchmarku RoboDojo

World Action Model od společnosti ROBOTERA, nazvaný VPP2 (Video Prediction Policy 2), se umístil na prvním místě v benchmarku RoboDojo. Podle oznámení výsledku dosáhl bez dodatečných dat i bez rekurzivního sebezlepšování založeného na agentech. Zdroj: prnewswire.com

Žebříček AI modelů Arena za 10 měsíců téměř zdvojnásobil hodnotu na 3,1 mld. USD

Arena vznikla v roce 2023 jako výzkumný projekt UC Berkeley, který sbíral hodnocení AI modelů od komunity. Nyní získala 200 milionů dolarů v sérii B při ocenění 3,1 miliardy dolarů. Zdroj: techcrunch.com

Copilot vítězí v benchmarku GitHubu, nezávislý test ukazuje opak

GitHub svým ReviewBench chce nabídnout společné měřítko pro AI nástroje na code review. Úvodní testy všech konkurentů však provedl sám tým, který benchmark vytvořil, a nezávislé hodnocení vykresluje jiný obrázek. Zdroj: thenewstack.io

ReviewBench: otevřený benchmark pro AI code review

ReviewBench je benchmark pro agenty provádějící code review. Staví na reprezentativních pull requestech z GitHubu, referenčních datech z více zdrojů a kalibrovaném hodnocení. Zdroj: github.blog