AIskimIQ

Štítek: Benchmark

108 článků

MedChemBench zkoumá, zda AI pozná slibné kandidáty na léky

Nový benchmark MedChemBench hodnotí, jak dobře modely AI interpretují molekulární struktury, vyvozují závěry z experimentálních dat a vybírají látky v rané fázi objevu léčiv. Zdroj: openai.com

Strukturované prompty zvyšují přesnost LLM při návrhu betonových nosníků

Srovnávací studie ukazuje, že strukturované promptování zvyšuje přesnost velkých jazykových modelů při výpočtech železobetonových nosníků z 37 procent výše. Zdroj: google.com

OVHcloud představuje Olala mini, svůj první LLM, zatím bez výsledků testů

Francouzský cloudový poskytovatel OVHcloud odhalil Olala mini 7A1B, otevřený model se 7 miliardami parametrů, z nichž 1 miliarda je aktivní. Na Hugging Face má vyjít 19. listopadu, výsledky benchmarků ale nezveřejnil. Zdroj: google.com

Google TPU překonávají nové benchmarky v trénování AI

Čipy Google TPU dosáhly cílové kvality benchmarku za 1,70 minuty. Škálovaly až na 4 096 čipů s 96% efektivitou. Zdroj: blog.google

FinGPT-Risk zvládá více úloh predikce finančního rizika na sedmi datasetech

Výzkumníci vyvinuli FinGPT-Risk, jednotný víceúlohový jazykový framework, který kombinuje tabulková data, textové profily a meta-adaptaci. Jeho přínos ověřili na sedmi srovnávacích datasetech pro predikci finančního rizika. Zdroj: bioengineer.org

XYBench zkoumá, zda AI odhalí mylný předpoklad skrytý v otázce

XYBench je nový benchmark s více než 8 000 otázkami, který testuje, jak si AI asistenti poradí s dotazy založenými na mylných představách, například jak zahustit poleva na dort. Měří, zda model řeší skutečný problém, nikoli jen doslova odpovídá na položenou otázku. Zdroj: huggingface.co

Architekt JioStar o AI doporučování pro 500 milionů uživatelů

Vijay Seshadri ze společnosti JioStar popisuje, jak funguje AI discovery při škále 500 milionů uživatelů. Dělí se o zkušenosti s evaluacemi, ochrannými mechanismy a nasazením AI do produkce. Zdroj: openai.com

Repligate sdílel příspěvek bez komentáře

Úryvek ukazuje, že Repligate (j⧉nus) pouze přesdílel příspěvek účtu GRITCULT, bez jakéhokoli komentáře. V okolním textu stránky se zmiňuje, že Perplexity přidalo model Gemini 4 Carbon se slibem nižších nákladů na benchmarky, obsah je však příliš kusý na ověření detailů. Zdroj: digg.com

Analytika vydávání AI modelů: tempo, trendy a benchmarky velkých laboratoří

Analytický přehled sleduje tempo vydávání AI modelů, včetně počtu vydání za měsíc, rytmu jednotlivých laboratoří a vývoje výsledků v benchmarcích. Pokrývá OpenAI, Anthropic, Google, Meta, SpaceXSI a další. Zdroj: aireleasetracker.com

Google představuje benchmark Multimodal Knowledge Agent

Google uvedl benchmark MKA, který hodnotí, jak dobře agenti uvažují nad složitými vizuálními úlohami. Zpráva ukazuje i výsledky modelu Gemini 4 Carbon. Zdroj: blog.google

LLM nacházejí nové kompromisy na optimalizační hranici hry TIS-100

Benchmark zadal 16 velkým jazykovým modelům assemblerovou hru TIS-100 s úkolem vylepšit funkční programy. Modely přinesly 133 nových Pareto-optimálních řešení. Zdroj: news.lavx.hu

Gemini Omni Flash 1.2 vs Qwen 3.8 Omni Flash: jeden tvoří video, druhý ho čte

První model vrací video se zvukem, druhý vytváří text z hodiny záznamu. Jde o zásadně odlišné nástroje s jinou cenotvorbou a bez společného žebříčku, který by je srovnával. Zdroj: orcarouter.ai

Nový žebříček testuje LLM na reálných stavebních úlohách

Construction AI Leaderboard vznikl pro hodnocení výkonu LLM v praktické stavební práci. Zvláštní důraz klade i na výsledky v oblasti BIM, které se věnuje ONESTRUCTION. Zdroj: huggingface.co

OpenAI představila BioBasicsBench: jak si AI agenti poradí v laboratoři

OpenAI uvedla BioBasicsBench, benchmark o 100 úlohách. Měří, jak dobře AI agenti dokážou interpretovat surová experimentální data a zvládat běžnou práci v biologické laboratoři. Zdroj: openai.com

Devět LLM otestováno na odborných klinických úlohách u Parkinsonovy choroby

Srovnávací test devíti velkých jazykových modelů na 200 odborných úlohách týkajících se Parkinsonovy choroby ukázal jen minimální rozdíly ve faktické přesnosti. Modely se více lišily v dalších aspektech výkonu. Zdroj: bioengineer.org

Harness adaptéry: bezpečné RL pro efektivní vývoj agentů

Harness adaptéry mohou zefektivnit a zpřesnit lokální vývoj agentních systémů. V testovacím tréninku na neviděných úlohách dělaly méně volání nástrojů. Zdroj: huggingface.co

Stejný model, jiný harness: srovnání CUGA, Hermes a Deep Agents

CUGA, Hermes a Deep Agents byly otestovány na benchmarku AppWorld, který zahrnuje vícekrokové úlohy napříč 9 aplikacemi a 457 API, třeba e-mail, platby či úložiště souborů. Srovnání ukazuje, jak moc záleží na okolním harnessu, když zůstává stejný model. Zdroj: huggingface.co

StateBench zkoumá, jak LLM sledují měnící se stav v dlouhých textech

StateBench je nový benchmark pro sledování stavu v dlouhém kontextu. Měří, jak dobře si jazykové modely udržují přehled o entitách, jejichž vlastnosti se v dlouhém dokumentu vyvíjejí. Zdroj: huggingface.co

Benchmark LifeVal testuje, zda AI zvládne každodenní úkoly

LifeVal je nový benchmark, který měří, jak dobře AI pomáhá lidem vyřídit běžné záležitosti. Scénáře sahají od hledání hlídání dětí přes správu financí až po jednání s úřady. Zdroj: openai.com

Alphabet přišel o 500 mld. dolarů za týden, přestože vydal svůj nejlepší model

Alphabet za jediný týden ztratil 500 miliard dolarů, i když uvedl svůj dosud nejlepší model. Emad Mostaque tvrdí, že reklama ve vyhledávání vyvrcholí v prvním čtvrtletí 2027 a že benchmarková koruna má háček. Zdroj: finance.biggo.com