MedChemBench zkoumá, zda AI pozná slibné kandidáty na léky
Nový benchmark MedChemBench hodnotí, jak dobře modely AI interpretují molekulární struktury, vyvozují závěry z experimentálních dat a vybírají látky v rané fázi objevu léčiv. Zdroj: openai.com
Důležitost:Výzkumprompt engineering
Strukturované prompty zvyšují přesnost LLM při návrhu betonových nosníků
Srovnávací studie ukazuje, že strukturované promptování zvyšuje přesnost velkých jazykových modelů při výpočtech železobetonových nosníků z 37 procent výše. Zdroj: google.com
Důležitost:Spuštěnímodel release
OVHcloud představuje Olala mini, svůj první LLM, zatím bez výsledků testů
Francouzský cloudový poskytovatel OVHcloud odhalil Olala mini 7A1B, otevřený model se 7 miliardami parametrů, z nichž 1 miliarda je aktivní. Na Hugging Face má vyjít 19. listopadu, výsledky benchmarků ale nezveřejnil. Zdroj: google.com
Důležitost:VýzkumBenchmarks
Google TPU překonávají nové benchmarky v trénování AI
Čipy Google TPU dosáhly cílové kvality benchmarku za 1,70 minuty. Škálovaly až na 4 096 čipů s 96% efektivitou. Zdroj: blog.google
Důležitost:Výzkumfinancial applications
FinGPT-Risk zvládá více úloh predikce finančního rizika na sedmi datasetech
Výzkumníci vyvinuli FinGPT-Risk, jednotný víceúlohový jazykový framework, který kombinuje tabulková data, textové profily a meta-adaptaci. Jeho přínos ověřili na sedmi srovnávacích datasetech pro predikci finančního rizika. Zdroj: bioengineer.org
Důležitost:VýzkumAI benchmarks
XYBench zkoumá, zda AI odhalí mylný předpoklad skrytý v otázce
XYBench je nový benchmark s více než 8 000 otázkami, který testuje, jak si AI asistenti poradí s dotazy založenými na mylných představách, například jak zahustit poleva na dort. Měří, zda model řeší skutečný problém, nikoli jen doslova odpovídá na položenou otázku. Zdroj: huggingface.co
Důležitost:ZprávaEnterprise AI
Architekt JioStar o AI doporučování pro 500 milionů uživatelů
Vijay Seshadri ze společnosti JioStar popisuje, jak funguje AI discovery při škále 500 milionů uživatelů. Dělí se o zkušenosti s evaluacemi, ochrannými mechanismy a nasazením AI do produkce. Zdroj: openai.com
Důležitost:Spuštěnímodel-release
Repligate sdílel příspěvek bez komentáře
Úryvek ukazuje, že Repligate (j⧉nus) pouze přesdílel příspěvek účtu GRITCULT, bez jakéhokoli komentáře. V okolním textu stránky se zmiňuje, že Perplexity přidalo model Gemini 4 Carbon se slibem nižších nákladů na benchmarky, obsah je však příliš kusý na ověření detailů. Zdroj: digg.com
Důležitost:Zprávaanalytics
Analytika vydávání AI modelů: tempo, trendy a benchmarky velkých laboratoří
Analytický přehled sleduje tempo vydávání AI modelů, včetně počtu vydání za měsíc, rytmu jednotlivých laboratoří a vývoje výsledků v benchmarcích. Pokrývá OpenAI, Anthropic, Google, Meta, SpaceXSI a další. Zdroj: aireleasetracker.com
Důležitost:Výzkumbenchmarks
Google představuje benchmark Multimodal Knowledge Agent
Google uvedl benchmark MKA, který hodnotí, jak dobře agenti uvažují nad složitými vizuálními úlohami. Zpráva ukazuje i výsledky modelu Gemini 4 Carbon. Zdroj: blog.google
Důležitost:Výzkumbenchmarking
LLM nacházejí nové kompromisy na optimalizační hranici hry TIS-100
Benchmark zadal 16 velkým jazykovým modelům assemblerovou hru TIS-100 s úkolem vylepšit funkční programy. Modely přinesly 133 nových Pareto-optimálních řešení. Zdroj: news.lavx.hu
Důležitost:Zprávamodel-comparison
Gemini Omni Flash 1.2 vs Qwen 3.8 Omni Flash: jeden tvoří video, druhý ho čte
První model vrací video se zvukem, druhý vytváří text z hodiny záznamu. Jde o zásadně odlišné nástroje s jinou cenotvorbou a bez společného žebříčku, který by je srovnával. Zdroj: orcarouter.ai
Důležitost:VýzkumLLM benchmarks
Nový žebříček testuje LLM na reálných stavebních úlohách
Construction AI Leaderboard vznikl pro hodnocení výkonu LLM v praktické stavební práci. Zvláštní důraz klade i na výsledky v oblasti BIM, které se věnuje ONESTRUCTION. Zdroj: huggingface.co
Důležitost:VýzkumBenchmarks
OpenAI představila BioBasicsBench: jak si AI agenti poradí v laboratoři
OpenAI uvedla BioBasicsBench, benchmark o 100 úlohách. Měří, jak dobře AI agenti dokážou interpretovat surová experimentální data a zvládat běžnou práci v biologické laboratoři. Zdroj: openai.com
Důležitost:Výzkummedical-benchmark
Devět LLM otestováno na odborných klinických úlohách u Parkinsonovy choroby
Srovnávací test devíti velkých jazykových modelů na 200 odborných úlohách týkajících se Parkinsonovy choroby ukázal jen minimální rozdíly ve faktické přesnosti. Modely se více lišily v dalších aspektech výkonu. Zdroj: bioengineer.org
Důležitost:VýzkumResearch
Harness adaptéry: bezpečné RL pro efektivní vývoj agentů
Harness adaptéry mohou zefektivnit a zpřesnit lokální vývoj agentních systémů. V testovacím tréninku na neviděných úlohách dělaly méně volání nástrojů. Zdroj: huggingface.co
Důležitost:VýzkumAI benchmarks
Stejný model, jiný harness: srovnání CUGA, Hermes a Deep Agents
CUGA, Hermes a Deep Agents byly otestovány na benchmarku AppWorld, který zahrnuje vícekrokové úlohy napříč 9 aplikacemi a 457 API, třeba e-mail, platby či úložiště souborů. Srovnání ukazuje, jak moc záleží na okolním harnessu, když zůstává stejný model. Zdroj: huggingface.co
Důležitost:Výzkum
StateBench zkoumá, jak LLM sledují měnící se stav v dlouhých textech
StateBench je nový benchmark pro sledování stavu v dlouhém kontextu. Měří, jak dobře si jazykové modely udržují přehled o entitách, jejichž vlastnosti se v dlouhém dokumentu vyvíjejí. Zdroj: huggingface.co
Důležitost:Spuštěníbenchmarks
Benchmark LifeVal testuje, zda AI zvládne každodenní úkoly
LifeVal je nový benchmark, který měří, jak dobře AI pomáhá lidem vyřídit běžné záležitosti. Scénáře sahají od hledání hlídání dětí přes správu financí až po jednání s úřady. Zdroj: openai.com
Důležitost:ZprávaFinancial Impact
Alphabet přišel o 500 mld. dolarů za týden, přestože vydal svůj nejlepší model
Alphabet za jediný týden ztratil 500 miliard dolarů, i když uvedl svůj dosud nejlepší model. Emad Mostaque tvrdí, že reklama ve vyhledávání vyvrcholí v prvním čtvrtletí 2027 a že benchmarková koruna má háček. Zdroj: finance.biggo.com