AI基準評測
統計基準日 · 來源 Artificial Analysis
語言模型 程式開發・AI代理 圖像・影片・音訊
Highlights
Artificial Analysis 核心指標依智慧指數 (Intelligence)、單次任務耗時 (Time per Task)、每項任務成本 (Cost per Task) 三大核心指標詳細比較
Intelligence (綜合智慧指數)
Time per Task (單次任務耗時 (分))
Cost per Task (任務成本 · CP值)
程式開發・AI代理
Artificial Analysis 代理評測比較真實程式碼庫與終端機代理框架效能 (Coding Agent Index),以及 4 項模型級代理基準評測
Coding Agent Index (綜合代理指數)
40 個代理框架中前 10 名
- 1Claude Code · Fable 5.2 (Xhigh, Default Fallback)Anthropic58.5%
- 2Devin Fusion CLI · Opus 5.5 + GPT-6 LunaCognition58.4%
- 3Claude Code · Opus 5.5Anthropic58.2%
- 4Claude Code · Sonnet 5.5Anthropic56.3%
- 5Antigravity CLI · Gemini 4 CarbonGoogle55.5%
- 6Muse Code · Wonder FullMeta54.5%
- 7Codex · GPT-6.2 AstraOpenAI53.5%
- 8Codex · GPT-6 AstraOpenAI53.1%
- 9Claude Code · Fable 5.1Anthropic52.5%
- 10Antigravity CLI · Gemini 4 HydrogenGoogle52.3%
Execution Time (單次執行時間 · 越低越好)
40 個代理框架中前 10 名
- 1Codex · GPT-6.2 SolOpenAI7.2m
- 2Codex · GPT-6.2 AstraOpenAI7.8m
- 3Claude Code · Fable 5.2 (Low, Default Fallback)Anthropic13.4m
- 4Muse Code · EmberMeta19.9m
- 5Codex · GPT-6.1 SolOpenAI21.9m
- 6Codex · GPT-6 LunaOpenAI23.5m
- 7Muse Code · Spark 1.3Meta24.4m
- 8Codex · GPT-6 AstraOpenAI26.0m
- 9Muse Code · WonderMeta27.2m
- 10Codex · GPT-6.1 TerraOpenAI28.1m
Cost per Task (單次任務成本 · 越低越好)
39 個代理框架中前 10 名
- 1Codex · GPT-6 LunaOpenAI$0.19
- 2Muse Code · EmberMeta$0.22
- 3Mirror · Beam 1.0Reflection$0.31
- 4DeepSeek Harness · V4.1 Flash 1017DeepSeek$0.32
- 5Codex · GPT-6.2 SolOpenAI$0.33
- 6Codex · GPT-6.2 AstraOpenAI$0.70
- 7Mistral Vibe · Large 4Mistral$1.02
- 8Codex · GPT-6.1 SolOpenAI$1.51
- 9Codex · GPT-6.1 TerraOpenAI$1.53
- 10Claude Code · Haiku 5.5Anthropic$2.25
FrontierCode (實戰軟體工程)
41 個版本中前 10 名
- 1Claude Fable 5.2 (medium)Anthropic64.0%
- 2Claude Opus 5.5 (medium)Anthropic57.1%
- 3GPT-6.1 Sol (max)OpenAI49.1%
- 4Claude Fable 5.1 (max)Anthropic49.0%
- 5Kimi K3.1 ProKimi47.1%
- 6GPT-6 Astra (max)OpenAI47.0%
- 7Muse Wonder (max)Meta46.5%
- 8Claude Sonnet 5.5 (xhigh)Anthropic46.1%
- 9Claude Haiku 5.5 (xhigh)Anthropic45.5%
- 10MiMo-V2.6-ProXiaomi45.4%
Terminal-Bench v4 (終端機自主執行)
101 個版本中前 10 名
- 1Kimi K3.1 ProKimi67.2%
- 2Gemini 4 Carbon (high)Google65.2%
- 3GPT-6.2 Astra (xhigh)OpenAI64.1%
- 4Claude Sonnet 5.5 (max)Anthropic63.6%
- 5Gemini 4 Neon (xhigh)Google63.6%
- 6Claude Fable 5.2 (xhigh)Anthropic61.6%
- 7GPT-6.2 Sol (max)OpenAI60.1%
- 8GPT-6 Astra (xhigh)OpenAI59.6%
- 9Claude Opus 5.5 (max)Anthropic59.6%
- 10Gemini 4 Argon (high)Google57.1%
AutomationBench-AA (SaaS 工作流程自動化)
174 個版本中前 10 名
- 1Gemini 4 Neon (xhigh)Google79.3%
- 2Gemini 4 Carbon (high)Google77.8%
- 3Gemini 4 Argon (high)Google77.5%
- 4GPT-6.2 Astra (max)OpenAI77.2%
- 5Claude Fable 5.2 (max)Anthropic76.4%
- 6Gemini 4 Hydrogen (xhigh)Google76.1%
- 7Kimi K3.1 ProKimi73.3%
- 8Qwen4 MaxAlibaba72.6%
- 9MiniMax-M3.1-FlashMiniMax72.5%
- 10Claude Sonnet 5.5 (max)Anthropic71.8%
GDPval-AA (實務知識工作 Elo)
187 個版本中前 10 名
- 1Claude Opus 5.5 (max)Anthropic1866
- 2Kimi K3.1 ProKimi1861
- 3Muse Wonder Full (max)Meta1857
- 4Claude Sonnet 5.5 (max)Anthropic1838
- 5Claude Fable 5.2 (max)Anthropic1831
- 6Qwen4 MaxAlibaba1809
- 7Muse Wonder (max)Meta1770
- 8Claude Fable 5.1 (max)Anthropic1765
- 9DeepSeek V4.1 Flash 1017 (max)DeepSeek1746
- 10Gemini 4 Carbon (high)Google1733
圖像・影片・音訊
Artificial Analysis Arena依人類盲測偏好投票 (Arena Elo) 與語音辨識錯誤率 (WER) 排名的各領域頂尖模型
圖像 (Arena Elo)
115 個模型中前 10 名
- 1GPT Image 2.6 SunburstOpenAI1261
- 2GPT Image 2.5 SunburstOpenAI1229
- 3GPT Image 2.6 FlareOpenAI1227
- 4MAI-Image-2.7Microsoft AI1214
- 5GPT Image 2.5 FlareOpenAI1210
- 6GPT Image 2OpenAI1192
- 7Kling Image 4.0KlingAI1180
- 8Nano Banana 2.1Google1176
- 9MAI-Image-2.6Microsoft AI1168
- 10Grok Imagine Image 2.0SpaceXAI1167
影片 (Arena Elo)
34 個模型中前 10 名
- 1Wan 3.0Alibaba1174
- 2Utopai XUtopai Studios1168
- 3MiniMax H3MiniMax1159
- 4Dreamina Seedance 2.5ByteDance Seed1156
- 5Hyperflow H3Video Rebirth1154
- 6FLUX 3 MaxFal1152
- 7Gemini Omni Flash 1.2Google1151
- 8HeyGen Video 1HeyGen1149
- 9MiniMax H3 MaxFal1143
- 10FLUX 3Black Forest Labs1136
音訊 (Arena Elo)
101 個模型中前 10 名
- 1Eleven v4 TurboElevenLabs1341
- 2Eleven v4ElevenLabs1341
- 3Qwen-Audio-3.1-TTS-PlusAlibaba1299
- 4Sonic 3.6Cartesia1295
- 5Simba 3.5SpeechifyAI1293
- 6Gemini 3.8 Flash TTSGoogle1283
- 7Fish Audio Drama 3Fish Audio1279
- 8Lightning V3.1 ProSmallest.ai1278
- 9Realtime TTS-2Inworld1270
- 10Gemini 3.8 Flash-Lite TTSGoogle1262
如何解讀 AI 基準評測指標與實務模型選型指南
單一排行榜分數難以反映正式環境中的回應延遲、推理 Token 成本與工具呼叫穩定度。本頁整合 Artificial Analysis 獨立實測數據,讓開發團隊在同一任務基準上交叉比對語言模型(LLM)、程式與工作流代理(Agent)以及多模態生成模型。
四大核心評測維度解析
綜合智能指數(Intelligence Index)
加權整合數學證明、科學推理、多步邏輯、程式碼生成與指令遵循等防污染題庫,反映模型處理高難度問題的真實上限。
單次任務耗時與成本(Time & Cost per Task)
僅看每秒 Token 數或百萬 Token 單價,會忽略推理模型在內部思考消耗的大量 Token。任務級指標直接衡量完成整套測試所需的總分鐘數與總美元成本。
代理框架(Harness)與實戰工程評測
評估模型結合真實終端機與程式碼庫時的完遂率,涵蓋 FrontierCode、Terminal-Bench、AutomationBench 與 GDPval-AA 實務知識工作 Elo 及 95% 信賴區間。
盲測 Arena Elo 與語音字詞錯誤率(AA-WER)
圖像、影片生成與語音合成(TTS)採用匿名雙盲人類偏好投票計算 Arena Elo(越高越好);語音辨識(STT)則以字詞錯誤率 WER(越低越好)衡量準確度。
不同應用場景的模型選型建議
| 應用場景 | 優先檢視指標 | 實務選型建議 |
|---|---|---|
| 複雜系統架構設計、跨檔案重構與深度研究 | 綜合智能指數・FrontierCode・Terminal-Bench | 優先選擇高推理強度旗艦模型搭配成熟代理框架,高一次通過率能大幅減少人工返工成本。 |
| 即時客服對話、搜尋摘要與前端互動介面 | 單次任務耗時(分)・低延遲表現 | 選擇不產生過多內部思考 Token 的高速輕中型模型,確保高併發下的即時體感回應。 |
| 大量文件分類、多語翻譯與結構化資料擷取批次作業 | 單次任務成本(USD)・準確度門檻 | 在達到品質門檻的模型中挑選單次任務總成本最低的開放權重或高性價比商用 API 模型。 |
| 廣告視覺素材、影片分鏡與多語旁白配音 | 細分任務 Arena Elo(T2I / 編輯 / I2V / TTS) | 文生圖(T2I)與圖像/影片編輯(Edit)的領先模型往往不同,建議依製作流程分段搭配專用模型。 |
常見問題(評測指標解讀)
為什麼部分每秒輸出速度很快的模型,單次任務耗時卻更長?
推理型模型在輸出最終答案前會先生成數千個內部思考 Token。即使每秒吞吐量高,當總生成量多出 5 至 10 倍時,整體完成時間與費用仍會上升。
斜紋標示的預覽(Preview)模型代表什麼意思?
代表尚未全面正式開放(GA)的早期預覽端點或研究發布數據,其最終定價與穩定吞吐量可能變動;正式上線系統建議優先採用具完整 GA 實測值的模型。
代理評測中的 95% 信賴區間應如何解讀?
多步驟終端機與軟體工程任務具有執行波動性。若兩個模型的信賴區間重疊,代表實質能力相當,可依任務成本與回應速度作為決策依據。