AI 벤치마크

집계 기준 · 출처 Artificial Analysis

언어 모델 코딩 · 에이전트 이미지 · 영상 · 오디오

Highlights

Artificial Analysis 핵심 지표

지능 지수(Intelligence), 작업당 시간(Time per Task), 작업당 비용(Cost per Task) 3대 핵심 축 1행 와이드 정밀 비교

Intelligence (종합 지능 지수)

Updated
1
Fable 5.2
Anthropic
65
2
Astra 6.2
OpenAI
62
3
Gemini 4 Neon
Google
61
4
Opus 5.5
Anthropic
59
5
Sol 6.2
OpenAI
57
6
Muse Wonder Full
Meta
50
7
Kimi K3.1 Pro
Kimi
46
8
Muse Wonder
Meta
44
9
Qwen4 Max
Alibaba
43
10
Grok 4.7
SpaceXAI
35
11
DeepSeek V4.1 Flash 1017
DeepSeek
33
12
GLM-5.3
Z AI
32

Time per Task (작업당 소요 시간 (분))

Updated
1
Sol 6.2
OpenAI
8.5m
2
DeepSeek V4.1 Flash 1017
DeepSeek
13.5m
3
Muse Wonder
Meta
13.7m
4
Astra 6.2
OpenAI
13.7m
5
Gemini 3.8 Flash
Google
14.2m
6
Gemini 4 Neon
Google
21.5m
7
GLM-5.3
Z AI
23.1m
8
Opus 5.5
Anthropic
24.6m
9
Grok 4.7
SpaceXAI
24.9m
10
Qwen4 Max
Alibaba
31.3m
11
Kimi K3.1 Pro
Kimi
39.3m
12
Fable 5.2
Anthropic
41.2m

Cost per Task (작업당 비용 (가성비))

Updated
1
DeepSeek V4.1 Flash 1017
DeepSeek
$0.60
2
Sol 6.2
OpenAI
$1.01
3
Qwen4 Max
Alibaba
$3.27
4
Kimi K3.1 Pro
Kimi
$3.68
5
Astra 6.2
OpenAI
$4.00
6
GLM-5.3
Z AI
$5.01
7
Gemini 4 Neon
Google
$6.44
8
Muse Wonder
Meta
$6.95
9
Gemini 3.8 Flash
Google
$7.77
10
Grok 4.7
SpaceXAI
$7.77
11
Opus 5.5
Anthropic
$10.04
12
Fable 5.2
Anthropic
$26.54

코딩 · 에이전트

Artificial Analysis 에이전트 평가

실제 코드베이스·터미널 하네스 성능(Coding Agent Index)과 모델별 에이전트 벤치마크 4종 정밀 비교

코딩 에이전트 하네스 FrontierCode v1.1 · SWE-Atlas-QnA · Terminal-Bench v4 종합

Coding Agent Index (종합 에이전트 지수)

Updated

40개 하네스 중 상위 10개

  1. 1
    Claude Code · Fable 5.2 (Xhigh, Default Fallback)
    Anthropic
    58.5%
  2. 2
    Devin Fusion CLI · Opus 5.5 + GPT-6 Luna
    Cognition
    58.4%
  3. 3
    Claude Code · Opus 5.5
    Anthropic
    58.2%
  4. 4
    Claude Code · Sonnet 5.5
    Anthropic
    56.3%
  5. 5
    Antigravity CLI · Gemini 4 Carbon
    Google
    55.5%
  6. 6
    Muse Code · Wonder Full
    Meta
    54.5%
  7. 7
    Codex · GPT-6.2 Astra
    OpenAI
    53.5%
  8. 8
    Codex · GPT-6 Astra
    OpenAI
    53.1%
  9. 9
    Claude Code · Fable 5.1
    Anthropic
    52.5%
  10. 10
    Antigravity CLI · Gemini 4 Hydrogen
    Google
    52.3%

Execution Time (작업당 실행 시간 · 낮을수록 좋음)

Updated

40개 하네스 중 상위 10개

  1. 1
    Codex · GPT-6.2 Sol
    OpenAI
    7.2m
  2. 2
    Codex · GPT-6.2 Astra
    OpenAI
    7.8m
  3. 3
    Claude Code · Fable 5.2 (Low, Default Fallback)
    Anthropic
    13.4m
  4. 4
    Muse Code · Ember
    Meta
    19.9m
  5. 5
    Codex · GPT-6.1 Sol
    OpenAI
    21.9m
  6. 6
    Codex · GPT-6 Luna
    OpenAI
    23.5m
  7. 7
    Muse Code · Spark 1.3
    Meta
    24.4m
  8. 8
    Codex · GPT-6 Astra
    OpenAI
    26.0m
  9. 9
    Muse Code · Wonder
    Meta
    27.2m
  10. 10
    Codex · GPT-6.1 Terra
    OpenAI
    28.1m

Cost per Task (작업당 비용 · 낮을수록 좋음)

39개 하네스 중 상위 10개

  1. 1
    Codex · GPT-6 Luna
    OpenAI
    $0.19
  2. 2
    Muse Code · Ember
    Meta
    $0.22
  3. 3
    Mirror · Beam 1.0
    Reflection
    $0.31
  4. 4
    DeepSeek Harness · V4.1 Flash 1017
    DeepSeek
    $0.32
  5. 5
    Codex · GPT-6.2 Sol
    OpenAI
    $0.33
  6. 6
    Codex · GPT-6.2 Astra
    OpenAI
    $0.70
  7. 7
    Mistral Vibe · Large 4
    Mistral
    $1.02
  8. 8
    Codex · GPT-6.1 Sol
    OpenAI
    $1.51
  9. 9
    Codex · GPT-6.1 Terra
    OpenAI
    $1.53
  10. 10
    Claude Code · Haiku 5.5
    Anthropic
    $2.25
모델 에이전트 벤치마크 릴리스별 최고점 대표 변형 기준 상위 10개 모델

FrontierCode (실전 소프트웨어 엔지니어링)

Updated

41개 릴리스 중 상위 10개

  1. 1
    Claude Fable 5.2 (medium)
    Anthropic
    64.0%
  2. 2
    Claude Opus 5.5 (medium)
    Anthropic
    57.1%
  3. 3
    GPT-6.1 Sol (max)
    OpenAI
    49.1%
  4. 4
    Claude Fable 5.1 (max)
    Anthropic
    49.0%
  5. 5
    Kimi K3.1 Pro
    Kimi
    47.1%
  6. 6
    GPT-6 Astra (max)
    OpenAI
    47.0%
  7. 7
    Muse Wonder (max)
    Meta
    46.5%
  8. 8
    Claude Sonnet 5.5 (xhigh)
    Anthropic
    46.1%
  9. 9
    Claude Haiku 5.5 (xhigh)
    Anthropic
    45.5%
  10. 10
    MiMo-V2.6-Pro
    Xiaomi
    45.4%

Terminal-Bench v4 (에이전트 터미널 수행)

Updated

101개 릴리스 중 상위 10개

  1. 1
    Kimi K3.1 Pro
    Kimi
    67.2%
  2. 2
    Gemini 4 Carbon (high)
    Google
    65.2%
  3. 3
    GPT-6.2 Astra (xhigh)
    OpenAI
    64.1%
  4. 4
    Claude Sonnet 5.5 (max)
    Anthropic
    63.6%
  5. 5
    Gemini 4 Neon (xhigh)
    Google
    63.6%
  6. 6
    Claude Fable 5.2 (xhigh)
    Anthropic
    61.6%
  7. 7
    GPT-6.2 Sol (max)
    OpenAI
    60.1%
  8. 8
    GPT-6 Astra (xhigh)
    OpenAI
    59.6%
  9. 9
    Claude Opus 5.5 (max)
    Anthropic
    59.6%
  10. 10
    Gemini 4 Argon (high)
    Google
    57.1%

AutomationBench-AA (SaaS 업무 워크플로우)

Updated

174개 릴리스 중 상위 10개

  1. 1
    Gemini 4 Neon (xhigh)
    Google
    79.3%
  2. 2
    Gemini 4 Carbon (high)
    Google
    77.8%
  3. 3
    Gemini 4 Argon (high)
    Google
    77.5%
  4. 4
    GPT-6.2 Astra (max)
    OpenAI
    77.2%
  5. 5
    Claude Fable 5.2 (max)
    Anthropic
    76.4%
  6. 6
    Gemini 4 Hydrogen (xhigh)
    Google
    76.1%
  7. 7
    Kimi K3.1 Pro
    Kimi
    73.3%
  8. 8
    Qwen4 Max
    Alibaba
    72.6%
  9. 9
    MiniMax-M3.1-Flash
    MiniMax
    72.5%
  10. 10
    Claude Sonnet 5.5 (max)
    Anthropic
    71.8%

GDPval-AA (실무 지식 노동 Elo)

Updated

187개 릴리스 중 상위 10개

  1. 1
    Claude Opus 5.5 (max)
    Anthropic
    1866
  2. 2
    Kimi K3.1 Pro
    Kimi
    1861
  3. 3
    Muse Wonder Full (max)
    Meta
    1857
  4. 4
    Claude Sonnet 5.5 (max)
    Anthropic
    1838
  5. 5
    Claude Fable 5.2 (max)
    Anthropic
    1831
  6. 6
    Qwen4 Max
    Alibaba
    1809
  7. 7
    Muse Wonder (max)
    Meta
    1770
  8. 8
    Claude Fable 5.1 (max)
    Anthropic
    1765
  9. 9
    DeepSeek V4.1 Flash 1017 (max)
    DeepSeek
    1746
  10. 10
    Gemini 4 Carbon (high)
    Google
    1733

이미지 · 영상 · 오디오

Artificial Analysis Arena

사람이 블라인드로 고른 선호 투표(Arena Elo)와 음성 인식 오류율(WER)로 매긴 분야별 상위 모델

이미지 (Arena Elo)

115개 모델 중 상위 10개

  1. 1
    GPT Image 2.6 Sunburst
    OpenAI
    1261
  2. 2
    GPT Image 2.5 Sunburst
    OpenAI
    1229
  3. 3
    GPT Image 2.6 Flare
    OpenAI
    1227
  4. 4
    MAI-Image-2.7
    Microsoft AI
    1214
  5. 5
    GPT Image 2.5 Flare
    OpenAI
    1210
  6. 6
    GPT Image 2
    OpenAI
    1192
  7. 7
    Kling Image 4.0
    KlingAI
    1180
  8. 8
    Nano Banana 2.1
    Google
    1176
  9. 9
    MAI-Image-2.6
    Microsoft AI
    1168
  10. 10
    Grok Imagine Image 2.0
    SpaceXAI
    1167

영상 (Arena Elo)

34개 모델 중 상위 10개

  1. 1
    Wan 3.0
    Alibaba
    1174
  2. 2
    Utopai X
    Utopai Studios
    1168
  3. 3
    MiniMax H3
    MiniMax
    1159
  4. 4
    Dreamina Seedance 2.5
    ByteDance Seed
    1156
  5. 5
    Hyperflow H3
    Video Rebirth
    1154
  6. 6
    FLUX 3 Max
    Fal
    1152
  7. 7
    Gemini Omni Flash 1.2
    Google
    1151
  8. 8
    HeyGen Video 1
    HeyGen
    1149
  9. 9
    MiniMax H3 Max
    Fal
    1143
  10. 10
    FLUX 3
    Black Forest Labs
    1136

오디오 (Arena Elo)

101개 모델 중 상위 10개

  1. 1
    Eleven v4 Turbo
    ElevenLabs
    1341
  2. 2
    Eleven v4
    ElevenLabs
    1341
  3. 3
    Qwen-Audio-3.1-TTS-Plus
    Alibaba
    1299
  4. 4
    Sonic 3.6
    Cartesia
    1295
  5. 5
    Simba 3.5
    SpeechifyAI
    1293
  6. 6
    Gemini 3.8 Flash TTS
    Google
    1283
  7. 7
    Fish Audio Drama 3
    Fish Audio
    1279
  8. 8
    Lightning V3.1 Pro
    Smallest.ai
    1278
  9. 9
    Realtime TTS-2
    Inworld
    1270
  10. 10
    Gemini 3.8 Flash-Lite TTS
    Google
    1262
방법론 및 지표 해설

AI 벤치마크 지표 읽는 법 및 실무 모델 선택 가이드

단일 리더보드 점수만으로는 실제 프로덕션 환경에서의 응답 지연, 토큰 비용, 도구 호출 안정성을 판단하기 어렵습니다. 본 페이지의 벤치마크는 Artificial Analysis의 독립 측정 데이터를 바탕으로 언어 모델(LLM), 코딩·업무 에이전트 하네스, 이미지·영상·오디오 멀티모달 모델을 동일한 과업 기준선 위에서 교차 비교할 수 있도록 구성했습니다.

4대 핵심 평가 축 해설

LLM · 추론

종합 지능 지수 (Intelligence Index)

수학적 증명, 과학 추론, 다단계 논리, 코드 생성 및 지시 이행 벤치마크를 가중 평균한 종합 역량 지표입니다. 단순 암기형 문답이 아니라 오염 방지(contamination-free) 문항과 고난도 추론 과제를 포함해 모델의 실질적인 문제 해결 상한선을 보여줍니다.

속도 · 비용

작업당 소요 시간 및 작업당 비용 (Time & Cost per Task)

초당 출력 토큰 수(tok/s)나 100만 토큰당 단가만 보면 추론(reasoning) 모델이 내부 사고 체인에 소모하는 수천~수만 토큰이 가려집니다. 작업당 지표는 동일한 평가 세트를 끝까지 완수하는 데 실제로 걸린 총 시간(분)과 총 과금 비용(USD)을 측정해 체감 효율을 정확히 반영합니다.

코딩 · 에이전트

에이전트 하네스 & 실전 엔지니어링 평가

모델 단독 점수가 아니라 실제 터미널·파일시스템 하네스와 결합했을 때의 완수율을 측정합니다. FrontierCode(실전 저장소 이슈 해결), Terminal-Bench(리눅스 셸·도구 조작), AutomationBench(SaaS 복합 업무), GDPval-AA(실무 지식 노동 Elo) 및 95% 신뢰구간을 함께 확인해야 재현성을 검증할 수 있습니다.

멀티모달

블라인드 Arena Elo 및 오디오 단어 오류율 (AA-WER)

이미지·영상 생성 및 음성 합성(TTS)은 정량 정답이 없으므로 모델명을 가린 쌍대 비교 인간 투표로 산출한 Arena Elo(높을수록 우수)를 사용합니다. 반면 음성 인식(STT)은 실제 발화 대비 오탈자 비율을 뜻하는 단어 오류율(WER, 낮을수록 우수)로 정확도를 평가합니다.

도입 목적별 핵심 확인 지표

활용 시나리오최우선 확인 지표권장 선택 기준
복잡한 아키텍처 설계 · 코드 리팩터링 · 심층 리서치종합 지능 지수 · FrontierCode · Terminal-Bench응답 시간이 수십 초 걸리더라도 추론 강도(high/max)가 높은 상위 플래그십 모델과 검증된 코딩 하네스 조합이 재작업 비용을 줄입니다.
실시간 고객 응대 챗봇 · 검색 요약 · UI 인터랙션작업당 소요 시간(분) · 첫 토큰 지연 및 비용과도한 내부 추론 토큰을 쓰지 않는 고속 경량·중형 모델을 선택해 체감 응답 지연을 낮추고 동시 요청 처리량을 확보하는 것이 유리합니다.
대량 문서 분류 · 번역 · 데이터 추출 배치 파이프라인작업당 비용(USD) · 지능 대비 가성비목표 정확도 임계치를 넘는 모델군 중에서 작업당 총비용이 가장 낮은 오픈 웨이트 또는 경량 상용 API 모델을 선택하면 운영비를 크게 절감할 수 있습니다.
광고 시안 · 영상 프로토타이핑 · 다국어 보이스오버 제작세부 과업별 Arena Elo (T2I / 편집 / I2V / TTS)텍스트→이미지(T2I) 강자와 기존 원본을 수정하는 이미지·영상 편집(Edit) 강자가 다르므로 제작 공정 단계별로 특화 모델을 분리해 조합하세요.

자주 묻는 질문 (벤치마크 기준)

초당 토큰 속도(tok/s)가 빠른데도 작업당 소요 시간(분)이 길게 나오는 이유는 무엇인가요?

추론 특화 모델은 최종 답변을 출력하기 전에 긴 내부 사고(thinking tokens) 과정을 거치기 때문입니다. 초당 생성 속도가 빨라도 전체 생성 토큰 수가 5~10배 많으면 실제 과업 완료 시간과 비용은 더 크게 발생할 수 있습니다.

빗금 표시된 프리뷰(Preview) 모델과 일반 공개 모델은 어떻게 다른가요?

프리뷰 표시는 연구소 발표 수치나 제한된 초기 프리뷰 엔드포인트 측정치로, 정식 일반 공개(GA) API의 속도·과금 체계가 확정되기 전 상태를 뜻합니다. 실서비스 도입 시에는 정식 API 측정치가 모두 공개된 모델을 우선 검토하는 것이 안전합니다.

에이전트 벤치마크에 표시된 95% 신뢰구간(±)은 어떻게 해석해야 하나요?

실제 터미널 및 웹 환경 과업은 실행마다 비결정적 변동이 발생합니다. 두 모델의 점수 차이가 신뢰구간 범위 안에 겹친다면 사실상 동급 성능으로 보고, 작업당 비용과 응답 속도를 기준으로 선택하는 것이 합리적입니다.