AI 벤치마크
집계 기준 · 출처 Artificial Analysis
언어 모델 코딩 · 에이전트 이미지 · 영상 · 오디오
Highlights
Artificial Analysis 핵심 지표지능 지수(Intelligence), 작업당 시간(Time per Task), 작업당 비용(Cost per Task) 3대 핵심 축 1행 와이드 정밀 비교
Intelligence (종합 지능 지수)
Time per Task (작업당 소요 시간 (분))
Cost per Task (작업당 비용 (가성비))
코딩 · 에이전트
Artificial Analysis 에이전트 평가실제 코드베이스·터미널 하네스 성능(Coding Agent Index)과 모델별 에이전트 벤치마크 4종 정밀 비교
Coding Agent Index (종합 에이전트 지수)
40개 하네스 중 상위 10개
- 1Claude Code · Fable 5.2 (Xhigh, Default Fallback)Anthropic58.5%
- 2Devin Fusion CLI · Opus 5.5 + GPT-6 LunaCognition58.4%
- 3Claude Code · Opus 5.5Anthropic58.2%
- 4Claude Code · Sonnet 5.5Anthropic56.3%
- 5Antigravity CLI · Gemini 4 CarbonGoogle55.5%
- 6Muse Code · Wonder FullMeta54.5%
- 7Codex · GPT-6.2 AstraOpenAI53.5%
- 8Codex · GPT-6 AstraOpenAI53.1%
- 9Claude Code · Fable 5.1Anthropic52.5%
- 10Antigravity CLI · Gemini 4 HydrogenGoogle52.3%
Execution Time (작업당 실행 시간 · 낮을수록 좋음)
40개 하네스 중 상위 10개
- 1Codex · GPT-6.2 SolOpenAI7.2m
- 2Codex · GPT-6.2 AstraOpenAI7.8m
- 3Claude Code · Fable 5.2 (Low, Default Fallback)Anthropic13.4m
- 4Muse Code · EmberMeta19.9m
- 5Codex · GPT-6.1 SolOpenAI21.9m
- 6Codex · GPT-6 LunaOpenAI23.5m
- 7Muse Code · Spark 1.3Meta24.4m
- 8Codex · GPT-6 AstraOpenAI26.0m
- 9Muse Code · WonderMeta27.2m
- 10Codex · GPT-6.1 TerraOpenAI28.1m
Cost per Task (작업당 비용 · 낮을수록 좋음)
39개 하네스 중 상위 10개
- 1Codex · GPT-6 LunaOpenAI$0.19
- 2Muse Code · EmberMeta$0.22
- 3Mirror · Beam 1.0Reflection$0.31
- 4DeepSeek Harness · V4.1 Flash 1017DeepSeek$0.32
- 5Codex · GPT-6.2 SolOpenAI$0.33
- 6Codex · GPT-6.2 AstraOpenAI$0.70
- 7Mistral Vibe · Large 4Mistral$1.02
- 8Codex · GPT-6.1 SolOpenAI$1.51
- 9Codex · GPT-6.1 TerraOpenAI$1.53
- 10Claude Code · Haiku 5.5Anthropic$2.25
FrontierCode (실전 소프트웨어 엔지니어링)
41개 릴리스 중 상위 10개
- 1Claude Fable 5.2 (medium)Anthropic64.0%
- 2Claude Opus 5.5 (medium)Anthropic57.1%
- 3GPT-6.1 Sol (max)OpenAI49.1%
- 4Claude Fable 5.1 (max)Anthropic49.0%
- 5Kimi K3.1 ProKimi47.1%
- 6GPT-6 Astra (max)OpenAI47.0%
- 7Muse Wonder (max)Meta46.5%
- 8Claude Sonnet 5.5 (xhigh)Anthropic46.1%
- 9Claude Haiku 5.5 (xhigh)Anthropic45.5%
- 10MiMo-V2.6-ProXiaomi45.4%
Terminal-Bench v4 (에이전트 터미널 수행)
101개 릴리스 중 상위 10개
- 1Kimi K3.1 ProKimi67.2%
- 2Gemini 4 Carbon (high)Google65.2%
- 3GPT-6.2 Astra (xhigh)OpenAI64.1%
- 4Claude Sonnet 5.5 (max)Anthropic63.6%
- 5Gemini 4 Neon (xhigh)Google63.6%
- 6Claude Fable 5.2 (xhigh)Anthropic61.6%
- 7GPT-6.2 Sol (max)OpenAI60.1%
- 8GPT-6 Astra (xhigh)OpenAI59.6%
- 9Claude Opus 5.5 (max)Anthropic59.6%
- 10Gemini 4 Argon (high)Google57.1%
AutomationBench-AA (SaaS 업무 워크플로우)
174개 릴리스 중 상위 10개
- 1Gemini 4 Neon (xhigh)Google79.3%
- 2Gemini 4 Carbon (high)Google77.8%
- 3Gemini 4 Argon (high)Google77.5%
- 4GPT-6.2 Astra (max)OpenAI77.2%
- 5Claude Fable 5.2 (max)Anthropic76.4%
- 6Gemini 4 Hydrogen (xhigh)Google76.1%
- 7Kimi K3.1 ProKimi73.3%
- 8Qwen4 MaxAlibaba72.6%
- 9MiniMax-M3.1-FlashMiniMax72.5%
- 10Claude Sonnet 5.5 (max)Anthropic71.8%
GDPval-AA (실무 지식 노동 Elo)
187개 릴리스 중 상위 10개
- 1Claude Opus 5.5 (max)Anthropic1866
- 2Kimi K3.1 ProKimi1861
- 3Muse Wonder Full (max)Meta1857
- 4Claude Sonnet 5.5 (max)Anthropic1838
- 5Claude Fable 5.2 (max)Anthropic1831
- 6Qwen4 MaxAlibaba1809
- 7Muse Wonder (max)Meta1770
- 8Claude Fable 5.1 (max)Anthropic1765
- 9DeepSeek V4.1 Flash 1017 (max)DeepSeek1746
- 10Gemini 4 Carbon (high)Google1733
이미지 · 영상 · 오디오
Artificial Analysis Arena사람이 블라인드로 고른 선호 투표(Arena Elo)와 음성 인식 오류율(WER)로 매긴 분야별 상위 모델
이미지 (Arena Elo)
115개 모델 중 상위 10개
- 1GPT Image 2.6 SunburstOpenAI1261
- 2GPT Image 2.5 SunburstOpenAI1229
- 3GPT Image 2.6 FlareOpenAI1227
- 4MAI-Image-2.7Microsoft AI1214
- 5GPT Image 2.5 FlareOpenAI1210
- 6GPT Image 2OpenAI1192
- 7Kling Image 4.0KlingAI1180
- 8Nano Banana 2.1Google1176
- 9MAI-Image-2.6Microsoft AI1168
- 10Grok Imagine Image 2.0SpaceXAI1167
영상 (Arena Elo)
34개 모델 중 상위 10개
- 1Wan 3.0Alibaba1174
- 2Utopai XUtopai Studios1168
- 3MiniMax H3MiniMax1159
- 4Dreamina Seedance 2.5ByteDance Seed1156
- 5Hyperflow H3Video Rebirth1154
- 6FLUX 3 MaxFal1152
- 7Gemini Omni Flash 1.2Google1151
- 8HeyGen Video 1HeyGen1149
- 9MiniMax H3 MaxFal1143
- 10FLUX 3Black Forest Labs1136
오디오 (Arena Elo)
101개 모델 중 상위 10개
- 1Eleven v4 TurboElevenLabs1341
- 2Eleven v4ElevenLabs1341
- 3Qwen-Audio-3.1-TTS-PlusAlibaba1299
- 4Sonic 3.6Cartesia1295
- 5Simba 3.5SpeechifyAI1293
- 6Gemini 3.8 Flash TTSGoogle1283
- 7Fish Audio Drama 3Fish Audio1279
- 8Lightning V3.1 ProSmallest.ai1278
- 9Realtime TTS-2Inworld1270
- 10Gemini 3.8 Flash-Lite TTSGoogle1262
AI 벤치마크 지표 읽는 법 및 실무 모델 선택 가이드
단일 리더보드 점수만으로는 실제 프로덕션 환경에서의 응답 지연, 토큰 비용, 도구 호출 안정성을 판단하기 어렵습니다. 본 페이지의 벤치마크는 Artificial Analysis의 독립 측정 데이터를 바탕으로 언어 모델(LLM), 코딩·업무 에이전트 하네스, 이미지·영상·오디오 멀티모달 모델을 동일한 과업 기준선 위에서 교차 비교할 수 있도록 구성했습니다.
4대 핵심 평가 축 해설
종합 지능 지수 (Intelligence Index)
수학적 증명, 과학 추론, 다단계 논리, 코드 생성 및 지시 이행 벤치마크를 가중 평균한 종합 역량 지표입니다. 단순 암기형 문답이 아니라 오염 방지(contamination-free) 문항과 고난도 추론 과제를 포함해 모델의 실질적인 문제 해결 상한선을 보여줍니다.
작업당 소요 시간 및 작업당 비용 (Time & Cost per Task)
초당 출력 토큰 수(tok/s)나 100만 토큰당 단가만 보면 추론(reasoning) 모델이 내부 사고 체인에 소모하는 수천~수만 토큰이 가려집니다. 작업당 지표는 동일한 평가 세트를 끝까지 완수하는 데 실제로 걸린 총 시간(분)과 총 과금 비용(USD)을 측정해 체감 효율을 정확히 반영합니다.
에이전트 하네스 & 실전 엔지니어링 평가
모델 단독 점수가 아니라 실제 터미널·파일시스템 하네스와 결합했을 때의 완수율을 측정합니다. FrontierCode(실전 저장소 이슈 해결), Terminal-Bench(리눅스 셸·도구 조작), AutomationBench(SaaS 복합 업무), GDPval-AA(실무 지식 노동 Elo) 및 95% 신뢰구간을 함께 확인해야 재현성을 검증할 수 있습니다.
블라인드 Arena Elo 및 오디오 단어 오류율 (AA-WER)
이미지·영상 생성 및 음성 합성(TTS)은 정량 정답이 없으므로 모델명을 가린 쌍대 비교 인간 투표로 산출한 Arena Elo(높을수록 우수)를 사용합니다. 반면 음성 인식(STT)은 실제 발화 대비 오탈자 비율을 뜻하는 단어 오류율(WER, 낮을수록 우수)로 정확도를 평가합니다.
도입 목적별 핵심 확인 지표
| 활용 시나리오 | 최우선 확인 지표 | 권장 선택 기준 |
|---|---|---|
| 복잡한 아키텍처 설계 · 코드 리팩터링 · 심층 리서치 | 종합 지능 지수 · FrontierCode · Terminal-Bench | 응답 시간이 수십 초 걸리더라도 추론 강도(high/max)가 높은 상위 플래그십 모델과 검증된 코딩 하네스 조합이 재작업 비용을 줄입니다. |
| 실시간 고객 응대 챗봇 · 검색 요약 · UI 인터랙션 | 작업당 소요 시간(분) · 첫 토큰 지연 및 비용 | 과도한 내부 추론 토큰을 쓰지 않는 고속 경량·중형 모델을 선택해 체감 응답 지연을 낮추고 동시 요청 처리량을 확보하는 것이 유리합니다. |
| 대량 문서 분류 · 번역 · 데이터 추출 배치 파이프라인 | 작업당 비용(USD) · 지능 대비 가성비 | 목표 정확도 임계치를 넘는 모델군 중에서 작업당 총비용이 가장 낮은 오픈 웨이트 또는 경량 상용 API 모델을 선택하면 운영비를 크게 절감할 수 있습니다. |
| 광고 시안 · 영상 프로토타이핑 · 다국어 보이스오버 제작 | 세부 과업별 Arena Elo (T2I / 편집 / I2V / TTS) | 텍스트→이미지(T2I) 강자와 기존 원본을 수정하는 이미지·영상 편집(Edit) 강자가 다르므로 제작 공정 단계별로 특화 모델을 분리해 조합하세요. |
자주 묻는 질문 (벤치마크 기준)
초당 토큰 속도(tok/s)가 빠른데도 작업당 소요 시간(분)이 길게 나오는 이유는 무엇인가요?
추론 특화 모델은 최종 답변을 출력하기 전에 긴 내부 사고(thinking tokens) 과정을 거치기 때문입니다. 초당 생성 속도가 빨라도 전체 생성 토큰 수가 5~10배 많으면 실제 과업 완료 시간과 비용은 더 크게 발생할 수 있습니다.
빗금 표시된 프리뷰(Preview) 모델과 일반 공개 모델은 어떻게 다른가요?
프리뷰 표시는 연구소 발표 수치나 제한된 초기 프리뷰 엔드포인트 측정치로, 정식 일반 공개(GA) API의 속도·과금 체계가 확정되기 전 상태를 뜻합니다. 실서비스 도입 시에는 정식 API 측정치가 모두 공개된 모델을 우선 검토하는 것이 안전합니다.
에이전트 벤치마크에 표시된 95% 신뢰구간(±)은 어떻게 해석해야 하나요?
실제 터미널 및 웹 환경 과업은 실행마다 비결정적 변동이 발생합니다. 두 모델의 점수 차이가 신뢰구간 범위 안에 겹친다면 사실상 동급 성능으로 보고, 작업당 비용과 응답 속도를 기준으로 선택하는 것이 합리적입니다.