평가·벤치마크안정

Chatbot Arena (LMArena)

이름을 가린 두 답 중 하나를 고른 수백만 표를 1952년 돼지고기 맛 비교의 수식으로 줄 세운 순위표 — 점수보다 신뢰구간과 스타일 보정을 먼저 봐야 한다

직접 해보기 6실측

논문 공식 사이트

종류: 서비스
사실 확인: 2026.11.07

TRY IT

직접 해보기

OVERVIEW

개요

무엇인가

Chatbot Arena는 UC버클리·CMU·스탠퍼드·UCSD 연구자들(LMSYS)이 2023년 4월 24일 연 사람 투표 기반 LLM 순위표입니다. 사용자가 아무 질문이나 넣으면 무작위로 뽑힌 두 모델이 이름을 가린 채 답하고, 사용자가 'A가 낫다 / B가 낫다 / 비슷하다 / 둘 다 별로다' 중 하나를 고른 뒤에 이름이 공개됩니다. 첫 순위표(2023년 5월)는 약 4,700표·모델 9개였고, 2026년 11월 텍스트 순위표는 914만 표·모델 419개입니다.

2024년 9월 lmarena.ai로 옮겼고, 2025년 법인이 됐으며, 2026년 1월 28일 이름을 Arena(arena.ai)로 바꿨습니다. 2026년 10월 시리즈 B 2억 달러(기업가치 31억 달러)를 받았고 연 환산 매출은 1억 달러 이상입니다. 평가받는 AI 회사들이 동시에 유료 평가 서비스의 고객이라는 점이 뒤의 논란과 이어집니다.

어떻게 동작하나

점수는 브래들리–테리(BT) 모형으로 매깁니다. 강함 지수 $\pi$ 를 두고 $i$ 가 $j$ 를 이길 확률을 $\pi_i/(\pi_i+\pi_j)$ 로 놓는 모형입니다(체르멜로 1929, 브래들리·테리 1952). $\pi_i = 10^{R_i/400}$ 으로 바꿔 쓰면 체스의 Elo 기대 점수 ${1}/(1+10^{(R_j-R_i)/400})$ 과 똑같아집니다. 400점 차이가 승산 10배가 되도록 정한 눈금입니다.

계산 방식	온라인 Elo	브래들리–테리 최대우도
방법	한 판 끝날 때마다 K × (실제 − 기대)만큼 갱신. BT 우도를 한 판씩 푸는 확률적 경사 하강법과 같음	모든 경기 기록을 한꺼번에 놓고 가장 그럴듯한 점수를 구함
장점	실력이 변하는 체스 선수를 따라감	실력이 고정된 모델 버전에 안정적
약점	경기를 넣는 순서에 따라 순위가 바뀜	모든 대상이 비교 사슬로 이어져 있어야 수렴
아레나	2023년 5월~12월	2023년 12월부터 + 부트스트랩 신뢰구간

그래서 지금 아레나 점수는 엄밀히 'Elo 눈금으로 표시한 BT 점수'입니다. 순위는 '그 모델보다 신뢰구간이 겹치지 않게 확실히 나은 모델 수 + 1'이라 공동 순위가 자주 나옵니다. 2024년 8월에는 스타일 보정을 넣었습니다. BT 모형에 두 답의 길이 차이와 제목·목록·굵은 글씨 개수 차이를 공변량으로 함께 넣어 '꾸밈 덕에 이긴 몫'을 떼어 내며, 지금 기본 화면이 보정 순위입니다. 표가 충분히 쌓이기 전의 점수에는 '잠정(preliminary)'이 붙습니다.

빠른 시작

순위표를 보는 것 외에, 같은 방법으로 사내 미니 아레나를 만들 수 있습니다. 블라인드 비교 결과가 battles.csv(열 model_a, model_b, winner — a·b·tie)에 있다면 BT 점수는 로지스틱 회귀 한 번입니다.

python

import numpy as np, pandas as pd
from sklearn.linear_model import LogisticRegression

df = pd.read_csv("battles.csv")
models = sorted(set(df.model_a) | set(df.model_b))
idx = {m: i for i, m in enumerate(models)}

X = np.zeros((len(df), len(models)))
X[np.arange(len(df)), df.model_a.map(idx)] = 1     # A는 +1
X[np.arange(len(df)), df.model_b.map(idx)] = -1    # B는 -1
s = df.winner.map({"a": 1.0, "b": 0.0, "tie": 0.5}).to_numpy()

# 한 판을 'A 승' 행(가중치 s)과 'B 승' 행(가중치 1-s)으로 펼친다 → 무승부는 반 승
lr = LogisticRegression(fit_intercept=False, C=1e6)
lr.fit(np.vstack([X, X]), np.r_[np.ones(len(df)), np.zeros(len(df))],
       sample_weight=np.r_[s, 1 - s])

elo = 400 / np.log(10) * lr.coef_[0]                # Elo 눈금으로 바꾸기
for m, r in sorted(zip(models, elo - elo.mean() + 1000), key=lambda t: -t[1]):
    print(f"{m:30s} {r:7.1f}")

모델 다섯 개라면 판 수가 수백 개는 돼야 순위가 의미를 갖습니다. 행을 중복 허용으로 다시 뽑아 수백 번 반복하면 신뢰구간(부트스트랩), 길이 차이 열을 하나 더 넣으면 간단한 스타일 보정이 됩니다.

코어닷투데이 실측

아레나 공개 데이터 lmarena-ai/arena-human-preference-140k(Hugging Face, 2025-04-17~07-24, 13만 5,634건, 모델 53개)로 순위를 다시 계산했습니다. 무승부·'둘 다 별로'는 반 승, 평균 1,000점으로 맞춰 아레나 공식 점수(1,500점 안팎)와 숫자는 다르고 차이만 의미가 있습니다. 신뢰구간은 부트스트랩 95%, 온라인 Elo는 K=4·초기값 1,000·무작위 순서 40회입니다.

2~6위는 구분되지 않았습니다. 1위 gemini-2.5-pro는 신뢰구간이 겹치지 않는 확실한 1위였지만, 2~6위가 1,075~1,098점에 몰려 아레나 방식으로는 다섯 모두 공동 2위입니다.
표가 4배 늘면 신뢰구간이 대략 절반이 됐습니다. 5,000표 이상 받은 모델 33개의 95% 반폭 중앙값은 전체 1,000표(모델당 47표)에서 ±84점, 3,000표 ±46점, 1만 표 ±24점, 3만 표 ±14점, 전체(모델당 6,477표) ±7점이었습니다.
온라인 Elo는 순서에 흔들렸습니다. chatgpt-4o-latest는 BT로 5위인데 순서를 섞자 1위~14위를 오갔고, 7월에 늦게 들어온 grok-4는 BT 3위·시간순 Elo 9위였습니다.
긴 답이 이겼습니다. 승부가 갈리고 길이가 다른 9만 8,097판에서 더 긴 답의 승률은 61.8%, 길이 차이 1.2배 이하 52.1%에서 4배 초과 72.5%까지 올랐습니다. 꾸밈(제목·목록·굵은 글씨)이 많은 쪽 승률은 59.5%였습니다.
스타일 보정이 순위를 크게 바꿨습니다. o3 4위→1위, claude-opus-4 29위→10위, claude-sonnet-4 39위→20위, llama-4-maverick 실험판 9위→23위.
Llama 4 실험판과 출시판은 131점 차이(53개 중 9위 대 44위)였습니다. 길이 중앙값 1,383 대 609토큰, 답당 굵은 글씨 38개 대 7개, 직접 맞붙은 124판에서 63승 20패. 보정하자 격차가 57점으로 줄어 격차의 57%가 길이와 꾸밈으로 설명됐습니다.
한국어만 보면 오차가 7배 가까이 컸습니다. 한국어 대화는 2,486건(1.8%), 80표 이상 모델 36개의 반폭 중앙값이 ±7점에서 ±47점으로 커졌습니다. 전체와 한국어 순위의 스피어먼 상관은 0.92였지만 o3는 4위→14위, 실험판은 9위→5위로 움직였습니다.
비공개 변형 거품은 표 수에 달렸습니다. 실력이 같은 변형 27개 중 최고만 공개하는 시뮬레이션(4,000회)에서 변형당 300표면 평균 40점, 1,000표면 22점, 3,000표면 13점이 부풀었습니다. 논문 쪽 '약 100점'과 아레나 쪽 '약 11점'이 각자의 가정에서는 둘 다 맞는 셈입니다.

언제 쓰고, 언제 피하나

상황	판단
대화형 모델의 대략적인 선호 판도를 볼 때	가장 큰 공개 실험. 스타일 보정 순위와 신뢰구간을 함께 본다
짧고 정확한 답이 필요한 업무	보정 켠 순위가 더 가깝다. 보정을 끄면 오르는 모델은 길이로 점수를 얻는 모델
한국어 서비스	전체가 아니라 한국어 범주(2026-11-06 기준 14만 2,377표)와 그 신뢰구간을 본다
사실 정확성·코딩 정답률이 기준	아레나 단독은 피한다. 표는 선호를 잴 뿐 정답을 재지 않는다
최종 선택	업무 질문 수십~수백 개로 사내 블라인드 비교(위 코드)

한계와 주의

'1위' 기사는 대개 오차 안의 이야기입니다. 2026-11-06 텍스트 순위표에서 1위 Gemini 4 Carbon(High) 1526 ±9는 4,483표뿐인 잠정 점수였고 2위 Argon(1523)과 신뢰구간이 겹쳤습니다. 1~5위 차이가 22점입니다. 같은 날 한국어 1위는 Claude Fable 5(High) 1499 ±22였습니다.
비공개 테스트와 데이터 쏠림. 「리더보드 착시」 논문(2025-04-29)은 메타가 Llama 4 전에 텍스트 아레나에서 비공개 변형 27개(비전 포함 43개)를 시험했고, 구글·오픈AI 모델이 대결 데이터의 19.2%·20.4%를 받았다고 지적했습니다. 아레나는 공개 모델 비중 40.9%, 실제 효과 약 11점으로 반박했고, '112% 상승'은 실제 아레나가 아니라 정적 벤치마크 Arena-Hard 수치라고 짚었습니다. 양쪽 숫자를 인용할 때 무엇을 잰 값인지 구분합니다.
익명은 얇습니다. 답의 말투만으로 모델을 95% 넘게 맞힐 수 있고, 오프라인 시뮬레이션에서 약 1,000표, 내 모델이 없는 판을 노리면 수백 표로 순위가 움직였습니다.
투표자는 사실을 확인하지 않습니다. 서지 AI는 투표 500건 중 52%에 동의하지 않았다고 했지만, 라벨링 회사의 글이라 이해관계를 감안해야 합니다.
숫자는 같은 집단 안의 상대 위치입니다. 다른 순위표·다른 기간의 점수와 직접 비교하지 않습니다. 순위표 모델 이름 뒤의 실험판·High·Max 표기가 API로 받는 모델과 같은지도 확인합니다.
위 실측은 2025년 4~7월 공개 데이터(모델 53개) 기준이며, 언어 구분은 데이터셋의 language 필드를 따랐습니다.

DEEP DIVE