체스 점수는 어떻게 AI 순위표가 됐나 — Elo, 브래들리–테리, 그리고 Chatbot Arena의 빛과 그림자 (특집)
AI 모델이 새로 나오면 ‘아레나 1위’라는 말이 따라붙는다. 그 순위는 사람들이 이름을 가린 두 답 중 하나를 고른 수백만 표로 만든다. 표를 점수로 바꾸는 계산은 1960년 미국 체스계가 채택한 Elo 레이팅과, 1952년 돼지고기 맛 비교 예제를 실은 브래들리–테리 모형에서 왔다. 이 글은 ‘점수보다 비교가 쉽다’는 1927년 심리학 실험부터 체스 레이팅, Chatbot Arena의 탄생까지 따라간다. 이어 Llama 4 ‘실험판’ 사건, 비공개 변형 27개를 지적한 ‘리더보드 착시’ 논문, 1,000표로 순위를 움직이는 조작 연구, 길고 화려한 답이 이기는 문제까지 점수 조작 논란을 정리한다. 아레나 공개 투표 13만 5,634건으로 순위를 직접 다시 계산했다. 같은 Llama 4 Maverick의 실험판과 출시판은 131점 차이가 났고, 답의 길이와 꾸밈을 보정하자 격차가 57점으로 줄었다. 인터랙티브 위젯 6종, 코어닷투데이 실측, 삽화 15장.
