#Elo
2개의 포스트
석 달 만에 바뀐 영상 AI 지형도 — Veo는 Omni로, Sora는 퇴장, 30초 경쟁과 엇갈린 리더보드 (2026년 11월 특집)
8월에 영상 모델 프롬프트 가이드를 쓴 뒤 석 달 동안 판이 다시 바뀌었다. 구글은 Veo 4 대신 대화로 영상을 고치는 Gemini Omni를 내놓고 Veo 3.1 프리뷰를 은퇴시켰다. 오픈AI는 9월 24일 Sora API까지 닫았다. 콰이쇼우·알리바바·바이트댄스는 한 번에 30초를 만드는 모델을 냈고, 알리바바는 Wan 3.0부터 가중치를 닫았다. 반대로 가중치를 푼 MiniMax H3 위에 다른 회사들이 모델을 올려, AA 리더보드 상위 7개 중 4개가 H3 계열이 됐다. 그런데 두 대표 리더보드는 1등을 합의하지 못한다. 두 보드에 함께 오른 11개 모델의 순위 상관은 0.37이고, 상위 8개만 보면 −0.64로 뒤집힌다. 1분 생성 가격은 2.4달러부터 34달러까지 14배 벌어졌다. 연표, 두 리더보드 비교, 가격-품질 경계, 재시도까지 넣은 비용 계산기, 사양 비교표, 조건별 모델 고르기까지 위젯 6종으로 정리했다.
체스 점수는 어떻게 AI 순위표가 됐나 — Elo, 브래들리–테리, 그리고 Chatbot Arena의 빛과 그림자 (특집)
AI 모델이 새로 나오면 ‘아레나 1위’라는 말이 따라붙는다. 그 순위는 사람들이 이름을 가린 두 답 중 하나를 고른 수백만 표로 만든다. 표를 점수로 바꾸는 계산은 1960년 미국 체스계가 채택한 Elo 레이팅과, 1952년 돼지고기 맛 비교 예제를 실은 브래들리–테리 모형에서 왔다. 이 글은 ‘점수보다 비교가 쉽다’는 1927년 심리학 실험부터 체스 레이팅, Chatbot Arena의 탄생까지 따라간다. 이어 Llama 4 ‘실험판’ 사건, 비공개 변형 27개를 지적한 ‘리더보드 착시’ 논문, 1,000표로 순위를 움직이는 조작 연구, 길고 화려한 답이 이기는 문제까지 점수 조작 논란을 정리한다. 아레나 공개 투표 13만 5,634건으로 순위를 직접 다시 계산했다. 같은 Llama 4 Maverick의 실험판과 출시판은 131점 차이가 났고, 답의 길이와 꾸밈을 보정하자 격차가 57점으로 줄었다. 인터랙티브 위젯 6종, 코어닷투데이 실측, 삽화 15장.