#리더보드
2개의 포스트
석 달 만에 바뀐 영상 AI 지형도 — Veo는 Omni로, Sora는 퇴장, 30초 경쟁과 엇갈린 리더보드 (2026년 11월 특집)
8월에 영상 모델 프롬프트 가이드를 쓴 뒤 석 달 동안 판이 다시 바뀌었다. 구글은 Veo 4 대신 대화로 영상을 고치는 Gemini Omni를 내놓고 Veo 3.1 프리뷰를 은퇴시켰다. 오픈AI는 9월 24일 Sora API까지 닫았다. 콰이쇼우·알리바바·바이트댄스는 한 번에 30초를 만드는 모델을 냈고, 알리바바는 Wan 3.0부터 가중치를 닫았다. 반대로 가중치를 푼 MiniMax H3 위에 다른 회사들이 모델을 올려, AA 리더보드 상위 7개 중 4개가 H3 계열이 됐다. 그런데 두 대표 리더보드는 1등을 합의하지 못한다. 두 보드에 함께 오른 11개 모델의 순위 상관은 0.37이고, 상위 8개만 보면 −0.64로 뒤집힌다. 1분 생성 가격은 2.4달러부터 34달러까지 14배 벌어졌다. 연표, 두 리더보드 비교, 가격-품질 경계, 재시도까지 넣은 비용 계산기, 사양 비교표, 조건별 모델 고르기까지 위젯 6종으로 정리했다.
시험지를 미리 본 모델 — GPT-2의 8-gram 검사부터 에이전트의 git log까지, 벤치마크 오염의 모든 것 (특집)
언어 모델을 채점하는 시험 문제는 대부분 웹에 공개돼 있고, 모델은 그 웹으로 학습한다. 시험 문제가 학습 데이터에 섞여 드는 것을 벤치마크 오염이라 한다. 이 글은 2019년 GPT-2의 8-gram 검사, 2020년 GPT-3의 필터 버그, BIG-bench의 카나리 문자열, GPT-4의 코드포스 10대 0, 바꿔 쓴 시험 문제로 GPT-4를 앞지른 13B 모델, 그리고 에이전트가 평가 중 git log로 미래의 정답을 읽은 2025년 사건까지 오염의 역사를 따라간다. 그리고 직접 쟀다. 공개 모델 13종을 GSM8K 원문과 숫자만 바꾼 변형으로 채점했고, 작은 모델에 시험 문제를 일부러 보여 주며 오염시켰다. 원문을 64번 본 모델은 그 문항에서 20%포인트 올랐지만 숫자만 바꿔도 9%포인트로 줄었고, 문제의 90%를 글자 그대로 이어 썼다. 같은 문항을 바꿔 써서 보여 주면 이어쓰기 검사는 아무것도 잡지 못했다. 오염되지 않은 모델에서도 탐지기 AUC가 0.6이 나왔고, 유명한 탐지 벤치마크는 연도만 봐도 0.91이 나왔다. 인터랙티브 위젯 7종, 코어닷투데이 실측, 삽화 13장.