#LLM-as-a-judge
3개의 포스트
AI 심판을 심판하다 — 육하원칙 추출을 채점하는 LLM 판사 벤치마크, 원자료로 다시 읽기
칠레 북부 가톨릭대 연구진이 2026년 2월 Electronics에 낸 논문은 GPT-4.1·Claude Sonnet 4.5·Gemini 2.5 Pro를 스페인어 뉴스의 육하원칙 추출을 채점하는 판사로 세우고, 기자 두 명에게 그 판결을 검수시켰습니다. 결론은 판사 셋 모두 98% 넘게 '수용'됐고 Claude가 99.79%로 1등이라는 것입니다. 이 글은 육하원칙이 2,000년 동안 어떻게 기사의 뼈대가 됐는지, 글자를 세던 BLEU·ROUGE가 왜 뜻을 못 보는지, LLM 판사가 어떤 구조로 채점하는지를 논문의 그림과 표로 차근차근 풀고, 이어서 논문 저장소의 검수 엑셀 5,736행을 직접 다시 셉니다. 기자는 판사가 1점을 줘도 5점을 줘도 거의 같은 비율(97~99%)로 동의했고, 같은 추출에 판사들 점수가 두 점 이상 갈린 358건 중 342건에서 세 판사 모두에게 동의했습니다. 카파 0.67은 4점과 5점 사이의 일치였고, ROUGE와의 상관 −0.53은 두 데이터셋을 섞어서 생긴 심슨의 역설이었습니다. 끝으로 한국어 기사 36건에 날짜·주체·숫자를 바꾸고 이유를 지어낸 함정 추출을 심어 판사가 실제로 오류를 잡는지 쟀습니다. Claude Sonnet은 함정 194쌍을 모두 깎았지만, 로컬 Qwen3.5 4B는 사실 함정 28건을 전부 5점으로 통과시키며 '출처와 완전히 일치한다'고 썼습니다. 자의 착시를 걷어 내면 이 논문이 남기는 교훈은 '판사는 쓸 만하다'가 아니라 '판사를 검증하는 방법을 바꿔야 한다'입니다. 위젯 6개와 삽화 10장.
채점이 순위를 바꾸는가 — 육하원칙 답 2,371개를 판사 여섯에게 다시 채점시키다
지난 글은 뉴스 72건에서 육하원칙을 꺼내는 24가지 방법을 글자 F1로 줄 세웠습니다. 그런데 그 자는 '50대 남성'과 'A(59)씨'를, '이날'과 '13일'을 다른 답으로 셉니다. 이번에는 같은 답 2,371개를 자 세 개(글자 F1·포함 일치·날짜 정규화)와 판사 여섯(Gemini 3.8 Flash·Claude Sonnet 5.5·GPT-5.4 mini·로컬 Qwen3.5 9B·Jev·로컬 Clef-Flash)에게 다시 채점시키고, 층화 표본 234개를 원문과 대조해 검수했습니다. 결과는 세 줄입니다. 강한 판사들로 바꿔도 방법의 순위는 거의 그대로였습니다(켄달 순위 상관 0.96~0.99). 대신 점수의 크기가 바뀌었고, 특히 '무엇을'에서 작은 모델이 0.15를 되찾았습니다. 그리고 판사에게는 버릇이 있었습니다. 같은 가족의 답을 후하게 주고, 검수자보다 엄격하며, 로컬 판사는 순위를 흔들었습니다. 판사 둘 이상이 정답을 의심한 칸은 다시 보니 모두 정답 쪽이 지나치게 엄격했습니다. 순위 기울기·검수 일치도·칸별 법정·자기 선호·칸별 회복 위젯 5개와 삽화 5장.
메모리 벤치마크 점수, 믿어도 되나 — LoCoMo·LongMemEval을 직접 다시 채점해 봤다
2026년 에이전트 기억 업계는 LoCoMo·LongMemEval에서 90점대를 발표합니다. 하지만 같은 Zep의 LoCoMo 점수는 누가 쟀느냐에 따라 58점에서 95점까지 흩어져 있습니다. 두 벤치마크를 직접 다시 돌렸습니다. 기억 시스템 없이 대화를 통째로 넣은 2026년 저가 모델이 LoCoMo 80.7%, LongMemEval 81.6%로 2025년의 기억 시스템들을 넘었습니다. 같은 답에 채점 프롬프트만 바꾸자 점수가 26점 움직였고, 정답과 오답을 나란히 적은 답을 Mem0의 2026년 채점 프롬프트는 100% 정답 처리했습니다. LoCoMo 정답지 1,540개를 대화 원문과 대조하니 7%가 틀렸거나 모호했고, 대화 10개에 몰린 문항이라 95% 구간은 ±3.1점이었습니다. bAbI부터 건초더미 속 바늘, SWE-bench Verified의 은퇴까지 벤치마크의 역사와, 점수를 읽는 점검표 10문항을 함께 정리했습니다. 인터랙티브 6개.