coredot.today
블로그로 돌아가기

#자동화 편향

2개의 포스트

AI 심판을 심판하다 — 육하원칙 추출을 채점하는 LLM 판사 벤치마크, 원자료로 다시 읽기
특집LLM-as-a-judge평가
2026.11.01

AI 심판을 심판하다 — 육하원칙 추출을 채점하는 LLM 판사 벤치마크, 원자료로 다시 읽기

칠레 북부 가톨릭대 연구진이 2026년 2월 Electronics에 낸 논문은 GPT-4.1·Claude Sonnet 4.5·Gemini 2.5 Pro를 스페인어 뉴스의 육하원칙 추출을 채점하는 판사로 세우고, 기자 두 명에게 그 판결을 검수시켰습니다. 결론은 판사 셋 모두 98% 넘게 '수용'됐고 Claude가 99.79%로 1등이라는 것입니다. 이 글은 육하원칙이 2,000년 동안 어떻게 기사의 뼈대가 됐는지, 글자를 세던 BLEU·ROUGE가 왜 뜻을 못 보는지, LLM 판사가 어떤 구조로 채점하는지를 논문의 그림과 표로 차근차근 풀고, 이어서 논문 저장소의 검수 엑셀 5,736행을 직접 다시 셉니다. 기자는 판사가 1점을 줘도 5점을 줘도 거의 같은 비율(97~99%)로 동의했고, 같은 추출에 판사들 점수가 두 점 이상 갈린 358건 중 342건에서 세 판사 모두에게 동의했습니다. 카파 0.67은 4점과 5점 사이의 일치였고, ROUGE와의 상관 −0.53은 두 데이터셋을 섞어서 생긴 심슨의 역설이었습니다. 끝으로 한국어 기사 36건에 날짜·주체·숫자를 바꾸고 이유를 지어낸 함정 추출을 심어 판사가 실제로 오류를 잡는지 쟀습니다. Claude Sonnet은 함정 194쌍을 모두 깎았지만, 로컬 Qwen3.5 4B는 사실 함정 28건을 전부 5점으로 통과시키며 '출처와 완전히 일치한다'고 썼습니다. 자의 착시를 걷어 내면 이 논문이 남기는 교훈은 '판사는 쓸 만하다'가 아니라 '판사를 검증하는 방법을 바꿔야 한다'입니다. 위젯 6개와 삽화 10장.

코어닷투데이100분
[특집] 생각은 이제 세 개의 시스템에서 일어난다 — 시스템 3과 '인지적 항복'의 역사, 사례, 그리고 2026년
특집특집인지과학
2026.08.22

[특집] 생각은 이제 세 개의 시스템에서 일어난다 — 시스템 3과 '인지적 항복'의 역사, 사례, 그리고 2026년

카너먼의 '빠른 생각·느린 생각'에 와튼스쿨 연구팀이 세 번째 단어를 붙였습니다 — Artificial. 1974년 휴리스틱 연구에서 2012년 바다로 들어간 렌터카, 2023년 가짜 판례를 낸 변호사, 2025년 AI를 끄자 실력이 떨어진 내시경 의사까지, '생각을 기계에 넘기는 순간' 무슨 일이 벌어지는지를 역사와 사례로 풀고, 논문의 설계도와 데이터를 그대로 가져와 2026년의 우리에게 무엇을 뜻하는지 따져봅니다.

코어닷투데이60분