같은 사건 묶기 — 하루치 기사 603건에서 '같은 일'을 찾는 법

크게 보기

들어가며: 아홉 개의 기사, 하나의 사건

2026년 10월 13일 오후 1시 40분께 인천 남동구 구월동의 대형 상업시설에서 흉기 난동이 일어났습니다. 그날 연합뉴스에 이 사건을 다룬 기사가 적어도 아홉 건 올라왔습니다. 소방당국이 전한 피해 상황, 피의자가 다량의 약물을 갖고 있었다는 경찰 발표, 현장의 혼란, 의자를 던져 피의자를 막은 20대 직장인, CCTV에 찍힌 범행 과정, 피의자의 살인미수 전력, 아직 의식을 찾지 못한 피해자. 같은 사건을 일곱 개의 각도에서 쓴 기사입니다. 여기에 경찰청의 긴급회의, 법무부의 사과, 대통령의 인천경찰청 방문이 따로 기사가 되었습니다. 이 셋은 같은 이야기에 속하지만 다른 사건입니다. 행위자도 시각도 다릅니다.

지난 글들은 기사 한 건에서 육하원칙을 꺼내는 법을 다뤘습니다. 그런데 꺼낸 육하원칙으로 하고 싶은 일은 대개 기사 한 건 너머에 있습니다. 사건 데이터베이스를 만들고, 같은 사건의 보도를 한데 모으고, 사건의 흐름을 따라가는 일입니다. 그 첫 단계가 같은 사건을 다룬 기사끼리 묶는 일입니다. 자연어처리에서는 문서 간 사건 상호참조(cross-document event coreference)라고 부르고, 뉴스 서비스에서는 기사 클러스터링이라고 부릅니다.

질문은 단순합니다. 하루치 기사에서 같은 사건을 무엇으로 묶을 것인가. 임베딩 유사도로? 지난 글에서 뽑은 육하원칙이 같으면? 판정 모델에게 쌍마다 물어서? 이 글은 하루치 기사 603건으로 이 질문들에 답합니다.

1부. 정답 만들기: 같은 사건, 같은 이야기, 다른 사건

재료는 2026년 10월 13일자 연합뉴스 기사 603건입니다. 사회·정치·경제·국제·문화·스포츠·지역·산업·증권·건강·연예 섹션의 RSS에서 모았고, 본문 300~2,000자 기사만 남겼습니다.

기사 603건이면 쌍은 18만 개가 넘습니다. 모두 판정할 수는 없으니 후보 쌍을 먼저 뽑았습니다. 임베딩 네 가지(Qwen3-Embedding 8B, EmbeddingGemma, BGE-M3, 그리고 육하원칙 '사건 한 줄 요약'의 Qwen3 임베딩)로 각 기사의 가장 가까운 이웃 여섯을 고르고 합쳤습니다. 5,379쌍입니다. 정답 묶음을 다 만든 뒤 확인해 보니, 같은 묶음 안의 기사 쌍 96개가 모두 후보 안에 있었습니다. 후보를 뽑는 단계에서 놓친 같은 사건 쌍은 적어도 정답 기준으로는 없습니다.

후보 쌍마다 세 갈래로 판정했습니다.

판정은 Claude Sonnet 5.5와 GPT-5.4 mini가 각각 했습니다. 기준 기사 하나에 후보 기사 여러 개를 붙여 한 번에 묻는 방식이라 호출은 판사당 577번이었습니다. 둘이 같은 답을 낸 것이 4,908쌍입니다. 둘이 갈린 쌍 중 '같은 사건'이 걸린 73쌍은 제가 기사 원문을 읽고 직접 판정했고, '같은 이야기'와 '다른 사건' 사이에서 갈린 398쌍은 Gemini 3.8 Flash의 판정으로 다수결을 냈습니다.

크게 보기

검수하면서 두 가지를 확인했습니다. 첫째, GPT는 이 판정에서 믿기 어려웠습니다. 73쌍 중에는 GPT만 '같은 사건'이라고 한 쌍이 여럿 있었는데, "우즈베키스탄인 테러자금 송금 구속"과 "폴란드 스타링크 시설 방화범 체포"처럼 아무 관계 없는 쌍이었습니다. 한 번에 여러 후보를 판정하게 하자 답의 순서가 밀린 것으로 보입니다. 둘째, 같은 사건과 같은 이야기의 경계는 사람에게도 흐립니다. Claude는 인천 흉기난동의 피의자 전력 기사와 CCTV 기사를 '같은 이야기, 다른 사건'으로 봤고, GPT와 Gemini는 '같은 사건'으로 봤습니다. 저는 후자를 택했습니다. 두 기사는 같은 행위자가 같은 때에 한 같은 일을 다른 각도에서 쓴 것입니다.

판사 둘이 같은 답을 낸 쌍에서도 표본을 뽑아 점검했습니다. '같은 사건'은 20쌍 모두, '다른 사건'은 15쌍 모두 제 판단과 같았습니다. '같은 이야기'는 20쌍 중 14쌍만 같았습니다. 나머지 여섯은 "같은 날의 증시"나 "같은 전쟁"처럼 이야기의 폭을 넓게 잡은 경우였습니다. 그래서 이 글의 핵심 수치는 '같은 사건' 판정에 두고, '같은 이야기'는 가장 헷갈리는 반례 묶음으로만 씁니다.

결과는 이렇습니다.

하루치 기사의 84%는 그날 혼자였습니다. 같은 사건이 여러 기사로 나뉘는 것은 큰 사건, 그리고 '(종합)', '(2보)'처럼 같은 기사가 고쳐 다시 나가는 경우였습니다.

2부. 임베딩: 0.86과 0.50 사이

가장 먼저 떠오르는 방법은 임베딩입니다. 기사마다 벡터를 만들고, 코사인 유사도가 어느 값 이상이면 같은 사건으로 봅니다. 제목과 첫 두 문장을 넣었습니다.

AUROC만 보면 임베딩은 거의 완벽합니다. 같은 사건 쌍은 대부분 다른 사건 쌍보다 유사도가 높습니다(0.98~0.995). 그런데 쌍 F1은 0.7 남짓에 그칩니다. 이유는 두 가지 쌍에 있습니다.

같은 이야기의 다른 사건은 등장인물과 어휘를 공유하니 유사도가 높고, 같은 사건의 다른 각도는 어휘가 갈리니 유사도가 낮습니다. 0.86의 '다른 사건'과 0.50의 '같은 사건' 사이에 문턱값을 그을 자리는 없습니다. 임베딩이 재는 것은 "얼마나 비슷한 말을 하는가"이지 "같은 일인가"가 아니라는, 3편에서 본 이야기가 여기서도 그대로입니다.

임베딩끼리 비교하면 성격이 갈립니다. Qwen3 8B와 BGE-M3는 재현율이 높아 같은 사건을 잘 모으지만 같은 이야기의 다른 사건을 4% 남짓 끌어들였습니다. EmbeddingGemma는 정밀도가 0.94로 높고 재현율이 0.55로 낮아, 묶음이 작고 깨끗했습니다. 육하원칙의 '사건 한 줄 요약'을 임베딩하면(Qwen3 8B · 사건 한 줄 요약) 제목+리드보다 낫지 않았습니다. 요약이 기사의 각도를 그대로 따라갔기 때문입니다. 이 이야기는 다음 부의 주제입니다.

3부. 육하원칙으로 묶으면 안 되는 이유

이 시리즈의 출발점을 생각하면 가장 자연스러운 방법은 육하원칙입니다. 두 기사의 '누가'와 '무엇을'과 '어디서'가 같으면 같은 사건이라고 보는 규칙입니다. 지난 글들의 결론대로 Gemini 3.8 Flash로 603건의 육하원칙을 뽑고, 칸별 글자 F1의 가중합(누가 0.4, 무엇을 0.4, 어디서 0.2)으로 점수를 냈습니다.

결과는 이 글에서 가장 나빴습니다. 최적 문턱값에서도 같은 사건 쌍의 32%만 찾았습니다. 쌍 F1 0.46으로, 제목 글자 겹침(0.53)보다도 낮습니다.

인천 흉기난동 묶음을 보면 이유가 보입니다. 같은 사건을 다룬 아홉 기사에서 뽑힌 '누가'는 두 가지 방식으로 어긋났습니다.

• 같은 사람이 다른 이름으로 불렸습니다. 일곱 기사가 피의자를 '누가'로 꺼냈지만 표기는 "A(59)씨", "59세 A씨", "50대 남성", "칼부림 사건 용의자인 60대 추정 남성 A씨"로 갈렸습니다. 1편에서 본 "50대 남성"과 "A(59)씨" 문제가 이번에는 채점이 아니라 묶음을 깨뜨립니다.
• 기사마다 주인공이 달랐습니다. 의인 기사의 '누가'는 "직장인 신중현(23) 씨", 피해자 기사의 '누가'는 "20대 여성 A씨"였습니다. 둘 다 그 기사의 헤드라인 사건으로는 정확한 추출입니다. 게다가 피해자 기사의 "A씨"와 피의자 기사의 "A씨"는 다른 사람입니다. 익명 표기는 기사 안에서만 유효한 이름이라 기사 사이에서는 오히려 충돌을 만듭니다.

'무엇을'도 마찬가지입니다. "흉기를 휘둘러 이용객 8명을 다치게 한 혐의"와 "흉기 난동을 벌인"과 "아직 의식은 찾지 못한 것으로 확인됐다"는 같은 사건의 다른 조각입니다.

크게 보기

이것은 육하원칙 글의 정의를 고쳐야 한다는 뜻이 아닙니다. 육하원칙 추출과 사건 묶기는 다른 질문이라는 뜻입니다. 추출은 "이 기사가 무엇을 말하는가"를 묻고, 묶기는 "이 기사들이 같은 일을 말하는가"를 묻습니다. 묶은 다음에 묶음 단위로 육하원칙을 합치는 순서가 맞습니다. 사건의 '누가'는 피의자이고, 직장인과 피해자는 그 사건의 다른 등장인물입니다.

4부. 판정 모델: 가장 잘 가르지만, 문턱값이 0.5가 아니다

판정 모델에게는 쌍마다 직접 물었습니다. "기준 기사와 비교 기사는 같은 구체적 사건(같은 행위자가 같은 때에 한 같은 일)을 다루는가? 종합·후속 보도도 같은 사건이다. 같은 큰 이야기의 다른 사건이면 거짓이다." Jev에게 5,379쌍을 묻는 데 577번 호출, 몇 초씩이었습니다.

순위를 매기는 능력만 보면 Jev가 가장 좋았습니다. 같은 사건 대 나머지의 AUROC가 0.998, 같은 사건 대 같은 이야기의 AUROC가 0.98로, 임베딩 중 가장 좋은 BGE-M3(0.958)보다 높습니다. 앞의 표에서 임베딩이 0.50을 준 같은 사건 쌍에 Jev는 0.97을 줬고, 0.86을 준 다른 사건 쌍에는 0.62~0.75를 줬습니다.

그런데 Jev의 확률을 그대로 쓰면 결과가 나쁩니다. 0.5를 문턱값으로 쓰면 같은 사건 91쌍을 모두 찾지만(재현율 1.0), 같은 사건이라고 한 쌍의 61%가 틀렸습니다. 같은 이야기의 다른 사건 560쌍 중 22%를 같은 사건으로 봤습니다. 문턱값을 0.9로 올리면 쌍 F1이 0.56에서 0.78로, 0.97로 올리면 정밀도가 0.94가 됩니다.

4편에서 Jev는 "0.8 이상이라고 했을 때 실제로 맞는 비율"이 가장 높은 모델이었습니다. 여기서는 아닙니다. 같은 사건을 묻는 이 질문에서 Jev는 같은 이야기의 다른 사건에도 0.6~0.9를 흔하게 줬습니다. 보정은 과제마다 다시 해야 한다는 4편의 단서가 그대로 들어맞습니다. 순위를 매기는 능력은 과제를 옮겨도 남지만, 확률의 눈금은 옮겨지지 않습니다.

로컬 판정 모델 셋에게도 같은 질문을 했습니다. Nimble 9B는 AUROC 0.986(같은 이야기 대비 0.917), 0.9 문턱에서 쌍 F1 0.43·묶음 F1 0.53; Clef-Flash 27B는 AUROC 0.956(같은 이야기 대비 0.855), 0.9 문턱에서 쌍 F1 0.60·묶음 F1 0.82; tev1 4B는 AUROC 0.686(같은 이야기 대비 0.616), 0.9 문턱에서 쌍 F1 0.55·묶음 F1 0.77였습니다. 로컬 판정 모델은 이 과제에서 도움이 되지 않았습니다. Nimble은 순위를 매기는 능력(AUROC 0.986)은 Jev에 가깝지만 확률이 훨씬 과감해서, 0.5에서 같은 이야기의 다른 사건 절반(52%)을 같은 사건으로 봤고 0.9에서도 같은 사건이라고 한 쌍의 73%가 틀렸습니다. Clef-Flash는 0.9에서 정밀도와 재현율이 0.6 근처로 균형이 맞았지만 같은 사건 넷 중 하나 이상을 놓쳤습니다. tev1 4B의 AUROC는 0.686으로, 같은 사건과 같은 이야기를 거의 가르지 못했습니다. 임베딩 0.6으로 걸러 낸 뒤 이 셋 중 하나로 확인하면 묶음 F1이 0.76~0.83으로, EmbeddingGemma 하나만 쓴 0.92보다 낮았습니다. 로컬만 쓸 수 있다면 판정 모델을 붙이지 말고 정밀한 임베딩 하나로 묶는 편이 낫습니다. 첫 글에서 Clef-Flash가 '없음'을 가장 잘 가려낸 판정 모델이었다는 점을 떠올리면, 판정 모델의 쓸모는 과제마다 따로 확인해야 한다는 교훈이 다시 나옵니다.

마지막으로 LLM입니다. 정답 판사로 쓰지 않은 Gemini 3.8 Flash에게 같은 질문을 같은 방식으로 했더니 쌍 F1 0.92, 묶음 F1 0.97이 나왔습니다. 이 글에서 가장 높은 점수입니다. 다만 이것은 유리한 조건의 점수입니다. 정답 자체를 같은 종류의 LLM 둘(Claude·GPT)이 만들었고, Gemini는 둘이 갈린 '같은 이야기 대 다른 사건' 398쌍의 다수결에도 들어갔습니다. 사람이 처음부터 정답을 만들었다면 이 차이는 줄어들 것입니다.

5부. 묶어 놓고 보면

쌍마다 내린 판정은 이어 붙여야 묶음이 됩니다. A와 B가 같고 B와 C가 같으면 A와 C도 같은 묶음입니다. 이 이행성 때문에 쌍 단위 점수와 묶음 단위 점수가 따로 놉니다.

• 같은 이야기의 다른 사건 하나가 두 묶음을 합칩니다. Jev 0.5에서 가장 큰 묶음은 14건이었습니다. 정부기관 세종 이전 발표와 그에 대한 관가·금융권·한국투자공사 노조의 반응, 금융위원장 긴급회의가 한 묶음이 됐고, 거기에 노동장관 발언, 한미 재무장관 화상면담, 청와대 골프회동 대비 TF까지 줄줄이 엮였습니다. 정답에서 이 14건이 만드는 91쌍 중 같은 사건은 다섯 쌍뿐입니다. 쌍 하나를 잘못 이을 때마다 묶음이 하나씩 붙습니다.
• 정밀도가 높은 방법이 묶음에서 이깁니다. EmbeddingGemma는 쌍 F1이 0.69로 Qwen3 8B(0.76)보다 낮았지만, 묶음 F1은 0.92로 Qwen3 8B(0.88)보다 높았습니다. 같은 사건 쌍을 놓쳐도 다른 쌍을 통해 묶음에 들어오는 경우가 많고, 잘못 이은 쌍 하나는 묶음 둘을 망가뜨리기 때문입니다.
• 임베딩으로 걸러 내고 판정 모델로 확인하면 둘의 장점이 합쳐집니다. Qwen3 8B 유사도 0.6 이상인 쌍만 남기고, 그중 Jev가 0.9 이상을 준 쌍을 이었더니 묶음 F1 0.925로, 혼자 쓴 어느 임베딩·판정 모델보다 높았습니다.

크게 보기

6부. 설계도: 하루치 기사를 사건 단위로 쌓으려면

이 실험을 운영 구성으로 옮기면 세 단계입니다. 찾고, 확인하고, 묶습니다.

EmbeddingGemma만으로 0.92가 나온 것은 하루치 기사의 84%가 혼자이고, 이 모델이 확신이 서는 쌍만 이었기 때문입니다. 묶음 수로 보면 같은 사건 쌍의 절반 가까이를 놓쳤습니다(재현율 0.55). "같은 사건 보도를 한데 모아 보여 주기"가 목적이면 놓친 것이 문제고, "사건 데이터베이스에 중복 없이 쌓기"가 목적이면 잘못 합친 것이 문제입니다. 목적이 문턱값을 정합니다.

7부. 한계

• 정답은 LLM 둘의 합의와 저의 검수로 만들었습니다. 사람 여럿이 독립적으로 라벨을 단 데이터가 아닙니다. 둘이 같은 답을 낸 쌍을 표본 점검한 결과 '같은 사건'과 '다른 사건'은 모두 맞았지만, '같은 이야기'는 열에 셋이 지나치게 넓었습니다.
• Gemini의 점수는 유리합니다. 정답을 만든 판사들과 같은 종류의 LLM이고, 일부 쌍의 다수결에도 참여했습니다.
• 하루치, 한 언론사입니다. 같은 사건이 여러 언론사에서 다른 문체로 보도되면 임베딩 유사도는 더 낮아지고, 같은 언론사의 '(종합)' 재송고 같은 쉬운 쌍은 줄어듭니다. 이 글의 숫자는 그 경우 낙관적입니다.
• 같은 사건의 정의가 결과를 정합니다. 같은 국정감사의 서로 다른 질의를 같은 사건으로 볼지, 같은 경기의 승자 기사와 패자 기사를 같은 사건으로 볼지는 라벨 정의의 문제입니다. 이 글은 행위자와 행위가 같으면 같은 사건으로 봤습니다. 그래서 같은 경기는 같은 사건, 같은 국정감사의 다른 질의는 다른 사건이 됐습니다.
• 임베딩과 문자열의 문턱값은 정답을 보고 고른 최적점입니다. 교차검증 F1이 0.02~0.04 낮게 나오는 것이 그 차이입니다.

맺으며: 묶는 일과 꺼내는 일은 다른 질문이다

이 시리즈는 기사 한 건에서 여섯 칸을 꺼내는 일로 시작했습니다. 그 여섯 칸으로 기사들을 묶을 수 있으리라 기대했지만, 같은 사건의 기사들은 각자 다른 '누가'를, 같은 사람을 다른 이름으로 말했습니다. 육하원칙은 기사의 질문이고, 묶음은 사건의 질문입니다.

그 사건의 질문에 가장 잘 답한 것은 판정 모델이었습니다. 임베딩이 0.50과 0.86 사이에서 갈피를 못 잡을 때, Jev는 같은 일과 비슷한 일을 0.98의 AUROC로 갈랐습니다. 다만 그 확률을 그대로 믿으면 안 됩니다. 순위를 매기는 눈은 빌려 쓰고, 눈금은 자기 데이터로 다시 그어야 합니다. 3편에서 적은 "임베딩은 찾고, 판정 모델은 고른다"는 문장이 사건 묶기에서는 "임베딩은 그물을 치고, 판정 모델은 같은 일인지 확인한다"가 됩니다.

출처

• Cosmin Adrian Bejan, Sanda Harabagiu. "Unsupervised Event Coreference Resolution with Rich Linguistic Features." ACL 2010 — ECB(Event Coreference Bank) 데이터셋
• Agata Cybulska, Piek Vossen. "Using a sledgehammer to crack a nut? Lexical diversity and event coreference resolution." LREC 2014 — ECB+ 데이터셋
• Amit Bagga, Breck Baldwin. "Algorithms for Scoring Coreference Chains." LREC 1998 Workshop — B-cubed 평가
• 이 블로그: 뉴스에서 육하원칙 뽑기 · 채점이 순위를 바꾸는가 · 4B를 Flash로 가르치기 · EventRAG · Simple Event Model · 임베딩 vs 판정 모델
• 기사: 연합뉴스 RSS, 2026년 10월 13일자 603건 (위젯의 각 제목에서 원문으로)