뉴스를 읽는 기계는 흔히 '가장 최근 기사의 값'을 믿습니다. 13개 언론사 여드레치 기사 2천여 건에서 두 기사 이상이 함께 실은 사실 1,831개를 뽑아 값이 어떻게 갈리는지 따라갔습니다. 89%는 처음부터 끝까지 같은 값이었고, 실제로 바뀐 사실에서도 가장 최근 기사는 91%가 지금 값을 담고 있었습니다. 출처 등급을 앞세운 규칙(85%)보다 나았습니다. 문제는 다른 데 있었습니다. 새 값이 나온 뒤에도 여덟 건 중 한 건은 옛 값만 실었고, 출처마다 엇갈린 값 35개 중 31개는 마지막 날까지 정정되지 않고 나란히 남았습니다.
기사를 읽고 사실을 모으는 기계에는 대개 갱신 규칙이 하나 들어 있습니다. 같은 것에 대해 새 값이 들어오면 옛 값을 덮는 규칙입니다. 에이전트 기억 엔진이 그렇게 합니다. Graphiti 같은 시간 지식 그래프는 새 사실과 충돌하는 옛 사실에 끝난 시각을 적어 무효로 돌립니다. 뉴스 요약이나 검색 증강 생성(RAG)을 구성할 때도 같은 질문에 문서가 여럿이면 날짜가 늦은 쪽을 앞세우는 일이 흔합니다.
이 규칙에는 뉴스에 대한 가정이 숨어 있습니다. 나중에 나온 기사일수록 더 새로운 사실을 싣는다는 가정입니다. 반대쪽 생각도 있습니다. 사실은 시간이 아니라 권위가 정한다는 생각입니다. 코어닷투데이가 만들고 있는 사실탐색기는 공적 기록에서 '지금 참인 것'을 고를 때 가장 최근 문서보다 누가 확정했는지를 먼저 봅니다. 입법 예고안보다 의결된 조례가, 원래 공시보다 정정 공시가 우선합니다.
그렇다면 뉴스에서는 어느 쪽이 맞을까요? 코어닷투데이는 같은 사건 묶기 연작에서 13개 언론사 여드레치 기사를 같은 사건과 그 후속 전개로 엮는 정답을 만들었습니다. 그 정답 위에서 한 사건에 관한 기사들이 같은 사실을 어떤 값으로 실었는지 따라갔습니다. 기획할 때 붙인 가제는 '최신 기사가 최신 사실은 아니다'였습니다. 결과는 가제와 반대였습니다.
| 무엇 | 크기 |
|---|---|
| 기사 범위 | 13개 언론사 정치·사회면, 2026년 10월 15일~22일 |
| 이야기 나무 | 정답 후속 간선으로 엮은 나무 가운데 숫자·신병 표현이 있는 기사가 셋 이상인 185개 |
| 추출 대상 기사 | 2,270건(추출 성공 2,269건, 주장이 하나라도 나온 기사 2,054건) |
| 주장 | 14,474개(사망·부상 수, 신병 상태, 혐의, 시각, 나이, 일정 등 11종) |
| 사실 | 두 기사 이상이 함께 실은 1,831개, 그중 값이 하나라도 다른 957개를 판정 |
새로 쓴 외부 비용은 약 5달러(약 1만 2천 원)입니다. 주장 추출에 Gemini 3.5 Flash-Lite 3.26달러, 사실 묶기에 Gemini 3.5 Flash 1.46달러, 판정 신뢰도 확인에 0.25달러를 썼습니다. 판정 957개는 Claude Code 서브에이전트 다섯 개가 맡아 별도 비용이 들지 않았습니다.
사실 하나를 따라가려면 네 단계를 거쳐야 합니다.
추출과 판정은 얼마나 믿을 만할까요? 뽑은 주장 가운데 근거 문장 앞부분이 원문에 그대로 있는 비율은 93%, 값의 숫자가 원문에 있는 비율은 96%였습니다. 판정은 무작위로 고른 사실 120개를 Gemini 3.5 Flash에 같은 지시로 다시 맡겨 대조했습니다. 주장 907개의 라벨 일치는 93%(카파 0.62)였고, '지금 값인가 아닌가'만 보면 95%였습니다. 사실 하나를 어떤 유형으로 볼지(바뀜·틀림·엇갈림·표현 차이)는 85%가 일치했습니다. 이 글의 결론은 대부분 '지금 값인가'에 기대므로 이 정도 일치면 버틸 만합니다. 다만 유형별 개수는 몇 개씩 흔들릴 수 있습니다.
한 가지 주의할 점이 있습니다. 여기서 '지금 값'은 바깥 세계의 정답이 아닙니다. 이 기사들 안에서 관측 기간 끝에 가장 맞다고 판단되는 값입니다.
결과부터 보면 기사들은 대부분 같은 값을 실었습니다. 두 기사 이상이 함께 실은 사실 1,831개 가운데 874개는 모든 기사가 같은 값이었습니다. 값이 달라 보인 957개 가운데 759개는 표현만 달랐습니다. '19명'과 '19', '60여 명'과 '60명', '검거'와 '체포'와 '붙잡혔다' 같은 차이입니다. 둘을 합치면 89%입니다.
나머지 11%가 이 글의 대상입니다.
| 값이 갈린 방식 | 사실 수 | 비율 | 많이 나온 곳 |
|---|---|---|---|
| 실제로 바뀜 | 59 | 3.2% | 신병·혐의 35개(체포→구속→송치, 살인→존속살해) |
| 틀렸다 고쳐짐 | 17 | 0.9% | 시각·나이·원인 10개 |
| 바뀜과 틀림이 섞임 | 18 | 1.0% | 시각·경위 9개 |
| 끝까지 엇갈림 | 35 | 1.9% | 시각·경위 16개, 피해 규모 11개 |
| 다른 사실이 섞임(우리 쪽 오류) | 69 | 3.8% | 건물 한 곳과 합계, 날짜별 지수 |
사실이 실제로 움직이는 곳은 신병입니다. 피의자가 체포되고 영장이 신청되고 구속되고 송치되는 동안 같은 사람의 상태가 하루에도 몇 번씩 바뀝니다. 피해 규모도 움직입니다. 창원의 한 병원 혈액투석실에서 처음 3명으로 알려진 C형간염 감염자는 13명이 됐고, 부천 공장 화재의 위험물 용기는 100통에서 180여 통이 됐습니다. 반면 시각·나이·원인은 거의 움직이지 않습니다. 대신 이곳에서 틀린 값과 엇갈린 값이 나옵니다.
회색 줄은 뉴스의 문제가 아니라 우리 쪽 실수입니다. 다른 사실을 한 사실로 잘못 묶은 경우가 69개로, 틀렸다 고쳐진 사실(17개)의 네 배입니다. 이 숫자는 7부에서 다시 다룹니다.
값이 실제로 바뀌었거나 틀렸다 고쳐진 사실 93개만 놓고, 여섯 가지 규칙이 관측 기간 끝의 값을 집는지 채점했습니다. 아래 위젯은 그런 사실 여섯 개의 보도 흐름입니다.
가장 최근 기사가 91%로 가장 잘 맞혔습니다. 다수결(79%)이 약한 이유는 단순합니다. 새 값이 나오기 전에 쌓인 옛 값 기사가 더 많을 수 있기 때문입니다. 93개 중 25개는 값마다 기사 수가 같아 다수결이 하나를 정하지 못했고, 이런 동점은 무작위로 고른다고 보고 기댓값으로 셌습니다. '피해는 늘기만 한다'고 보고 가장 큰 수를 고르는 규칙도 71%에 그쳤습니다. 흉기난동 입원 환자는 5명에서 4명으로 줄었고, 부천 화재 부상자 수에는 사망자를 넣은 집계와 뺀 집계가 섞였습니다.
출처 등급을 앞세운 규칙은 85%로 최신 기사보다 낮았습니다. 둘이 갈린 사실 10개 가운데 8개는 최신 기사만 맞혔습니다. 이유는 뉴스에서 값을 바꾸는 주체가 대개 같은 기관이라는 데 있습니다. 경찰이 혐의를 '살인'에서 '존속살해'로 바꾸고 소방이 부상자 수를 고칩니다. 같은 기관 안에서는 등급이 아니라 시간이 순서를 정합니다. 오히려 기관 이름은 옛 값에 더 자주 붙어 있었습니다. 지난 값 주장의 57%가 '기관 발표'였고, 지금 값 주장은 45%였습니다. 다만 8 대 2는 표본이 작아 우연을 배제할 수준은 아닙니다(부호 검정 p≈0.11).
최신 기사 규칙에도 함정이 있습니다. 최신 기사가 지금 값'만' 실은 경우로 좁히면 91%가 77%로 떨어집니다. 기사가 경과를 함께 적기 때문입니다. "긴급체포됐다가 구속영장이 발부돼 구속 송치됐다"는 한 문장에는 신병 상태가 세 개 들어 있습니다. 사람은 마지막 것이 지금 상태라는 것을 압니다. 하지만 기사에서 '신병 상태' 칸 하나를 채우는 추출기는 셋 중 무엇을 넣을지 알 수 없습니다. 신병 군(사실 40개)에서는 88%가 63%로 떨어졌습니다.
최신 기사가 대체로 맞는다고 해서 모든 기사가 지금 값을 싣는 것은 아닙니다. 바뀐 사실에서 지금 값이 처음 보도되고 한 시간이 지난 뒤에 나온 기사 981건을 셌습니다. 그중 123건(12.5%)에는 지금 값이 없고 옛 값이나 틀린 값만 있었습니다. 사실 단위로 다시 뽑은 95% 구간은 8~17%입니다. 바뀐 사실 93개 중 36개에서 이런 기사가 한 건 이상 나왔습니다. 그런 사실에서 새 값이 처음 나온 뒤 마지막 옛 값 기사까지 걸린 시간은 중앙값 13시간이었고, 넷 중 하나는 47시간 넘게 걸렸습니다.
가장 선명한 사례는 부천 공장 화재로 순직한 소방관의 영결식 시각입니다. 이 사례는 추출 결과가 아니라 원문 문장에서 직접 셌습니다. 10월 17일 오전 기사들은 일제히 영결식이 '19일 오전 10시'라고 썼습니다. 같은 날 오후 3시 17분에 한 기사가 처음으로 '오전 9시 30분'이라고 썼습니다. 그 뒤로도 영결식 전날 밤 11시 41분까지 '오전 10시'만 실은 기사가 10건 더 나왔습니다. 9시 30분을 실은 기사는 7건이었습니다. 한 언론사는 18일 오후 3시 34분 기사에 9시 30분을 쓰고, 밤 11시 41분 기사에 다시 10시를 썼습니다. 영결식은 19일 오전 9시 30분에 열렸습니다. 처음부터 잘못 알려졌는지 도중에 바뀌었는지는 기사만으로는 알 수 없습니다. 분명한 것은 기사 수로 고르면 영결식 당일 아침까지 틀린 값을 골랐을 것이라는 점입니다. 17일부터 영결식 직전까지 '오전 10시'를 실은 기사는 20건, '9시 30분'은 8건이었습니다.
옛 값이 어디서 나오는지도 확인했습니다. 처음에는 '앞서 ~했다'로 시작하는 배경 문단을 의심했지만 아니었습니다. 배경 문단으로만 값을 실은 기사는 6%가 옛 값이었고, 본문은 13%였습니다. 매체 유형 사이의 차이(방송 14%, 전국 일간 12%, 지역 일간 11%)는 이 표본으로는 가를 수 없습니다. 이 글은 어느 언론사를 탓하려는 글이 아니어서, 위젯에도 언론사 이름 대신 매체 유형만 적었습니다.
바뀐 사실은 최신 기사를 읽으면 대개 풀립니다. 엇갈린 사실은 다릅니다. 출처마다 다른 값이 실렸는데 뒤에 나온 기사로도 어느 쪽이 맞는지 정할 수 없는 사실이 35개였습니다. 그중 31개는 관측 마지막 24시간에도 두 값이 함께 실리고 있었습니다. 아무도 정정하지 않은 것입니다.
사례를 보면 대단한 오보가 아닙니다. 물류센터 산업안전보건법 위반 적발 건수를 모두 고용노동부 발표에서 옮겼는데 205건과 206건으로 갈렸습니다. 과태료 부과 건수도 119건, 144건, 145건으로 갈렸습니다. 강남 연쇄 화재에 투입된 소방차는 소방 당국을 출처로 든 쪽이 37대, 출처 없이 쓴 쪽이 56대였습니다. 집계 시점이 달랐을 수도 있고 차량과 장비를 다르게 셌을 수도 있습니다. 엇갈림의 절반 가까이(16개)는 발생·검거 시각이 몇 분 다르거나 나이·경력이 한두 해 다른 세부입니다.
작은 차이라도 기계에게는 작지 않습니다. 여섯 규칙은 모두 값 하나를 내야 하므로, 엇갈린 사실에서는 둘 중 하나를 조용히 고릅니다. 사용자는 다른 값이 있었다는 사실조차 모르게 됩니다. 이런 사실에서 맞는 답은 '두 값이 있고, 출처가 이렇다'입니다.
규칙이 아니라 사람이라면 어떻게 고를까요? 실제 기사 순서대로 각 기사가 실은 값을 보여 줍니다. 관측 기간 끝의 값을 골라 보세요.
측정 결과를 기사에서 사실을 모으는 기계의 규칙으로 옮기면 다섯 가지입니다.
이 다섯 가지는 코어닷투데이가 사실탐색기를 만들며 공적 기록에서 얻은 결론과 같은 방향입니다. 조례와 공시를 다룰 때도 실패의 대부분은 어느 값을 고를지가 아니었습니다. 두 기록이 같은 사실을 말하는지를 가르는 데서 나왔습니다. 그래서 사실탐색기는 '가장 최근'보다 '누가 확정했나'를 먼저 봅니다. 뉴스의 결과는 이 원칙을 조금 다듬게 합니다. 권위는 서로 다른 주체 사이에 쓰고, 한 주체 안에서는 시간을 씁니다. 그리고 권위로도 시간으로도 풀리지 않으면 고르지 않습니다.
| 한계 | 무엇이 흔들리나 | 이 글에서 한 것 |
|---|---|---|
| 여드레치, 정치·사회면, 13개사 | 며칠에 걸친 수사·재판의 늦은 갱신은 잡히지 않음 | 결론을 '하루~이틀 안의 갱신'으로 한정 |
| '지금 값'은 기사 안의 판단 | 모든 기사가 틀렸다면 알 수 없음 | 영결식처럼 사후 보도로 확인되는 사례를 따로 확인 |
| 판정은 서브에이전트 한 벌 | 유형별 개수가 몇 개씩 흔들림 | 120개 2심 대조(라벨 93%, 카파 0.62) |
| 추출 재현율은 모름 | 추출기가 놓친 값은 셈에서 빠짐 | 추출된 값의 원문 대조만 함(근거 93%, 값 96%) |
| 바뀐 사실이 93개뿐 | 규칙 간 차이(91% 대 85%)는 통계적으로 확정되지 않음 | 방향과 표본 크기를 함께 적음 |
| 다른 사실이 섞인 69개 | 우리 쪽 묶기 오류 | 규칙 채점에서 '범위 다름' 주장은 모두 뺌 |
가장 큰 한계는 기간입니다. 여드레 안에서는 대부분의 갱신이 하루 안에 일어납니다. 몇 주에 걸쳐 수사 결과가 뒤집히거나 판결이 확정되는 이야기라면, 옛 값이 남는 시간과 최신 기사의 정확도는 다르게 나올 수 있습니다.
기획할 때의 가설은 '최신 기사가 최신 사실은 아니다'였습니다. 숫자는 그렇게 말하지 않았습니다. 같은 사실을 여러 기사가 실으면 89%는 같은 값이었고, 바뀐 사실에서도 가장 최근 기사는 91%가 지금 값을 담고 있었습니다. 뉴스를 읽는 기계가 '가장 최근 기사'를 믿는 것은 나쁜 출발점이 아닙니다.
나쁜 것은 그다음입니다. 가장 최근 기사도 경과와 현재를 한 문장에 섞습니다. 새 값이 나온 뒤 반나절은 옛 값 기사가 계속 나와서 다수결을 뒤집습니다. 출처끼리 엇갈린 값은 아무도 정정하지 않은 채 나란히 남습니다. 그래서 사실을 고르는 기계에게 필요한 것은 더 영리한 고르기 규칙보다 두 가지입니다. 같은 사실인지 가르는 열쇠, 그리고 고를 수 없을 때 고르지 않는 습관입니다.
