비실명화비식별화판결문 공개Thunder-DeIDK-LegalDeIDThunder-DeID+개인정보PII재식별벤치마크평가개체명 인식토크나이저CRFRAT-Bench안심구역가명처리사법 AI리걸테크독일일본EU AI Act한국어
두 논문이 남긴 숙제 — 판결문 비실명화는 어디로 가야 하나: 729 대 11, 0.99 대 0.37, 그리고 세계의 흐름
한국 판결문 비실명화를 다룬 두 논문, 서울대의 Thunder-DeID와 고려대의 K-LegalDeID를 열세 가지 설계 선택으로 나란히 놓고 읽습니다. 한쪽은 729개 라벨과 전용 사전학습으로 세밀하게, 다른 쪽은 11개 라벨과 CRF로 가볍게 갔습니다. 두 논문 모두 0.98~0.99를 보고하지만, 한쪽 모델을 다른 쪽 정답지로 채점하면 0.37이 나오고, 서울대의 후속작 Thunder-DeID+가 원래 모델을 전체 길이 판결문에서 어절 단위로 다시 재니 0.73이었습니다. 숫자가 모델의 실력이 아니라 자와 시험지를 재고 있다는 뜻입니다. 이 글은 그 간극의 원인을 정답 정의, 평가 단위, 원본 부재로 나누어 짚고, 재식별 성공률로 채점하는 RAT-Bench, 독일의 ‘프로젝트 5만’과 일본의 지정 법인 제도, EU AI Act의 익명화 예외 같은 2024~2026년 세계의 흐름을 정리합니다. 그 위에서 한국이 택할 수 있는 일곱 가지 방향을 제안합니다. 시험지를 법원 안에 두고 모델이 찾아가게 할 것, 정답의 정의부터 맞출 것, 문서 단위와 재식별 위험으로 잴 것, 층을 쌓을 것, 사람의 자리를 설계할 것, 공개의 단계를 나눌 것, 벤치마크를 살아 있게 할 것입니다.
코어닷투데이는 앞선 두 글에서 한국 판결문 비실명화를 다룬 논문 두 편을 차례로 읽었습니다. 첫 번째 글은 서울대 연구진의 Thunder-DeID(EMNLP 2025 Findings), 두 번째 글은 고려대 연구진의 K-LegalDeID(EACL 2026)였습니다. 같은 문제, 곧 "판결문을 공개하기 전에 사람을 특정할 수 있는 정보를 기계가 대신 지울 수 있는가"에 대해 아홉 달 간격으로 나온 두 답입니다.
두 논문은 각자의 시험에서 좋은 점수를 받았습니다. Thunder-DeID는 토큰 단위로 0.98, K-LegalDeID는 개체 단위로 0.99입니다. 숫자만 보면 문제는 거의 풀린 것처럼 보입니다. 그런데 두 논문을 함께 읽으면 다른 그림이 나옵니다.
K-LegalDeID의 모델을 Thunder-DeID의 데이터로 채점하면 엄격한 개체 단위 F1이 0.37입니다. 서울대 연구진 자신이 후속 논문에서 원래 Thunder-DeID 모델을 전체 길이 판결문에 돌려 어절 단위로 다시 재니 0.73이었습니다. 그리고 세 논문 모두 한계 절에 같은 문장을 적습니다. 실제 원본 판결문으로는 평가하지 못했다고.
이 글은 그 간극에서 출발합니다. 두 설계가 어디서 갈렸고 무엇이 같았는지(1~2장), 왜 같은 모델의 점수가 0.99에서 0.37까지 움직이는지(3~5장), 세계의 연구와 법원은 어디로 가고 있는지(6~8장), 그 위에서 한국이 택할 수 있는 길은 무엇인지(9~12장)를 차례로 봅니다.
?
두 논문이 함께 드러낸 문제
점수는 높은데 서로의 정답지에서는 무너진다. 무엇을 어디까지 가릴지에 대한 정의가 연구실마다 다르고, 진짜 정답지인 법원의 원본은 누구도 보지 못했다.
⇄
세계의 흐름
찾은 개수 대신 재식별 위험으로 채점하고, 작은 전용 모델에 사람 검수를 얹고, 도구를 원본을 가진 기관 안에서 돌린다.
→
이 글의 제안
모델을 더 키우는 것이 아니라 시험지와 정답의 정의를 고친다. 원본은 법원 안에 두고 모델이 찾아가 채점받는 통로를 만든다.
두 논문은 같은 출발점에서 같은 제약을 받았습니다. 원본 판결문은 구할 수 없고, 공개된 것은 이미 지워진 판결문뿐이며, 무엇을 지울지에 대한 법원 예규는 "그 밖에 특정할 수 있는 정보"라는 열린 문장을 담고 있습니다. 두 팀 모두 지워진 자리에 종류 꼬리표를 달고 그 자리에 그럴듯한 값을 채워 학습 자료를 만드는 길을 택했습니다. 그 뒤로는 거의 모든 선택이 갈립니다.
위젯의 열세 항목을 표로 줄이면 이렇습니다.
갈림길
Thunder-DeID (서울대, 2025)
K-LegalDeID (고려대, 2026)
라벨
729개, 3단 계층, 실제 가려진 자리에서 귀납
11개, 모델이 헷갈리는 범주를 합침
경계 표기
종류만
BIO
'나리식당'의 정답
'나리'
이름 전체 (회사는 '주식회사'까지)
사전학습
처음부터 (H100 32장)
공개 KLUE-BERT (RTX 8000 2장)
토크나이저
MeCab-ko + BPE
WordPiece + 어휘 26개
출력 층
토큰별 분류
CRF
판결문
10개 유형 6,700건 (공개본 3개 유형 4,500건)
39개 법 분야 2,000건
판결문 밖 자료
없음
SNS 채팅 90.8만 문장
빈칸 채우기
에폭마다 새로
한 번
주석 품질
절차 서술
플라이스 카파 0.7352
처리 단위
문서, 2,048토큰
문장, 512토큰
채점
토큰 단위 2종
토큰·개체·느슨한 채점 6종
모델 앞뒤
—
문장 분리, 정규식, 기호 일관성
갈림길을 꿰는 축은 하나입니다. 무엇을 문제로 정의했는가. Thunder-DeID는 "판결문에 나오는 모든 종류의 단서를, 예규가 요구하는 치환 방식까지 알 수 있게 찾는다"를 문제로 삼았습니다. 그래서 라벨이 잘고, 한국어의 조사 경계를 토크나이저에서 풀고, 그 토크나이저 때문에 모델을 새로 만들었습니다. K-LegalDeID는 "가장 흔하고 분명한 식별자를, 넓은 분야에서, 가벼운 모델로 정확히 찾는다"를 문제로 삼았습니다. 그래서 라벨이 굵고, 굵은 라벨에 필요한 경계 표기와 CRF를 붙이고, 자료의 넓이에 힘을 썼습니다.
어느 한쪽이 옳았다고 말하기는 어렵습니다. 위젯의 색 점을 세어 보면, 나중에 나온 K-LegalDeID가 앞선 논문의 빈틈(경계 표기, 엄격한 채점, 품질의 수치화, 모델 앞뒤의 단계)을 메운 곳이 많고, Thunder-DeID는 예규와 한국어에 더 바짝 붙은 선택(고유한 부분만 가리기, 조사 분리, 문서 단위 문맥)에서 앞섭니다. 서로 겹치지 않는 곳에서 강합니다.
같았던 것
갈린 곳만큼 중요한 것이 같았던 곳입니다. 두 논문은 다음 다섯 가지를 똑같이 하지 못했습니다.
원본으로 시험하지 못했습니다. 시험 문서도 지워진 판결문에 합성 값을 채운 것입니다.
문서 한 건을 통째로 평가하지 않았습니다. 토큰이나 개체를 몇 개 맞혔는지만 쟀고, "이 판결문을 사람 손 없이 내보낼 수 있는가"는 재지 않았습니다.
가린 뒤의 위험을 재지 않았습니다. 법원이 가린 곳을 모델도 가렸는지만 봤고, 가린 결과물에서 당사자를 다시 찾을 수 있는지는 보지 않았습니다.
LLM을 실행에는 쓰지 않고 준비에만 썼습니다. 한쪽은 라벨 후보를 늘리는 데, 다른 쪽은 채팅 데이터의 범주를 나누는 데 썼습니다. 원본이 들어가는 일에는 둘 다 작은 인코더를 택했습니다.
법원과 닿지 못했습니다. 두 논문 어디에도 법원이 결과를 검증했다거나 도입을 검토한다는 내용은 없습니다.
넷째는 두 팀이 독립적으로 같은 결론에 이르렀다는 점에서 의미가 있습니다. 나머지 넷은 한 팀의 부족함이 아니라 이 분야가 놓인 구조의 문제입니다.
2장. 세 번째 논문: 서울대의 자기 수정
두 논문 사이의 논쟁에는 속편이 있습니다. EMNLP 2026에 실린 Thunder-DeID+입니다. 서울대 연구진이 자신들의 첫 논문과 K-LegalDeID를 모두 선행 연구로 놓고 다시 쓴 답이고, 이 글의 관점에서는 두 설계가 어떻게 합쳐지기 시작하는지를 보여 주는 자료입니다.
두 선행 연구에 대한 진단
Thunder-DeID+는 관련 연구 절에서 두 논문을 이렇게 요약합니다. Thunder-DeID는 조사 경계 문제를 형태소 분석으로 다뤘지만 대가가 있었다고 합니다. 라벨이 너무 잘아 예시가 드문 예측 대상이 많아졌고, 형태소 기반 토큰화가 입력 길이를 늘려 추론 비용을 올리고 기존 한국어 인코더와의 호환성을 낮췄다는 것입니다. K-LegalDeID에 대해서는 예측을 단순하게 만든 대신 Thunder-DeID가 구분하던 간접 식별자(준식별자)의 상당수를 접어 버렸다고 짚습니다. 직장, 소속 기관, 사건 장소처럼 그 자체로는 당사자를 특정하지 못하지만 판결문의 다른 사실과 결합하면 재식별 위험을 높이는 정보들입니다.
자기 분류 체계에 대한 비판은 더 구체적입니다.
729개 체계의 문제 (저자들의 자기 진단)
예
지나치게 쪼개지거나 겹친 라벨
'식당', '음식점', '레스토랑'이 서로 다른 라벨
들쭉날쭉한 굵기
어떤 개체는 넓은 범주로, 어떤 개체는 아주 좁은 하위 유형으로 주석
분류 기준의 혼재
업종('외식업', '도소매업')과 법인 형태('주식회사', '유한회사')가 한 범주 안에서 경쟁하는 라벨
첫 번째 글에서 729개 목록을 훑어보며 "책상에서 설계한 분류라면 나올 수 없는 라벨들"이라고 적었습니다. 그 귀납의 힘이 동시에 약점이기도 했던 셈입니다. 실제 판결문에서 주운 대로 붙인 라벨은 풍부하지만 고르지 않습니다. 후속작은 이를 같은 층의 범주는 같은 굵기로 정리한 새 3단 체계로 바꿨습니다. 라벨을 11개로 줄이지도, 729개를 그대로 두지도 않고 그 사이에서 체계를 다시 잡은 것입니다.
무엇을 바꿨나
항목
Thunder-DeID (2025)
Thunder-DeID+ (2026)
어느 쪽 문제의식을 받았나
말뭉치
6,700건, 본문 발췌 위주
5,872건의 전체 판결문, 주석 193,004곳
—
분류 체계
729개, 굵기 불균일
굵기를 맞춘 새 3단 체계
K-LegalDeID의 단순화 + 준식별자 보존
토크나이저
MeCab-ko + BPE
기존 BPE 어휘에 N-그램·경계 점수 모형을 더한 경계 인식 토크나이저
K-LegalDeID의 경계 강조
모델
DeBERTa-v3 계열 3.7억~15억
ModernBERT 계열 1.5억~10억
가벼운 쪽으로
평가
토큰 단위
토크나이저에 의존하지 않는 어절 단위, 엄격·부분 × 종류·이진
K-LegalDeID의 엄격한 채점
범위
판결문
판결문 + 일반 민감 문서로의 전이
K-LegalDeID의 판결문 밖 자료
오른쪽 열이 이 글의 논점입니다. 후속작이 받아들인 변화의 대부분은 K-LegalDeID가 제기한 방향(경계, 엄격한 채점, 가벼운 모델, 판결문 밖)과 같은 쪽을 향합니다. 동시에 K-LegalDeID가 놓은 것(준식별자의 구분, 문서 단위 처리)은 유지했습니다. 경쟁하던 두 설계가 한 논문 안에서 만나기 시작한 것입니다.
토크나이저의 변화는 두 번째 글에서 코어닷투데이가 잰 것과 직접 이어집니다. 저자들은 정답 식별자 구간을 다른 글자를 끼워 넣지 않고 깨끗하게 덮을 수 있는 비율을 토크나이저별로 쟀습니다.
일반 BPE (어휘 5만)
70.8%
MeCab-ko + BPE (원래 Thunder-DeID)
92.4%
경계 인식 토크나이저 (Thunder-DeID+)
99.7%
글자 단위 (참고)
100%
형태소 분석기를 넣은 원래의 토크나이저도 식별자 구간의 7.6%에서는 경계가 깨끗하지 않았습니다. 코어닷투데이가 공개 KLUE-BERT 어휘로 잰 이름–조사 경계 일치율은 97.3%였는데, 재는 대상이 달라(가상의 이름과 조사 여덟 가지 대 실제 주석의 모든 식별자) 직접 비교할 수는 없습니다. 다만 두 측정이 가리키는 바는 같습니다. 한국어에서 식별자의 경계는 토크나이저 단계에서 몇 퍼센트씩 새고, 그 몇 퍼센트가 엄격한 채점에서 점수를 크게 깎습니다. 새 토크나이저는 글자 단위에 가까운 99.7%를 글자 단위의 절반 이하 토큰 수로 얻었다고 합니다.
원래 모델을 다시 재니
이 논문에서 가장 눈에 띄는 표는 저자들이 자기의 이전 모델을 새 방식으로 다시 잰 것입니다. 공개된 Thunder-DeID 체크포인트를 새 말뭉치의 전체 길이 판결문(같은 열 가지 사건 유형)에 그대로 돌리고, 어절 단위로 엄격하게(종류는 묻지 않고) 채점했습니다.
모델
어절 엄격 이진 F1
정밀도
재현율
Thunder-DeID 370M
0.600
0.539
0.676
Thunder-DeID 800M
0.698
0.605
0.825
Thunder-DeID 1.5B
0.733
0.657
0.829
Thunder-DeID+ 150M
0.874
0.849
0.901
Thunder-DeID+ 1B
0.898
0.870
0.928
원래 논문에서 토큰 이진 F1 0.98을 보고한 1.5B 모델이, 전체 길이 판결문과 어절 단위 채점에서는 0.73입니다. 재현율은 0.83, 곧 가려야 할 어절 여섯 가운데 하나를 온전히 가리지 못했습니다. 모델이 달라진 것이 아닙니다. 시험지(발췌가 아닌 전체 판결문, 다른 말뭉치)와 자(토큰이 아닌 어절, 온전히 덮어야 정답)가 달라졌을 뿐입니다. 첫 번째 글에서 "0.98은 재구성한 세계에서의 0.98"이라고 적었는데, 저자들이 직접 그 간극의 크기를 숫자로 보여 준 것입니다.
같은 논문은 범용 LLM도 쟀습니다. 공개 가중치 모델 네 종에 판결문 전체를 주고 식별자에 표지를 달아 출력하게 한 결과입니다.
모델
원문을 그대로 보존한 판결문
어절 엄격 종류 F1
Qwen 3.5 2B
0.00%
0.004
Gemma 4 E2B
25.89%
0.141
Gemma 4 26B-A4B
27.77%
0.184
Qwen 3.6 27B
81.09%
0.483
Thunder-DeID+ 150M (참고)
구조상 100%
0.867
가장 좋은 270억 파라미터 모델도 판결문 다섯 건 가운데 한 건에서 원문을 바꿨고, 식별자를 찾는 점수는 1억 5천만 파라미터 전용 모델의 절반 남짓입니다. 코어닷투데이가 첫 번째 글에서 로컬 모델 두 개와 단락 30개로 확인한 것(다시 쓰게 하면 거의 항상 무언가 바뀐다)이 판결문 587건 규모로 재확인된 셈입니다.
마지막으로 저자들은 주석 방식의 효과를 따로 쟀습니다. 같은 사전학습 가중치와 같은 토크나이저로, 옛 방식(Thunder-DeID)의 자료와 새 방식(Thunder-DeID+)의 자료를 각각 학습시켜 같은 574건으로 시험하니, 새 방식 쪽의 어절 엄격 이진 F1이 0.120~0.156 높았습니다. 저자들은 말뭉치와 주석 규칙이 함께 달라 분류 체계만의 효과라고 단정할 수는 없다고 덧붙입니다. 그래도 방향은 분명합니다. 모델이나 토크나이저를 바꾸지 않고 정답을 적는 방식만 정리해도 12~16점이 움직입니다. 4장에서 다시 볼 이야기입니다.
덧붙여, 이 논문은 K-LegalDeID를 실험 비교에서 뺐습니다. 이유는 "실험 시점에 공개된 체크포인트가 없어서"입니다. 두 번째 글에서 짚은 공개 문제가 실제로 뒤따르는 연구를 막은 사례입니다.
세 논문에서 나온 숫자를 한 줄로 세우면 0.99에서 0.37까지 걸쳐 있습니다. 서로 다른 모델의 실력 차이처럼 보이지만, 대부분은 무엇을 어디서 쟀는가의 차이입니다.
숫자를 움직이는 손잡이는 네 개입니다.
손잡이 1: 채점 단위. 토큰 → 개체(또는 어절) → 문서. 단위가 커질수록 한 번의 실수가 더 큰 덩어리를 오답으로 만듭니다. K-LegalDeID의 같은 모델이 합친 시험에서 토큰 단위 0.9989, 개체 단위 0.9923입니다. 문서 단위는 어느 논문도 보고하지 않았습니다. 위젯의 계산기로 어림하면, 토큰 재현율 98.6%인 모델이 식별자 10개짜리 판결문을 하나도 빠짐없이 가릴 확률은 65% 안팎입니다.
손잡이 2: 경계의 엄격함. 조금이라도 겹치면 정답, 절반 넘게 겹치면 정답, 처음과 끝이 정확히 같아야 정답. K-LegalDeID가 새 판결문 데이터에서 겹침 기준 0.9536, 엄격 기준 0.9438입니다. 한국어에서는 조사와 일반 명사의 경계 때문에 이 차이가 큽니다. Thunder-DeID+에서 일반 BPE 토크나이저를 쓴 모델은 재현율이 0.88~0.91로 높은데도 정밀도가 0.66~0.68에 그쳤습니다. 식별자를 찾기는 했는데 옆 글자까지 함께 덮었다는 뜻입니다.
손잡이 3: 시험지의 구성. K-LegalDeID의 0.9923은 채팅이 75%인 시험지의 점수이고, 판결문만으로는 0.9438입니다. Thunder-DeID의 0.98은 본문을 발췌한 문서의 점수이고, 전체 길이 판결문에서는 0.73입니다.
손잡이 4: 정답의 정의. 같은 문장을 두고 연구실마다 정답이 다릅니다. 이 손잡이 하나가 0.99를 0.37로 만듭니다. 다음 장의 주제입니다.
네 손잡이를 가장 느슨한 쪽으로 돌리면 0.99가 나오고, 가장 엄격한 쪽으로 돌리면 0.4~0.7이 나옵니다. 논문 초록에 실리는 것은 대개 앞의 숫자이고, 법원 실무자에게 필요한 것은 뒤의 숫자입니다. 이 분야에서 지난 1년 반 동안 일어난 일을 한 문장으로 줄이면 "점수가 오른 것이 아니라 자가 엄격해졌다"입니다. 그리고 그것은 진전입니다.
4장. 정답지가 다르다: 0.37이 말해 주는 것
두 번째 글에서 본 K-LegalDeID의 표 2를 다시 봅니다. Thunder-DeID 데이터를 한 번도 보지 않은 모델을 그 데이터로 시험하면 토큰 단위 0.93, 엄격한 개체 단위 0.37입니다. 어디에 식별자가 있는지는 대체로 맞혔고, 어디서부터 어디까지인지가 셋 가운데 둘에서 달랐습니다.
두 연구실은 같은 재판예규를 따랐다고 밝힙니다. 그런데 그 예규를 주석 지침으로 옮기는 과정에서 갈렸습니다.
같은 문장
Thunder-DeID의 정답
K-LegalDeID의 정답
나리식당에서 근무하는
[나리]식당 — 라벨 '식당'
[나리식당] 쪽에 가까움 — 라벨 '주소' 또는 '회사'
주식회사 스트롱시프트와
고유한 부분만
[주식회사 스트롱시프트] — 라벨 '회사'
○○ PC방에서
라벨 'PC방' (오락 및 스포츠)
라벨 '주소'
H 교도소 I 팀 소속
교도소 이름과 팀 이름 모두 대상
11개 라벨에 해당 항목 없음
증인 김철수 이영희
이름, 이름 (경계 표시 없음)
B-이름, B-이름
어느 쪽도 틀리지 않았습니다. 예규가 "고유한 부분만 바꾼다"고는 말해도 "주석할 때 구간을 어디까지 잡는다"고는 말하지 않기 때문입니다. 법원 직원에게는 필요 없던 정밀함이 기계 학습에는 필요해진 것입니다.
여기에 사람 사이의 흔들림이 더해집니다. K-LegalDeID가 보고한 주석자 일치도는 플라이스 카파 0.7352입니다. 같은 지침으로 훈련받은 여덟 사람도 꽤 자주 갈렸습니다. 연구실 안의 일치가 0.74이고 연구실 사이의 일치가 (개체 단위로) 0.37이라면, 지금의 벤치마크 점수는 "판결문 비실명화 능력"보다 "한 연구실의 지침을 따라 하는 능력"에 가깝습니다.
Thunder-DeID+의 실험이 이 진단을 뒷받침합니다. 모델과 토크나이저를 고정하고 주석 방식만 정리했을 때 12~16점이 올랐습니다. 같은 논문에서 모델을 1억 5천만에서 10억 파라미터로 키워 얻은 이득은 1점 남짓이었습니다(0.867 → 0.878). 정답을 적는 방식이 모델 크기보다 열 배 넘게 중요했던 셈입니다.
729개와 11개 사이의 선택은 사실 둘 가운데 하나를 고르는 문제가 아닙니다. 두 숫자는 서로 다른 일에 필요합니다.
찾는 일에는 굵은 라벨이 맞습니다. "여기가 식별자인가, 대략 어떤 부류인가." 라벨마다 예시가 많고, 사람도 모델도 덜 헷갈립니다.
바꾸는 일에는 잔 라벨이 필요합니다. 예규는 종류마다 치환 방식이 다르고('A식당', '계좌번호 1 생략'), 학습 자료를 만들 때 빈칸에 문맥에 맞는 값을 채우려면 그 자리가 식당인지 PC방인지 알아야 합니다.
그러니 한 체계 안에 두 층을 두면 됩니다. 위층은 열 개 남짓의 굵은 부류, 아래층은 그 아래로 가지를 친 세부 유형입니다. Thunder-DeID의 3단 계층이 이미 이 모양에 가깝고(대분류 2, 중분류 16), Thunder-DeID+가 "같은 층은 같은 굵기로" 정리한 것도 이 방향입니다. K-LegalDeID가 595개 라벨을 11개로 접을 때 만든 대응 규칙('Thunder-To-Ours')은 아래층에서 위층으로 가는 사다리의 초안입니다. 두 층이 공식적으로 이어져 있으면 한쪽 체계로 주석한 자료를 다른 쪽 연구가 그대로 쓸 수 있고, 채점도 층별로 따로 할 수 있습니다.
라벨보다 먼저 맞춰야 할 것은 경계 규칙입니다. 최소한 다음 다섯 줄은 누가 주석하든 같아야 합니다.
일반 명사('식당', '은행', '주식회사', '교도소')를 구간에 넣는가.
조사와 접미사('씨', '님', '등')를 구간에 넣는가.
주소는 어느 행정 단위부터 구간인가.
붙어 있는 같은 종류의 개체를 어떻게 가르는가.
법원이 이미 통째로 지워 자리표시자조차 없는 곳을 어떻게 다루는가.
이 다섯 줄은 연구실이 정할 일이 아닙니다. 예규를 가진 법원이 주석 지침의 형태로 내놓아야 하는 것입니다.
5장. 세 논문이 똑같이 적은 한계
세 논문의 한계 절을 나란히 놓으면 거의 같은 문장이 나옵니다.
Thunder-DeID (2025)
K-LegalDeID (2026)
Thunder-DeID+ (2026)
원본 판결문은 법적 제한으로 접근할 수 없다. 이 한계 때문에 실제 환경에서의 성능을 평가할 수 없다.
원본 판결문에 접근할 수 없다. 합성 데이터는 실제 원본의 특성을 완벽하게 재현하지 못하고, 원본과의 비교 실험을 할 수 없다.
주된 실험은 원본이 아니라 대체 값을 채운 문서를 쓴다. 결과는 이 통제된 설정 안에서 해석해야 한다. 문서 수준의 재식별 위험은 직접 평가하지 않았다.
세 번째 논문의 마지막 문장이 중요합니다. 저자들 스스로 재식별 위험을 재지 않았다고 적었습니다. 첫 번째 글에서 스위니의 87%부터 스위스 판결문의 84%까지 살핀 대로, 지침대로 가린 것과 안전한 것은 다른 문제입니다.
합성 값으로 채운 시험지가 왜 문제인지는 다른 분야의 경험이 알려 줍니다. 의료 비식별화에서는 한 병원의 자료로 학습한 모델이 다른 병원의 자료에서 크게 떨어지는 일이 반복해서 보고됐습니다. i2b2 2006 자료로 학습한 모델이 자기 시험에서는 F1 98.8, i2b2 2014 자료에서는 87.5였다는 식입니다. 2020년의 PHICON 연구는 이 교차 평가의 실패를 정면으로 다루며 치환 증강으로 최대 8.6%를 되찾았다고 보고했는데, 두 한국 논문이 쓴 빈칸 채우기가 바로 그 계보입니다. 개체명 인식 일반에서는 학습과 시험에 같은 개체가 겹치면 점수가 부풀려지고, 본 개체와 못 본 개체 사이에 2~10%의 격차가 있다는 연구도 있습니다. 같은 생성기와 같은 목록으로 학습용과 시험용 빈칸을 채웠다면, 시험이 재는 것의 일부는 그 목록을 알아보는 능력입니다.
정리하면, 지금의 점수가 실제 성능을 얼마나 과대평가하는지는 모릅니다. 20%일 수도 있고 2%일 수도 있습니다. 모른다는 것이 문제입니다. 그리고 이것은 연구자가 더 열심히 해서 풀 수 있는 문제가 아닙니다. 원본은 법원에만 있습니다.
익명화 연구의 평가는 지난 몇 년 사이 방향을 틀었습니다. 전통적인 방식은 사람이 표시한 식별자 가운데 몇 개를 찾았는지(재현율)를 봅니다. 여기에 두 가지 비판이 쌓였습니다. 첫째, 재현율은 모든 식별자를 같은 무게로 셉니다. 이름 하나를 놓친 것과 "어느 날"이라는 표현 하나를 놓친 것이 똑같이 한 건입니다. 둘째, 재현율은 정답이 하나라고 가정합니다. 실제로는 같은 문서를 안전하게 만드는 방법이 여러 가지입니다.
그래서 가린 결과물을 공격해 보는 평가가 나왔습니다. 2024년 Manzanares-Salor 등은 익명화한 문서를 분류기에 넣어 당사자를 맞히게 하고 그 성공률을 위험 지표(TRIR)로 쓰자고 제안했습니다. 2024년 말 Pilán 등은 식별자를 지우는 대신 사실이지만 덜 구체적인 표현으로 바꾸는 방식을 제안하면서, 그렇게 바꿔도 통째로 지우는 것보다 재식별 위험이 1%포인트 미만만 오른다고 보고했습니다. 2025년에는 프라이버시 측정 방법 47편을 정리한 조사 논문이 나와, 연구마다 "프라이버시"라는 말로 재는 것이 여섯 가지로 갈린다는 점을 정리했습니다.
2026년 2월의 RAT-Bench는 이 흐름의 중간 결산입니다. 임페리얼 칼리지 런던 등의 연구진이 미국 인구 통계에 맞춘 가상 인물의 글(진료 기록, AI 챗봇 대화, 회의록)을 만들고, 익명화 도구 12종을 돌린 뒤, LLM 공격자가 남은 글에서 속성을 추론해 당사자를 다시 특정하는 데 성공한 비율을 쟀습니다.
세 가지를 읽을 수 있습니다. 식별자가 표준적인 모양으로 적혀 있을 때조차 널리 쓰이는 도구를 거친 글의 22~67%에서 당사자를 다시 찾았습니다. 표기가 조금 바뀌면(오타, 풀어 쓴 숫자) 규칙과 추출기는 크게 흔들립니다. 그리고 문맥으로만 드러나는 단서에서는 실린 도구 가운데 어느 것도 재식별률을 18% 아래로 내리지 못했습니다. 논문의 결론은 "특정 식별자를 제거하는 재현율만으로 익명화 도구를 평가하는 것은 충분하지 않다"입니다.
두 한국 논문의 0.98과 0.99는 모두 '찾기' 점수입니다. RAT-Bench의 관점에서는 그 점수가 높다는 것이 판결문이 안전하다는 것을 뜻하지 않습니다. 판결문은 문맥형 단서가 유난히 많은 글입니다. 누가 언제 어디서 무엇을 어떻게 했는지를 자세히 적는 것이 판결문의 목적이기 때문입니다.
벤치마크 밖으로 나가면
같은 시기의 다른 연구들은 한목소리로 말합니다. 벤치마크에서 높은 점수를 받은 도구가 다른 종류의 글에서는 크게 떨어진다고.
연구 (시기)
무엇을 쟀나
결과
OpenAI Privacy Filter 교차 평가 (2026년 5~8월)
32개 벤치마크, 14개 언어
자기 계열 벤치마크 0.855, 의료 상담 0.464, 아랍·키릴 문자 0.03~0.04. 라벨 100~1,000건으로 미세조정한 다국어 인코더가 제로샷을 앞섬
공통된 교훈은 둘입니다. 범용 도구를 가져다 쓰는 것만으로는 안 된다는 것, 그리고 현장의 문서 수백 건이면 크게 회복된다는 것입니다. 뒤의 것이 다음 장으로 이어집니다.
7장. 세계의 흐름 ②: 방법은 어디로 모이나
작은 전용 모델로의 수렴
2025~2026년에 나온 개인정보 탐지 모델을 늘어놓으면 방향이 같습니다. OpenAI의 Privacy Filter(2026년 4월)는 생성 모델이 아니라 분류 모델이고, GLiNER 계열은 2~3억 파라미터 인코더이며, Thunder-DeID+는 ModernBERT 기반 1.5억~10억, K-LegalDeID는 1.1억입니다. LLM을 만드는 회사와 대학 연구실이 같은 결론에 이르렀습니다. 식별자를 찾는 일은 토큰마다 꼬리표를 붙이는 작은 인코더가 맡는다는 것입니다. 이유는 앞선 글들에서 본 대로입니다. 문장을 바꿀 수 없는 구조이고, 내부 장비에서 돌고, 빠릅니다.
그 위에서 작은 모델을 현장에 맞추는 일이 핵심 기술이 됐습니다.
Thunder-DeID+의 전이 실험이 좋은 예입니다. 판결문만으로 학습한 모델을 일반 민감 문서에 그대로 쓰면 엄격한 어절 단위 F1이 0.41~0.49입니다. 그 분야의 문서 50건을 보여 주면 0.65~0.81, 1,000건이면 0.88~0.93으로 올라갑니다. 처음 수십 건의 효과가 가장 큽니다. 이 곡선은 양쪽으로 읽힙니다. 벤치마크의 모델을 그대로 가져다 쓰면 안 된다는 경고이자, 현장 자료가 조금만 있으면 된다는 희망입니다.
LLM의 자리
LLM이 설 자리가 없다는 뜻은 아닙니다. 연구는 LLM을 찾는 도구가 아니라 공격자이자 편집자로 쓰는 쪽으로 움직이고 있습니다.
공격자로서. Staab 등의 연구 이후, LLM에게 익명화한 글을 주고 당사자의 속성을 추론하게 하는 것이 위험 평가의 표준 방법이 됐습니다. RAT-Bench의 채점자가 이것입니다.
공격과 방어를 되풀이하는 편집자로서. 한 모델이 추론을 시도하고 다른 모델이 그 단서를 지우거나 흐리게 고치기를 반복합니다. RAT-Bench에서 재식별률을 2%까지 내린 것이 이 방식입니다. 다만 그 값은 보호할 속성을 미리 정확히 알려 준 이상적 조건의 것이고, 모르는 조건에서는 44%였습니다. 프라이버시와 효용을 함께 최적화하는 변형들(RUPTA 등)도 나왔습니다.
한계. 2026년의 한 연구(RLAA)는 이 적대적 익명화를 작은 로컬 모델로 옮기면 글의 효용이 무너진다고 보고했습니다. 원문을 밖으로 내보낼 수 없는 기관은 큰 모델을 쓸 수 없고, 작은 모델은 이 방식을 감당하지 못한다는 딜레마입니다.
그리고 판결문에는 이 방식에 근본적인 제약이 하나 더 있습니다. 문장을 고쳐 써서 단서를 흐리는 것은 공문서인 판결문에 허용되지 않습니다. 판결문에서 LLM이 맡을 수 있는 역할은 본문을 다시 쓰지 않고, 전용 모델이 놓친 문맥형 단서를 지목하는 2차 검토자, 그리고 공개 전에 결과물을 공격해 보는 내부의 붉은 팀입니다.
독일은 한국과 사정이 비슷했습니다. 업계 단체 Bitkom의 2026년 9월 입장문에 따르면 2023~2024년 민사·행정 법원 결정 가운데 공개된 것은 약 3.5%, 지방법원 민사 사건은 약 1.3%에 그쳤고, 이 비율은 1970년대 이후 거의 변하지 않았습니다. 수작업 익명화가 병목이라는 진단도 같습니다.
달라진 것은 지난 2년입니다. 에를랑겐-뉘른베르크 대학의 연구 과제에서 나온 시제품을 바탕으로 바이에른주와 니더작센주가 익명화 도구 ALeKS를 함께 개발했고, 2026년 3월부터 뮌헨 고등법원에서 시험했습니다. 2026년 5월 바이에른 법무부는 수년 안에 5만 건을 익명화해 공개하는 '프로젝트 5만'을 발표하면서, 고등법원에 중앙 익명화 부서를 두고, 자동 처리 뒤에 사람이 검수하며, 공개 여부는 판사가 정한다고 밝혔습니다. 헤센주와 바덴뷔르템베르크주는 다른 도구 JANO를 2025년 12월부터 실제로 쓰고 있습니다. AI가 가릴 곳을 제안하고 직원이 승인하는 방식입니다.
여기서 배울 것은 도구가 아니라 경로입니다. 대학의 연구 → 주 정부와의 공동 개발 → 한 법원에서의 시험 → 전담 부서와 처리 목표. 연구 과제 단계에서부터 법원의 원본으로 일했기 때문에 가능했습니다.
일본: 법으로 전담 기관을 세우다
일본은 다른 길을 택했습니다. 2025년 5월 성립한 민사재판정보의 활용 촉진에 관한 법률은 법무대신이 지정하는 법인 한 곳이 최고재판소로부터 민사 판결을 받아 가명 처리하고 이용자에게 유상으로 제공하도록 합니다. 법무성 검토회는 연 약 20만 건을 대상으로 AI 처리와 사람 확인을 함께 쓰는 방식을 구상했습니다. 법원이 직접 하지 않고, 법으로 정한 전담 기관이 원본을 받아 처리하고, 비용은 이용료로 회수하는 구조입니다. (지정 법인과 제공 개시 시점은 이 글을 쓰는 시점에 확인하지 못했습니다.)
유럽: 익명화는 '고위험'이 아니다
EU의 AI 법은 사법 분야의 AI를 고위험으로 분류합니다. 그런데 전문 61은 예외를 명시합니다. "사법 결정, 문서 또는 데이터의 익명화나 가명화"처럼 개별 사건의 재판에 영향을 주지 않는 순전히 부수적인 행정 업무는 고위험에서 빠진다는 것입니다. 법원이 AI를 쓰는 데 가장 조심스러운 유럽에서도 익명화는 먼저 도입해도 되는 영역으로 구분해 둔 셈입니다. 유럽평의회 사법효율위원회(CEPEJ)는 2024년 말 판결 온라인 공개에 관한 지침을, 2025년 12월 법원의 생성형 AI 사용에 관한 지침을 채택했습니다.
공통점
위젯에서 나라를 넘겨 보면 세 가지가 겹칩니다. 자동 처리 뒤에 반드시 사람이 있습니다. 도구는 원본을 가진 기관 안에서 돕니다. 그리고 정확도 수치를 공개한 곳은 거의 없습니다. 마지막 점은 흥미롭습니다. 현장은 F1이 아니라 "몇 건을 더 공개했는가"(네덜란드: 2020년 3만 8천 건 → 2024년 6만 3,700건, 프랑스: 연 1만 5천 건 미만 → 18만 건)로 성과를 잽니다.
9장. 한국의 지금
세계의 흐름에 한국의 최근 2년을 겹쳐 봅니다.
2024.2개인정보보호위원회가 가명정보 처리 가이드라인을 개정해 비정형 데이터(텍스트·이미지·영상·음성)의 가명처리 기준을 신설.
2025.6서울대 Thunder-DeID 공개(arXiv). 7월, 법원행정처가 재판업무 지원 AI 플랫폼 구축 사업 계약(약 145억 원). 사법부 인공지능위원회가 판결서 공개와 활용에 관한 건의에서 비식별 비용을 장애로 지목하고, AI 학습용 대량 제공은 법원 통제 아래 단계적으로 하자고 제안.
2025.12확정 전 하급심 형사 판결문 공개를 담은 형사소송법 개정안 국회 통과. 시행은 2027년 말(보도 기준).
2026.2~3재판지원 AI 시범 도입(내부 인프라). 고려대 K-LegalDeID가 EACL에서 발표.
2026.5~9가명처리 원스톱 지원으로 처리 기간 단축(보도 기준 126일 → 30일). 9월 개인정보 보호법 개정으로 공익 목적 AI 개발에 원본 데이터를 쓸 수 있는 특례 신설(개인정보위 심의). 같은 달, 법원 홈페이지 게시 판결문의 비식별 처리가 풀리는 사고 공지.
2026.8~11형사재판·양형지원 AI 플랫폼 사업(약 103억 원) 보도. 법관 80명으로 구성된 사법 AI 자문단 출범. 서울대 Thunder-DeID+ 발표.
세 갈래가 따로 움직이고 있습니다. 수요(형사 판결문 공개 확대로 2027년 말부터 물량이 늘어남), 기술(대학 두 곳이 세 편의 논문으로 모델과 자료를 내놓음), 제도(가명처리 절차 간소화, 원본 데이터 활용 특례)입니다. 셋이 만나는 지점이 아직 없습니다. 법원이 대학의 모델을 원본으로 시험했다는 발표도, 비실명화 전용 시범 사업도 이 글을 쓰는 시점까지 확인되지 않습니다. 보도된 두 재판지원 AI 사업의 규모를 합치면 250억 원에 가깝지만 그 안에서 비실명화가 어떤 자리를 차지하는지는 공개된 자료로 알 수 없습니다.
독일과 견주면 차이가 선명합니다. 독일은 연구 과제 단계부터 법원이 함께했고, 한국은 연구가 법원 밖에서 먼저 익었습니다. 뒤집어 보면 한국에는 이미 익은 연구가 있다는 뜻이기도 합니다. 필요한 것은 다리입니다.
10장. 일곱 가지 제안
두 논문과 그 후속작, 세계의 흐름을 겹쳐 놓으면 다음 단계가 무엇인지가 꽤 분명해집니다. 모델을 더 크게 만드는 일이 아닙니다.
세 논문의 가장 큰 한계는 원본으로 재지 못했다는 것이고, 원본은 법원 밖으로 나올 수 없습니다. 그렇다면 방향을 바꾸면 됩니다. 원본이 연구자에게 가는 대신 모델이 원본에게 갑니다.
법원이 원본 판결문과 법원 직원이 실제로 처리한 결과를 짝지은 평가 세트를 내부에 만들어 둡니다. 수백 건이면 시작할 수 있습니다. 연구팀은 모델과 실행 코드를 제출하고, 법원의 격리된 환경에서 그것이 돌아가며, 밖으로 나오는 것은 점수와 오류 유형의 집계뿐입니다. 의료 데이터의 안심구역, 영국 국립기록원이 판결 대량 분석 신청을 심사할 때 쓰는 '다섯 가지 안전'(사람·과제·환경·자료·결과)이 같은 생각입니다. 2026년 9월에 신설된 공익 목적 AI 개발의 원본 데이터 활용 특례는 이런 구조를 제도적으로 가능하게 하는 발판이 될 수 있습니다.
이 한 가지가 이뤄지면 지금까지의 질문 대부분에 답이 나옵니다. 729개와 11개 가운데 무엇이 실제 처리에 더 맞는지, 에폭마다 채우기와 한 번 채우기 가운데 무엇이 나은지, 합성 시험지의 점수가 실제보다 얼마나 높은지. 7장의 전이 곡선이 말해 주듯, 원본 몇백 건으로 미세조정할 수 있는 통로까지 열리면 효과는 더 큽니다.
제안 2. 정답의 정의부터 맞춘다
0.37의 원인은 모델이 아니라 지침입니다. 4장에서 든 경계 규칙 다섯 줄과 두 층 라벨을, 예규를 가진 법원이 기계가 읽을 수 있는 주석 지침으로 공개하는 것이 출발점입니다. 여기에 두 가지 관행을 더합니다. 새 데이터셋은 주석자 일치도를 반드시 보고하고(K-LegalDeID가 시작한 일), 서로 다른 지침으로 만든 자료 사이의 대응표를 함께 냅니다(K-LegalDeID의 'Thunder-To-Ours'가 시작한 일).
제안 3. 자를 바꾼다
채점은 세 층으로 올라가야 합니다.
층
묻는 것
지표
현재
1. 찾기
식별자를 경계까지 정확히 찾았는가
엄격한 개체·어절 단위 F1, 종류별 재현율
세 논문이 여기까지 옴
2. 문서
이 판결문을 고치지 않고 내보낼 수 있는가
문서 단위 완전 처리율, 문서당 남은 식별자 수, 같은 개체에 같은 기호가 붙은 비율, 원문 보존율
아무도 보고하지 않음 (원문 보존율은 Thunder-DeID+가 LLM에 한해 보고)
3. 위험과 효용
가린 결과물에서 당사자를 다시 찾을 수 있는가, 판결문으로서 여전히 읽히는가
재식별 공격 성공률, 과잉 처리율(가리지 않아도 될 것을 가린 비율)
세 논문 모두 하지 않음
2층의 문서 단위 지표는 법원이 원래 쓰던 말과 같습니다. 2025년 보고서의 "처리율 8%"가 바로 문서 단위 지표입니다. 연구의 점수와 현장의 점수를 같은 단위로 놓아야 "지금보다 얼마나 나은가"를 말할 수 있습니다. 3층의 재식별 평가는 한국어와 판결문에 맞춘 RAT-Bench가 필요하다는 뜻이고, 이것은 연구자가 지금 당장 공개 판결문으로 시작할 수 있는 일입니다. 이미 공개된 비실명 판결문에서 언론 보도나 공시 자료와 대조해 당사자를 얼마나 다시 찾을 수 있는지를 재는 연구는 원본 없이도 가능합니다.
어느 한 가지 방법도 모든 실패를 막지 못합니다. 규칙은 번호를 잡고 이름을 놓칩니다. 꼬리표 모델은 이름과 상호를 잡고 문맥형 단서를 놓칩니다. LLM은 문맥을 읽지만 번호를 흘리고 문장을 바꿉니다.
위젯에서 '두 논문의 범위'를 누르면 일곱 가지 실패 가운데 다섯이 막히고 둘이 남습니다. 남는 것은 문맥으로만 드러나는 단서와 문서 전체에 걸친 기호의 일관성입니다. 다음 연구가 향해야 할 곳이 여기입니다. 긴 판결문 전체에서 "김철수", "피고인 김씨", "위 피고인"을 한 사람으로 묶는 일, 그리고 본문을 다시 쓰지 않으면서 "이 교도소 이름이 이 사건에서 사람을 특정하는가"를 판단하는 일입니다. 뒤의 것에는 내부망에서 도는 LLM이 지목만 하는 검토자로 들어갈 자리가 있습니다.
제안 5. 사람의 자리를 설계한다
모든 나라의 법원이 사람 검수를 남겨 두었습니다. 3장의 계산기가 보여 주듯 토큰 단위 99%의 모델도 문서 단위로는 사람 없이 내보낼 수 없습니다. 그렇다면 연구의 목표는 "사람을 없애는 정확도"가 아니라 "사람이 봐야 할 곳을 줄이는 정확도"여야 합니다. 여기서 필요한 것은 지금까지 거의 다뤄지지 않은 것들입니다.
불확실성의 표시. 모델이 확신하는 곳과 망설이는 곳을 구분해 내놓고, 그 확신이 실제 정확도와 맞는지(보정)를 평가합니다. 사람은 망설인 곳부터 봅니다.
놓쳤을 법한 곳의 제시. 가린 곳만이 아니라 "가리지 않았지만 식별자일 수 있는 곳"의 후보를 보여 줍니다.
검수 결과의 환류. 사람이 고친 것이 다음 학습 자료가 됩니다. 원본을 가진 기관 안에서만 돌 수 있는 순환이고, 7장의 전이 곡선이 말해 주듯 수백 건이면 효과가 납니다.
전담 조직. 독일 바이에른이 고등법원에 중앙 익명화 부서를 둔 것처럼, 도구와 기준과 검수 인력을 한곳에 모읍니다.
2단계: 허가받은 대량 이용. 연구와 서비스 개발을 위한 대량 제공. 이용 목적과 재식별 금지 의무를 조건으로. 영국의 허가제와 일본의 지정 법인을 통한 유상 제공이 이 단계의 두 가지 모형입니다. 2025년 사법부 인공지능위원회의 건의도 같은 구분(개별 공개는 넓히고, AI 학습용 대량 제공은 통제 아래 단계적으로)을 담고 있습니다.
3단계: 안심구역. 원본에 닿는 평가와 학습. 제안 1의 환경입니다.
단계를 나누면 비실명화에 요구되는 수준도 단계마다 달리 정할 수 있습니다. 모든 판결문을 대량 대조에도 안전한 수준으로 지우려다 아무것도 못 내놓는 것보다 낫습니다.
제안 7. 벤치마크를 살아 있게 한다
두 번째 글에서 본 대로, K-LegalDeID가 Thunder-DeID를 "형사 세 유형뿐"이라고 평가한 것은 논문이 아니라 공개된 자료를 봤기 때문이었습니다. 후속작이 K-LegalDeID를 비교에서 뺀 것은 공개된 모델이 없어서였습니다. 그리고 이 글을 쓰는 시점에 Thunder-DeID의 허깅페이스 저장소는 로그인 없이 열리지 않습니다.
벤치마크는 논문이 아니라 남이 내려받아 돌려 볼 수 있는 상태로 존재할 때 벤치마크입니다. 버전을 명시하고(논문의 수치가 어느 판본의 것인지), 접근 경로를 유지하고, 시험 세트를 고정하고, 다른 팀의 자료로 교차 평가한 결과를 함께 싣는 관행이 필요합니다. K-LegalDeID의 표 2는 저자들에게 불리한 숫자였지만 이 분야에 가장 쓸모 있는 표였습니다. 그런 표가 관행이 되어야 합니다.
11장. 반론과 열린 질문
"실명으로 공개하는 나라도 있다. 꼭 지워야 하나?" 미국과 영국은 당사자 실명 공개가 원칙에 가깝습니다. 그러나 이것은 기술의 문제가 아니라 각 사회가 재판 공개와 사생활 사이에서 내린 선택이고, 한국은 법률로 비실명 처리를 정했습니다. 다만 범위는 논의할 수 있습니다. 법인, 공공기관, 공인의 이름까지 가리는 것이 판결문의 가치를 지나치게 깎는다는 비판은 오래됐고, 과잉 처리로 AA, AB가 줄줄이 이어지는 판결문은 읽기 어렵습니다. 제안 3의 '과잉 처리율'을 지표에 넣자는 것이 그래서입니다. 덜 지우는 것도 품질입니다.
"LLM이 더 좋아지면 다 해결되지 않나?" 찾는 능력은 계속 나아질 것입니다. 그러나 세 가지는 모델이 좋아져도 남습니다. 원본을 외부로 보낼 수 없다는 제약, 본문을 고쳐 쓰면 안 된다는 제약, 그리고 문맥형 단서에서는 가장 좋은 방법도 위험을 다 지우지 못했다는 RAT-Bench의 결과입니다. 그리고 모델이 좋아지면 공격자도 좋아집니다. 익명화한 글에서 속성을 추론하는 능력은 같은 모델에서 나옵니다. 2026년 9월의 법원 홈페이지 사고가 "인공지능을 활용하면" 풀린다는 공지로 알려졌다는 점을 떠올릴 만합니다.
"11개로 0.99가 나오는데 729개가 왜 필요한가?" 두 숫자가 같은 문제의 점수가 아니기 때문입니다. 11개 체계의 0.99는 그 11종에 대한 것이고, 11종 밖의 단서(교도소, 사건 장소, 소속 팀)는 채점 대상이 아닙니다. 후속작이 지적한 대로 그런 간접 식별자가 재식별 위험의 상당 부분을 차지합니다. 반대로 729개가 너무 많았다는 것도 사실입니다. 답은 가운데, 굵기를 맞춘 계층에 있습니다.
"합성 값으로 채운 자료 말고 방법이 없나?" 원본에 접근하는 길(제안 1)이 열리기 전까지는 없습니다. 그동안 할 수 있는 일은 합성의 질을 높이는 것입니다. 받침에 맞는 조사, 문맥에 맞는 값(선박 사건에는 선박 이름), 오타와 띄어쓰기 오류의 재현, 학습용과 시험용 목록의 분리. 그리고 무엇보다 합성 시험의 점수를 실제 성능으로 말하지 않는 것입니다.
열린 질문. 판결문 안의 표와 별지, 스캔 문서의 OCR 오류는 어떻게 다룰 것인가. 한 사건의 1심·2심·3심 판결문 사이에서 같은 사람에게 같은 기호를 붙여야 하는가, 붙이면 재식별 위험이 커지지 않는가. 이미 공개된 수백만 건을 더 나은 기준으로 다시 처리할 것인가. 모델이 놓쳐 생긴 노출의 책임은 누가 지는가. 어느 것도 논문 한 편으로 답할 수 없고, 법원과 연구자와 개인정보 감독기구가 함께 정해야 하는 문제입니다.
12장. 기관을 위한 점검표
민감한 문서를 대량으로 비실명화해 공개하거나 활용하려는 기관을 위해, 세 편의 글에서 얻은 것을 묶습니다.
정의
무엇을 어디까지 가릴지를 경계 규칙(일반 명사, 조사, 주소 단위, 붙은 개체)까지 글로 적어 두었습니까.
라벨이 '찾는 층'과 '바꾸는 층'으로 나뉘어 있습니까.
주석자 사이의 일치도를 쟀습니까.
모델
원문을 바꿀 수 없는 구조의 전용 모델이 본체입니까.
그 모델을 우리 문서 수백 건으로 맞췄습니까. 벤치마크의 모델을 그대로 가져다 쓰면 절반 수준에서 시작합니다.
토크나이저가 식별자의 경계를 얼마나 깨끗하게 덮는지 확인했습니까.
평가
평가 자료가 실제 문서입니까, 합성 값을 채운 것입니까. 후자라면 그 점수를 실제 성능으로 보고하지 않습니다.
문서 단위 완전 처리율과 문서당 남은 식별자 수를 봅니까.
가린 결과물을 공격해 봤습니까. 내부 LLM에게 남은 글에서 당사자를 추론하게 해 보는 것만으로도 시작할 수 있습니다.
과하게 가린 비율도 잽니까.
운영
원본은 조직 안에 머뭅니까. 외부 연구자의 모델을 안에서 돌려 점수만 내보내는 통로가 있습니까.
두 논문은 같은 산을 다른 면에서 올랐습니다. 한쪽은 판결문에 나오는 모든 단서에 이름을 붙였고, 다른 쪽은 가장 흔한 단서를 가장 넓은 분야에서 정확히 잡았습니다. 한쪽은 한국어의 문법을 토크나이저에, 다른 쪽은 꼬리표의 문법을 CRF에 새겼습니다. 그리고 후속작에서 두 길은 만나기 시작했습니다. 굵기를 맞춘 계층 라벨, 경계를 아는 토크나이저, 엄격한 어절 단위 채점, 판결문 밖으로의 전이.
기술은 충분히 익었습니다. 1억에서 10억 파라미터의 인코더가 GPU 한 장으로 식별자를 찾고, 문장은 한 글자도 바꾸지 않으며, 현장의 문서 수백 건이면 새 분야에 맞춰집니다. 남은 문제는 기술 바깥에 있습니다. 무엇이 정답인지가 합의되지 않았고, 진짜 시험지는 잠긴 문 안에 있으며, 잰 것은 찾은 개수이지 남은 위험이 아닙니다.
그래서 다음 걸음은 더 큰 모델이 아닙니다. 법원이 주석 지침을 내놓고, 원본으로 채점하는 창구를 열고, 문서 단위와 재식별 위험으로 재고, 사람이 볼 곳을 줄이는 방향으로 도구를 맞추는 일입니다. 독일은 대학의 시제품을 법원으로 옮겨 5만 건을 목표로 삼았고, 일본은 법으로 전담 기관을 세웠습니다. 한국은 2027년 말 형사 판결문 공개 확대를 앞두고 있고, 손에는 세 편의 논문이 있습니다.
판결문 한 건을 읽으려면 사건번호와 1,000원이 필요한 나라에서, 누구나 판결을 검색하고 읽고 배우는 나라로 가는 길은 그 다리를 놓는 데서 시작됩니다.
참고문헌
세 편의 논문
Sungeun Hahm, Heejin Kim, Gyuseong Lee, Hyunji M. Park, Jaejin Lee. Thunder-DeID: Accurate and Efficient De-identification Framework for Korean Court Judgments. Findings of EMNLP 2025. aclanthology.org/2025.findings-emnlp.682
Wooseok Choi, Hyungbin Kim, Yon Dohn Chung. K-LegalDeID: A Benchmark Dataset and KLUEBERT-CRF for De-identification in Korean Court Judgments. EACL 2026. aclanthology.org/2026.eacl-long.103
Gyuseong Lee 외. Thunder-DeID+: Boundary-Aware Korean De-identification from Court Judgments to Broader Sensitive Documents. EMNLP 2026, pp. 58675–58709. aclanthology.org/2026.emnlp-main.2582
평가의 흐름
Krčo, Yao, Meeus, de Montjoye. RAT-Bench: A Comprehensive Benchmark for Text Anonymization. arXiv:2602.12806, 2026-02. arxiv.org/abs/2602.12806
Benet Manzanares-Salor, David Sánchez, Pierre Lison. Evaluating the Disclosure Risk of Anonymized Documents via a Machine Learning-based Re-identification Attack. Data Mining and Knowledge Discovery 38, 2024.
Ildikó Pilán 외. Truthful Text Sanitization Guided by Inference Attacks. arXiv:2412.12928. arxiv.org/abs/2412.12928
Robin Staab 외. Beyond Memorization: Violating Privacy via Inference with Large Language Models. ICLR 2024 · Large Language Models are Advanced Anonymizers. ICLR 2025.
Ildikó Pilán 외. The Text Anonymization Benchmark (TAB). Computational Linguistics 48(4), 2022.
Xiang Yue, Shuang Zhou. PHICON: Improving Generalization of Clinical Text De-identification Models via Data Augmentation. ClinicalNLP 2020. arxiv.org/abs/2010.05143