#토크나이저
6개의 포스트

작은 모델, 큰 벤치마크 — K-LegalDeID로 읽는 BIO와 CRF의 귀환, 109만 건의 데이터, 그리고 0.99 뒤의 0.94
판결문 비실명화에 대한 두 번째 답이 2026년 3월 EACL에 나왔습니다. 고려대 연구진의 K-LegalDeID는 앞선 Thunder-DeID와 거의 모든 선택이 반대입니다. 라벨은 729개가 아니라 11개, 모델은 처음부터 사전학습한 15억 파라미터가 아니라 공개된 KLUE-BERT 1억 1천만에 CRF 층 하나, 데이터는 판결문 6,700건이 아니라 채팅·판결문·공개 데이터를 합친 109만 문장입니다. 그리고 엄격한 개체 단위 F1 0.9923을 보고합니다. 이 글은 1995년의 BIO 표기와 2001년의 CRF가 왜 2026년에 다시 쓰이는지부터 풀고, 39개 법 분야 2,000건의 새 데이터와 주석자 일치도 0.7352, 여섯 가지 채점 방식을 그림·표·위젯으로 따라갑니다. 숫자를 뜯어 보면 0.9923은 채팅이 대부분인 시험지의 점수이고, 새로 만든 판결문만으로는 0.94~0.97이며, 다른 연구실의 정답지로 채점하면 0.37로 떨어집니다. 코어닷투데이는 공개된 KLUE-BERT 어휘로 이름 2,000개에 조사를 붙여 직접 토큰화해, 경계가 맞아떨어지는 비율 97.3%와 ‘신한은행’이 한 토큰이 되는 문제를 확인했습니다.

두 논문이 남긴 숙제 — 판결문 비실명화는 어디로 가야 하나: 729 대 11, 0.99 대 0.37, 그리고 세계의 흐름
한국 판결문 비실명화를 다룬 두 논문, 서울대의 Thunder-DeID와 고려대의 K-LegalDeID를 열세 가지 설계 선택으로 나란히 놓고 읽습니다. 한쪽은 729개 라벨과 전용 사전학습으로 세밀하게, 다른 쪽은 11개 라벨과 CRF로 가볍게 갔습니다. 두 논문 모두 0.98~0.99를 보고하지만, 한쪽 모델을 다른 쪽 정답지로 채점하면 0.37이 나오고, 서울대의 후속작 Thunder-DeID+가 원래 모델을 전체 길이 판결문에서 어절 단위로 다시 재니 0.73이었습니다. 숫자가 모델의 실력이 아니라 자와 시험지를 재고 있다는 뜻입니다. 이 글은 그 간극의 원인을 정답 정의, 평가 단위, 원본 부재로 나누어 짚고, 재식별 성공률로 채점하는 RAT-Bench, 독일의 ‘프로젝트 5만’과 일본의 지정 법인 제도, EU AI Act의 익명화 예외 같은 2024~2026년 세계의 흐름을 정리합니다. 그 위에서 한국이 택할 수 있는 일곱 가지 방향을 제안합니다. 시험지를 법원 안에 두고 모델이 찾아가게 할 것, 정답의 정의부터 맞출 것, 문서 단위와 재식별 위험으로 잴 것, 층을 쌓을 것, 사람의 자리를 설계할 것, 공개의 단계를 나눌 것, 벤치마크를 살아 있게 할 것입니다.

‘token’은 1조각, ‘토큰’은 5조각 — 30년 된 압축 알고리즘 BPE가 AI의 눈이 되기까지 (특집)
언어 모델은 글자를 읽지 않는다. 문장을 ‘토큰’이라는 조각으로 자른 뒤 그 번호를 읽는다. 이 칼의 정체는 1994년 잡지에 실린 파일 압축 알고리즘 BPE다. 2016년 에든버러 연구진이 번역기의 ‘모르는 단어’ 문제를 풀려고 이 알고리즘을 꺼내 왔고, 지금은 GPT·Llama·Gemma·EXAONE이 모두 그 후손을 쓴다. 이 글은 왜 단어도 글자도 아닌 ‘조각’이어야 했는지에서 출발해 병합 규칙을 손으로 따라가 보고, strawberry의 r을 못 세는 이유, 세 자리씩 잘리는 숫자, 레딧 닉네임이 일으킨 글리치 토큰 소동을 사례로 짚는다. 토크나이저 13종으로 같은 뜻의 한국어·영어 문장을 직접 잘라 ‘한국어 토큰세’를 재고, 우리 블로그 글 600여 편으로 BPE를 직접 학습시켜 본 실측도 담았다. 인터랙티브 위젯 7종, 코어닷투데이 실측, 삽화 14장.

헌법은 AI가 쓴 글일까? — 언어 모델의 가장 오래된 성적표, 퍼플렉서티 (특집)
퍼플렉서티는 언어 모델이 다음 토큰을 맞힐 때 ‘몇 개 중 하나를 고르는 만큼 헷갈리는지’를 나타내는 숫자다. 1948년 섀넌의 엔트로피와 1951년 다음 글자 맞히기 게임에서 출발해, 1977년 IBM 음성 인식 연구실에서 이름을 얻었고, 지금도 모든 언어 모델의 학습 곡선이 이 숫자로 그려진다. 이 글은 퍼플렉서티를 주사위로 직관화하고, 공개 모델 7종을 직접 재서 토크나이저가 다르면 순위가 뒤집히는 함정, 언어 모델이 gzip보다 세 배 잘 압축한다는 실측, 지시 학습을 하면 퍼플렉서티가 오르는 현상을 보여 준다. 마지막으로 ‘퍼플렉서티가 낮으면 AI 글’이라는 탐지기가 대한민국헌법을 AI가 쓴 글로 판정하는 이유를 따라간다. 인터랙티브 위젯 5종, 코어닷투데이 실측, 삽화 13장.

맥 한 대에 임베딩 모델 아홉 개 — Qwen3·BGE-M3·Nomic·Arctic·EmbeddingGemma 1·2를 한국어로 다시 재다 (로컬 모델 실측 1편)
10월 1일 다섯 모델을 쟀던 글 뒤로 열흘 사이에 많은 것이 바뀌었습니다. 구글이 EmbeddingGemma 2를 냈고, Ollama 0.40이 애플 실리콘에서 MLX 러너를 기본으로 켰고, 같은 맥에 올라 있는 임베딩 모델이 아홉 개가 됐습니다. 이 글은 그 아홉 개 — Qwen3-Embedding 8B·4B·0.6B, BGE-M3, Nomic Embed v2 MoE, Snowflake Arctic Embed 2.0, EmbeddingGemma 300M, EmbeddingGemma 2 740M·440M — 를 코어닷투데이 문서 660건과 한국어 질문 85개로 같은 조건에서 다시 쟀습니다. 모델마다 '무엇을 하려고 만든 모델인지'를 뼈대(인코더·디코더·온디바이스) 기준으로 쉽게 풀고, 결과에서 가장 놀라운 한 줄 — 308M짜리 1세대 EmbeddingGemma가 4B 모델과 같은 점수를 냈고 2세대는 그보다 낮았다 — 이 왜 나왔는지, 접두어 한 줄이 0.08을 바꾸는 이유, 같은 문서를 토크나이저가 얼마나 다르게 쪼개는지, 벡터를 256차원으로 잘라도 되는지를 실제 값으로 보여 줍니다. 인터랙티브 7개와 삽화 6장. 2편은 글자를 쓰지 않는 판정 모델 tev1·Nimble, 3편은 두 종류를 언제 어떻게 쓰나입니다.

Byte Latent Transformer: 토큰을 버리고 바이트로 돌아간 AI의 반란
GPT부터 Llama까지, 모든 LLM은 '토크나이저'라는 전처리 단계에 의존한다. Meta AI의 BLT는 이 관행을 뒤집었다 — 바이트를 직접 처리하되, 엔트로피 기반으로 '어려운 곳에 더 많은 연산'을 동적 할당하여 80억 스케일에서 Llama 3에 필적하는 성능을 달성했다.