#NLP 기초
4개의 포스트
‘token’은 1조각, ‘토큰’은 5조각 — 30년 된 압축 알고리즘 BPE가 AI의 눈이 되기까지 (특집)
언어 모델은 글자를 읽지 않는다. 문장을 ‘토큰’이라는 조각으로 자른 뒤 그 번호를 읽는다. 이 칼의 정체는 1994년 잡지에 실린 파일 압축 알고리즘 BPE다. 2016년 에든버러 연구진이 번역기의 ‘모르는 단어’ 문제를 풀려고 이 알고리즘을 꺼내 왔고, 지금은 GPT·Llama·Gemma·EXAONE이 모두 그 후손을 쓴다. 이 글은 왜 단어도 글자도 아닌 ‘조각’이어야 했는지에서 출발해 병합 규칙을 손으로 따라가 보고, strawberry의 r을 못 세는 이유, 세 자리씩 잘리는 숫자, 레딧 닉네임이 일으킨 글리치 토큰 소동을 사례로 짚는다. 토크나이저 13종으로 같은 뜻의 한국어·영어 문장을 직접 잘라 ‘한국어 토큰세’를 재고, 우리 블로그 글 600여 편으로 BPE를 직접 학습시켜 본 실측도 담았다. 인터랙티브 위젯 7종, 코어닷투데이 실측, 삽화 14장.
헌법은 AI가 쓴 글일까? — 언어 모델의 가장 오래된 성적표, 퍼플렉서티 (특집)
퍼플렉서티는 언어 모델이 다음 토큰을 맞힐 때 ‘몇 개 중 하나를 고르는 만큼 헷갈리는지’를 나타내는 숫자다. 1948년 섀넌의 엔트로피와 1951년 다음 글자 맞히기 게임에서 출발해, 1977년 IBM 음성 인식 연구실에서 이름을 얻었고, 지금도 모든 언어 모델의 학습 곡선이 이 숫자로 그려진다. 이 글은 퍼플렉서티를 주사위로 직관화하고, 공개 모델 7종을 직접 재서 토크나이저가 다르면 순위가 뒤집히는 함정, 언어 모델이 gzip보다 세 배 잘 압축한다는 실측, 지시 학습을 하면 퍼플렉서티가 오르는 현상을 보여 준다. 마지막으로 ‘퍼플렉서티가 낮으면 AI 글’이라는 탐지기가 대한민국헌법을 AI가 쓴 글로 판정하는 이유를 따라간다. 인터랙티브 위젯 5종, 코어닷투데이 실측, 삽화 13장.
정답이 3위에 있으면 몇 점일까 — 1955년 도서관에서 2026년 RAG까지, 검색을 채점하는 법 Recall@k·MRR·nDCG (특집)
검색 결과 10개 중 정답이 3위에 하나 있다. Recall@10은 1.0, MRR은 0.33, nDCG@10은 0.5다. 같은 결과인데 점수가 셋이다. 지표마다 ‘사용자가 결과를 어떻게 보는가’에 대한 가정이 다르기 때문이다. 이 글은 1955년 재현율의 등장과 1960년대 크랜필드 실험에서 시작해, TREC의 풀링, 질의응답의 MRR, 등급과 할인의 nDCG, MS MARCO와 BEIR를 거쳐 LLM이 정답을 판정하는 2026년까지 검색 평가의 역사를 따라간다. 그리고 한국어 검색기 10개를 Ko-StrategyQA 질문 592개로 직접 재서 보여 준다. 지표를 바꾸면 순위가 바뀌고, 재정렬기는 MRR을 올리지만 Recall@30은 한 치도 못 올리며, 질문 50개로 비교하면 결론이 뒤집힐 확률이 15%다. 정답표의 구멍을 LLM 판정자로 메워 보려 했더니, 판정자는 쉬운 검증은 통과했지만 정작 헷갈리는 문서에서는 후했다. 인터랙티브 위젯 7종, 코어닷투데이 실측, 삽화 13장.
‘23% 틀렸다’와 ‘4% 틀렸다’는 같은 받아쓰기다 — WER·CER, 한국어는 왜 글자로 재나 (특집)
WER(단어 오류율)과 CER(글자 오류율)은 음성 인식기의 받아쓰기를 채점하는 표준 성적표다. 정답과 받아쓰기를 나란히 놓고 대체·삭제·삽입의 수를 세어 정답 길이로 나눈다. 1965년의 편집 거리에서 출발해 1988년 DARPA 벤치마크에서 지금의 모습을 갖췄고, 2016년 ‘사람 수준’ 논쟁을 거쳐 지금도 모든 음성 인식 모델의 성적이 이 숫자로 매겨진다. 이 글은 한국어가 왜 단어가 아니라 글자로 재는지를 띄어쓰기와 어절에서 풀고, 공개 모델 Whisper 6종을 한국어 시험 세트 두 개로 직접 재서 어절 WER 22.6%와 CER 4.3%가 같은 받아쓰기에서 나온다는 것, 어절 오류의 64%가 띄어쓰기 차이라는 것, 숫자 표기 규칙 하나로 CER이 26% 달라진다는 것을 보여 준다. 무음에 뉴스 앵커의 인사를 지어내는 환각, 같은 점수 속의 다른 피해까지 따라간다. 인터랙티브 위젯 6종, 코어닷투데이 실측, 삽화 12장.