‘token’은 1조각, ‘토큰’은 5조각 — 30년 된 압축 알고리즘 BPE가 AI의 눈이 되기까지 (특집)
언어 모델은 글자를 읽지 않는다. 문장을 ‘토큰’이라는 조각으로 자른 뒤 그 번호를 읽는다. 이 칼의 정체는 1994년 잡지에 실린 파일 압축 알고리즘 BPE다. 2016년 에든버러 연구진이 번역기의 ‘모르는 단어’ 문제를 풀려고 이 알고리즘을 꺼내 왔고, 지금은 GPT·Llama·Gemma·EXAONE이 모두 그 후손을 쓴다. 이 글은 왜 단어도 글자도 아닌 ‘조각’이어야 했는지에서 출발해 병합 규칙을 손으로 따라가 보고, strawberry의 r을 못 세는 이유, 세 자리씩 잘리는 숫자, 레딧 닉네임이 일으킨 글리치 토큰 소동을 사례로 짚는다. 토크나이저 13종으로 같은 뜻의 한국어·영어 문장을 직접 잘라 ‘한국어 토큰세’를 재고, 우리 블로그 글 600여 편으로 BPE를 직접 학습시켜 본 실측도 담았다. 인터랙티브 위젯 7종, 코어닷투데이 실측, 삽화 14장.
