#언어 모델 평가
2개의 포스트
헌법은 AI가 쓴 글일까? — 언어 모델의 가장 오래된 성적표, 퍼플렉서티 (특집)
퍼플렉서티는 언어 모델이 다음 토큰을 맞힐 때 ‘몇 개 중 하나를 고르는 만큼 헷갈리는지’를 나타내는 숫자다. 1948년 섀넌의 엔트로피와 1951년 다음 글자 맞히기 게임에서 출발해, 1977년 IBM 음성 인식 연구실에서 이름을 얻었고, 지금도 모든 언어 모델의 학습 곡선이 이 숫자로 그려진다. 이 글은 퍼플렉서티를 주사위로 직관화하고, 공개 모델 7종을 직접 재서 토크나이저가 다르면 순위가 뒤집히는 함정, 언어 모델이 gzip보다 세 배 잘 압축한다는 실측, 지시 학습을 하면 퍼플렉서티가 오르는 현상을 보여 준다. 마지막으로 ‘퍼플렉서티가 낮으면 AI 글’이라는 탐지기가 대한민국헌법을 AI가 쓴 글로 판정하는 이유를 따라간다. 인터랙티브 위젯 5종, 코어닷투데이 실측, 삽화 13장.
‘23% 틀렸다’와 ‘4% 틀렸다’는 같은 받아쓰기다 — WER·CER, 한국어는 왜 글자로 재나 (특집)
WER(단어 오류율)과 CER(글자 오류율)은 음성 인식기의 받아쓰기를 채점하는 표준 성적표다. 정답과 받아쓰기를 나란히 놓고 대체·삭제·삽입의 수를 세어 정답 길이로 나눈다. 1965년의 편집 거리에서 출발해 1988년 DARPA 벤치마크에서 지금의 모습을 갖췄고, 2016년 ‘사람 수준’ 논쟁을 거쳐 지금도 모든 음성 인식 모델의 성적이 이 숫자로 매겨진다. 이 글은 한국어가 왜 단어가 아니라 글자로 재는지를 띄어쓰기와 어절에서 풀고, 공개 모델 Whisper 6종을 한국어 시험 세트 두 개로 직접 재서 어절 WER 22.6%와 CER 4.3%가 같은 받아쓰기에서 나온다는 것, 어절 오류의 64%가 띄어쓰기 차이라는 것, 숫자 표기 규칙 하나로 CER이 26% 달라진다는 것을 보여 준다. 무음에 뉴스 앵커의 인사를 지어내는 환각, 같은 점수 속의 다른 피해까지 따라간다. 인터랙티브 위젯 6종, 코어닷투데이 실측, 삽화 12장.