#퍼플렉서티
2개의 포스트
가장 그럴듯한 말만 고르면 AI는 같은 말을 되풀이한다 — 그리디부터 min-p까지, 다음 한 단어를 고르는 기술 (특집)
언어 모델은 문장을 쓰지 않는다. 다음에 올 토큰마다 확률표를 내놓을 뿐이다. 그 표에서 실제로 한 토큰을 고르는 규칙이 ‘디코딩’이다. 1948년 섀넌이 책을 아무 데나 펼쳐 다음 단어를 고르던 실험에서 출발해, 매번 1등만 고르는 그리디와 후보 여러 개를 들고 가는 빔 서치가 왜 같은 말을 되풀이하는지, temperature·top-k·top-p·min-p가 각각 무엇을 자르는지 원 논문으로 따라간다. 카카오의 공개 모델로 12가지 전략을 직접 돌려, 그리디가 쓴 글의 45%가 반복 루프로 끝나고 temperature 0에서도 같은 질문에 다른 답이 나오는 것을 확인했다. 마지막으로 2026년 Claude·Gemini·GPT가 샘플링 손잡이를 잠근 이유를 정리한다. 인터랙티브 위젯 6종, 코어닷투데이 실측, 삽화 14장.
헌법은 AI가 쓴 글일까? — 언어 모델의 가장 오래된 성적표, 퍼플렉서티 (특집)
퍼플렉서티는 언어 모델이 다음 토큰을 맞힐 때 ‘몇 개 중 하나를 고르는 만큼 헷갈리는지’를 나타내는 숫자다. 1948년 섀넌의 엔트로피와 1951년 다음 글자 맞히기 게임에서 출발해, 1977년 IBM 음성 인식 연구실에서 이름을 얻었고, 지금도 모든 언어 모델의 학습 곡선이 이 숫자로 그려진다. 이 글은 퍼플렉서티를 주사위로 직관화하고, 공개 모델 7종을 직접 재서 토크나이저가 다르면 순위가 뒤집히는 함정, 언어 모델이 gzip보다 세 배 잘 압축한다는 실측, 지시 학습을 하면 퍼플렉서티가 오르는 현상을 보여 준다. 마지막으로 ‘퍼플렉서티가 낮으면 AI 글’이라는 탐지기가 대한민국헌법을 AI가 쓴 글로 판정하는 이유를 따라간다. 인터랙티브 위젯 5종, 코어닷투데이 실측, 삽화 13장.