coredot.today
블로그로 돌아가기

#엔트로피

3개의 포스트

헌법은 AI가 쓴 글일까? — 언어 모델의 가장 오래된 성적표, 퍼플렉서티 (특집)
특집퍼플렉서티perplexity
2026.11.07

헌법은 AI가 쓴 글일까? — 언어 모델의 가장 오래된 성적표, 퍼플렉서티 (특집)

퍼플렉서티는 언어 모델이 다음 토큰을 맞힐 때 ‘몇 개 중 하나를 고르는 만큼 헷갈리는지’를 나타내는 숫자다. 1948년 섀넌의 엔트로피와 1951년 다음 글자 맞히기 게임에서 출발해, 1977년 IBM 음성 인식 연구실에서 이름을 얻었고, 지금도 모든 언어 모델의 학습 곡선이 이 숫자로 그려진다. 이 글은 퍼플렉서티를 주사위로 직관화하고, 공개 모델 7종을 직접 재서 토크나이저가 다르면 순위가 뒤집히는 함정, 언어 모델이 gzip보다 세 배 잘 압축한다는 실측, 지시 학습을 하면 퍼플렉서티가 오르는 현상을 보여 준다. 마지막으로 ‘퍼플렉서티가 낮으면 AI 글’이라는 탐지기가 대한민국헌법을 AI가 쓴 글로 판정하는 이유를 따라간다. 인터랙티브 위젯 5종, 코어닷투데이 실측, 삽화 13장.

코어닷투데이53분
Temperature 특집: AI의 '창의성 다이얼'을 과학적으로 돌리는 법 — TURN 알고리즘과 멀티샘플 추론의 최적 온도
인사이트TemperatureTURN
2026.04.07

Temperature 특집: AI의 '창의성 다이얼'을 과학적으로 돌리는 법 — TURN 알고리즘과 멀티샘플 추론의 최적 온도

ChatGPT에 같은 질문을 여러 번 하면 매번 다른 답이 나온다. 이 '랜덤함'을 조절하는 핵심 파라미터가 Temperature다. 2025년 ICML에서 발표된 TURN 알고리즘은 라벨 데이터 없이 모델별 최적 Temperature를 자동으로 찾아내는 방법을 제시했다. 요리사의 불 조절처럼, AI도 '딱 맞는 온도'가 있다.

코어닷투데이48분
Byte Latent Transformer: 토큰을 버리고 바이트로 돌아간 AI의 반란
기술BLT토크나이저
2026.01.19

Byte Latent Transformer: 토큰을 버리고 바이트로 돌아간 AI의 반란

GPT부터 Llama까지, 모든 LLM은 '토크나이저'라는 전처리 단계에 의존한다. Meta AI의 BLT는 이 관행을 뒤집었다 — 바이트를 직접 처리하되, 엔트로피 기반으로 '어려운 곳에 더 많은 연산'을 동적 할당하여 80억 스케일에서 Llama 3에 필적하는 성능을 달성했다.

코어닷투데이31분