블로그로 돌아가기
#엔트로피
2개의 포스트
인사이트TemperatureTURN
2026.04.07Temperature 특집: AI의 '창의성 다이얼'을 과학적으로 돌리는 법 — TURN 알고리즘과 멀티샘플 추론의 최적 온도
ChatGPT에 같은 질문을 여러 번 하면 매번 다른 답이 나온다. 이 '랜덤함'을 조절하는 핵심 파라미터가 Temperature다. 2025년 ICML에서 발표된 TURN 알고리즘은 라벨 데이터 없이 모델별 최적 Temperature를 자동으로 찾아내는 방법을 제시했다. 요리사의 불 조절처럼, AI도 '딱 맞는 온도'가 있다.
코어닷투데이48분
기술BLT토크나이저
2026.01.19Byte Latent Transformer: 토큰을 버리고 바이트로 돌아간 AI의 반란
GPT부터 Llama까지, 모든 LLM은 '토크나이저'라는 전처리 단계에 의존한다. Meta AI의 BLT는 이 관행을 뒤집었다 — 바이트를 직접 처리하되, 엔트로피 기반으로 '어려운 곳에 더 많은 연산'을 동적 할당하여 80억 스케일에서 Llama 3에 필적하는 성능을 달성했다.
코어닷투데이31분