#확신도

2개의 포스트

2026.10.24

AI에게 '얼마나 확신해?'라고 묻지 마세요 — 0.85는 계기판이 아니라 문장이다

LLM에게 확신도를 물으면 언제나 그럴듯한 숫자가 나옵니다. 앰루트 조시의 짧은 글은 그 숫자가 측정이 아니라 '다음에 올 법한 글자'라고 지적해 해커뉴스 첫 화면에 올랐습니다. 1950년 브라이어의 일기예보 채점에서 2017년 '현대 신경망은 과신한다', GPT-4의 RLHF 보정 붕괴, 2025년 '왜 언어 모델은 환각하는가'까지 확신도 연구 75년을 따라가고, 코어닷투데이가 대화형 모델 5개와 판정 모델 4개에 한국어 객관식 598문항과 SimpleQA 200문항을 직접 물어 확신도의 정체를 쟀습니다. 작은 모델은 '정말?' 한마디에 답의 55%를 뒤집으면서 확신도를 91에서 95로 올렸고, 앞에 쓴 한 문장에 확신도가 53점 움직였습니다. 반면 GPT-6.1 Sol과 Claude Sonnet 5.5의 숫자에는 분명한 정보가 있었는데, 같은 '90'이 모델마다 다른 뜻이었습니다. 판정 모델과 기록 기반 규칙이 내놓는 확률까지 비교합니다. 인터랙티브 6개와 삽화 10장, 논문 그림 6장.

코어닷투데이119분

[특집] 비싼 모델은 어디에 써야 하는가 — 검증기 없는 진화와 다중 모델 오케스트레이션, Squeeze Evolve 완전 해부

특집Squeeze Evolve테스트 시간 스케일링

2026.10.20

[특집] 비싼 모델은 어디에 써야 하는가 — 검증기 없는 진화와 다중 모델 오케스트레이션, Squeeze Evolve 완전 해부

같은 Gemini 3.1 Pro가 한 번 답하면 ARC-AGI-2 공개 평가에서 88.1%다. 같은 모델로 후보 답을 여러 세대에 걸쳐 섞고 고치는 '진화'를 돌리면 93.3%까지 오르지만 과제당 비용이 0.98달러에서 28.85달러로 뛴다. UC 버클리·Together AI 연구진의 Squeeze Evolve(COLM 2026)는 여기서 질문을 바꾼다. 더 쓰는 법이 아니라 덜 쓰고 같은 능력을 얻는 법이다. 답은 '비싼 모델을 가장 효과가 큰 곳에만'이다. 첫 후보는 강한 모델이 만들고, 이후 재조합은 모델이 이미 내놓은 로그 확률로 묶음의 난이도를 재서 쉬운 묶음은 싼 모델이나 다수결에, 어려운 묶음만 비싼 모델에 보낸다. 이 글은 1960년대 풍동 실험의 진화 전략부터 FunSearch·AlphaEvolve·RSA까지 '진화하는 추론'의 계보를 따라가고, 논문의 네 가지 발견(다양성 붕괴, 조상이 결과를 정한다, 약한 모델도 좋은 재료면 잘 합친다, 확신도는 공짜 적합도다)과 알고리즘·시스템 설계·공개 코드를 읽은 뒤, 공개 평가의 함정과 통계적 유의성 같은 반론, 그리고 2026년 추론 경제에서 이 아이디어가 맡을 역할을 인터랙티브 7개와 일러스트·논문 그림, 직접 계산한 원 채우기 결과로 풀어 본다.

코어닷투데이111분