#불확실성
4개의 포스트
AI에게 '얼마나 확신해?'라고 묻지 마세요 — 0.85는 계기판이 아니라 문장이다
LLM에게 확신도를 물으면 언제나 그럴듯한 숫자가 나옵니다. 앰루트 조시의 짧은 글은 그 숫자가 측정이 아니라 '다음에 올 법한 글자'라고 지적해 해커뉴스 첫 화면에 올랐습니다. 1950년 브라이어의 일기예보 채점에서 2017년 '현대 신경망은 과신한다', GPT-4의 RLHF 보정 붕괴, 2025년 '왜 언어 모델은 환각하는가'까지 확신도 연구 75년을 따라가고, 코어닷투데이가 대화형 모델 5개와 판정 모델 4개에 한국어 객관식 598문항과 SimpleQA 200문항을 직접 물어 확신도의 정체를 쟀습니다. 작은 모델은 '정말?' 한마디에 답의 55%를 뒤집으면서 확신도를 91에서 95로 올렸고, 앞에 쓴 한 문장에 확신도가 53점 움직였습니다. 반면 GPT-6.1 Sol과 Claude Sonnet 5.5의 숫자에는 분명한 정보가 있었는데, 같은 '90'이 모델마다 다른 뜻이었습니다. 판정 모델과 기록 기반 규칙이 내놓는 확률까지 비교합니다. 인터랙티브 6개와 삽화 10장, 논문 그림 6장.
수학은 언어다 (4편) 확률: 도박사의 편지에서 태어난 학문, 종 모양의 미스터리, 그리고 '세 번 시도하면 99.2%'가 틀리는 순간
테런스 타오의 여섯 기둥 중 네 번째, 확률. 모든 결과를 정확히 계산하는 대신 '어떤 결과가 더 자주 오는가'를 다루기로 한 결단은 도박사들이 수학자 친구에게 보낸 편지에서 시작됐다. 주사위든 사람의 키든 실험 오차든 왜 같은 종 모양으로 수렴하는가(보편성), 확률이 잘 작동하는 조건과 작동하지 않는 조건(백 년에 한 번 오는 사건), 그리고 '성공률 80%짜리 작업을 세 번 시도하면 99.2%'라는 계산이 독립 가정 없이는 무너지는 이유를 두 개의 인터랙티브로 확인한다.
스프레드시트 몇 칸 채우는 일이 왜 2주가 걸리는가 — 불확실성의 터널과 우선순위의 소용돌이 (조정의 역풍 2편)
1편의 곱셈은 각자의 확률이 병가나 정전 같은 외부 사정으로 정해진다고 가정했다. 2편은 프로젝트 자체가 확률을 깎는 방식을 본다. Komoroske는 목표까지의 길을 터널로, 앞을 막는 불확실성을 바위로 그린다. 한 칸 전진은 한 시간이지만 바위 하나 치우는 데는 열 시간이 들고, 치우면 뒤에 또 바위가 있다. 여기에 '성공 가능성이 낮아 보이면 조금 덜 투자한다'는 합리적 판단이 겹치면 60%였던 성공률은 35%로 가라앉는다. 터널 시뮬레이터와 소용돌이 시뮬레이터로 그 과정을 직접 돌려 본다.
AI가 '모르는 것을 아는' 법을 배우다 — Process Reward Model의 불확실성 캘리브레이션
수학 문제를 풀 때 AI는 '이 풀이가 맞을 확률'을 심각하게 과대평가한다. MIT 연구팀은 분위수 회귀로 이 과신을 교정하고, 문제 난이도에 따라 연산량을 자동 조절하는 프레임워크를 제안했다. NeurIPS 2025 논문을 쉽게 풀어본다.