#보상 모델
6개의 포스트

체스 점수는 어떻게 AI 순위표가 됐나 — Elo, 브래들리–테리, 그리고 Chatbot Arena의 빛과 그림자 (특집)
AI 모델이 새로 나오면 ‘아레나 1위’라는 말이 따라붙는다. 그 순위는 사람들이 이름을 가린 두 답 중 하나를 고른 수백만 표로 만든다. 표를 점수로 바꾸는 계산은 1960년 미국 체스계가 채택한 Elo 레이팅과, 1952년 돼지고기 맛 비교 예제를 실은 브래들리–테리 모형에서 왔다. 이 글은 ‘점수보다 비교가 쉽다’는 1927년 심리학 실험부터 체스 레이팅, Chatbot Arena의 탄생까지 따라간다. 이어 Llama 4 ‘실험판’ 사건, 비공개 변형 27개를 지적한 ‘리더보드 착시’ 논문, 1,000표로 순위를 움직이는 조작 연구, 길고 화려한 답이 이기는 문제까지 점수 조작 논란을 정리한다. 아레나 공개 투표 13만 5,634건으로 순위를 직접 다시 계산했다. 같은 Llama 4 Maverick의 실험판과 출시판은 131점 차이가 났고, 답의 길이와 꾸밈을 보정하자 격차가 57점으로 줄었다. 인터랙티브 위젯 6종, 코어닷투데이 실측, 삽화 15장.

“달 착륙을 6살에게 설명해 줘” — 되묻기만 하던 AI는 어떻게 말귀를 알아듣게 됐나 (RLHF 특집)
2022년 1월, OpenAI는 “사용자의 의도를 GPT-3보다 훨씬 잘 따르는” 모델을 발표했다. 13억 파라미터 모델이 1750억 모델을 이겼고, 그 비용은 사전학습의 1.6%였다. 열 달 뒤 같은 레시피로 만든 ChatGPT가 세상을 바꿨다. 이 글은 그 기술 — 인간 피드백 강화학습(RLHF) — 이 왜 필요했는지를 2017년 뒤공중돌기 로봇부터 따라간다. 보상을 글로 적을 수 없다는 문제, 순위 하나가 여섯 개의 비교가 되는 방식, 보상 모델을 너무 믿으면 벌어지는 일, 그리고 RLHF가 고친 것이 아니라 ‘만든’ 네 가지 버릇까지. 인터랙티브 위젯 8종과 삽화로 풀었다.

모든 길은 우도(Likelihood)로 통한다 — RLHF는 왜 DPO를 이기는가
정보이론적으로 RLHF는 DPO보다 나을 수 없다. 그런데 실제로는 항상 이긴다. CMU와 코넬의 연구팀이 밝혀낸 그 이유는, 컴퓨터 과학의 가장 유명한 난제 P≠NP와 연결되어 있었다.

Nathan Lambert의 RLHF Book 리뷰 — RLHF 전체 지형도를 하나로
ChatGPT를 만든 비밀 무기 RLHF. 그런데 실제로 어떻게 작동하는지 아는 사람은 드물다. AI2의 Nathan Lambert가 쓴 218페이지 무료 교재가 SFT부터 PPO, GRPO, DPO, RLVR, 과최적화, 평가까지 RLHF의 모든 것을 하나로 정리했다. 핵심만 짚어본다.

RLHF의 기원: '보상 함수를 쓸 수 없다면, 인간에게 물어보라'
ChatGPT를 만든 기술의 원조 논문. 보상 함수를 쓸 수 없는 과제를 인간의 선호 판단 1% 미만으로 해결한 2017년 논문을 해부하며, 강화학습의 기초부터 현대 AI까지의 여정을 쉽게 풀어낸다.

InstructGPT 해부: 1.3B 모델이 175B를 이긴 날, RLHF의 모든 것
GPT-3는 왜 '도움이 되는 비서'가 아니었을까? 100배 작은 모델이 거대 모델을 이긴 비결은? InstructGPT 논문을 해부하며, ChatGPT를 탄생시킨 RLHF 기술을 처음부터 쉽게 풀어낸다.