#DPO
8개의 포스트

체스 점수는 어떻게 AI 순위표가 됐나 — Elo, 브래들리–테리, 그리고 Chatbot Arena의 빛과 그림자 (특집)
AI 모델이 새로 나오면 ‘아레나 1위’라는 말이 따라붙는다. 그 순위는 사람들이 이름을 가린 두 답 중 하나를 고른 수백만 표로 만든다. 표를 점수로 바꾸는 계산은 1960년 미국 체스계가 채택한 Elo 레이팅과, 1952년 돼지고기 맛 비교 예제를 실은 브래들리–테리 모형에서 왔다. 이 글은 ‘점수보다 비교가 쉽다’는 1927년 심리학 실험부터 체스 레이팅, Chatbot Arena의 탄생까지 따라간다. 이어 Llama 4 ‘실험판’ 사건, 비공개 변형 27개를 지적한 ‘리더보드 착시’ 논문, 1,000표로 순위를 움직이는 조작 연구, 길고 화려한 답이 이기는 문제까지 점수 조작 논란을 정리한다. 아레나 공개 투표 13만 5,634건으로 순위를 직접 다시 계산했다. 같은 Llama 4 Maverick의 실험판과 출시판은 131점 차이가 났고, 답의 길이와 꾸밈을 보정하자 격차가 57점으로 줄었다. 인터랙티브 위젯 6종, 코어닷투데이 실측, 삽화 15장.
![[특집] 한 번 최적화, 매번 빠르게 — 멀티에이전트 AI의 '가장 긴 줄'을 깎는 LAWA 논문 완전 해설](/_next/image?url=https%3A%2F%2Ffiles.core.today%2Fstorage%2Fcoredot%2Fpublic%2Fblog%2Flw-hero.webp&w=3840&q=75)
[특집] 한 번 최적화, 매번 빠르게 — 멀티에이전트 AI의 '가장 긴 줄'을 깎는 LAWA 논문 완전 해설
에이전트 여러 명이 줄지어 일하는 AI 시스템은 똑똑하지만 느리다. 고객센터·장애 대응처럼 같은 종류의 질문이 하루 수만 번 되풀이되는 곳에서는 질의마다 몇 초씩 늘어난 지연이 그대로 쌓인다. 다트머스 연구진의 NeurIPS 2026 논문 「한 번 최적화, 매번 빠르게(LAWA)」는 멀티에이전트 워크플로를 방향 그래프로 보고, 전체 소요 시간을 결정하는 '가장 긴 줄(임계 경로)'을 병렬 재배선과 노드 제거라는 두 가지 안전한 편집으로 깎는다. 정확도는 실행 없이 점수를 예측하는 그래프 신경망이 지킨다. 이 글은 1957년 듀폰의 임계 경로법과 그레이엄의 스케줄링 역설에서 출발해 GPTSwarm·AFlow·DyLAN으로 이어진 에이전트 구조 학습의 계보, 논문의 세 정리와 알고리즘, 7개 벤치마크 결과와 그 한계, 그리고 2026년 AI 상담·장애 대응 현장에서 이 생각이 갖는 의미를 인터랙티브 6개와 일러스트 14장으로 풀어 본다.

“달 착륙을 6살에게 설명해 줘” — 되묻기만 하던 AI는 어떻게 말귀를 알아듣게 됐나 (RLHF 특집)
2022년 1월, OpenAI는 “사용자의 의도를 GPT-3보다 훨씬 잘 따르는” 모델을 발표했다. 13억 파라미터 모델이 1750억 모델을 이겼고, 그 비용은 사전학습의 1.6%였다. 열 달 뒤 같은 레시피로 만든 ChatGPT가 세상을 바꿨다. 이 글은 그 기술 — 인간 피드백 강화학습(RLHF) — 이 왜 필요했는지를 2017년 뒤공중돌기 로봇부터 따라간다. 보상을 글로 적을 수 없다는 문제, 순위 하나가 여섯 개의 비교가 되는 방식, 보상 모델을 너무 믿으면 벌어지는 일, 그리고 RLHF가 고친 것이 아니라 ‘만든’ 네 가지 버릇까지. 인터랙티브 위젯 8종과 삽화로 풀었다.

박사 학위로도 부족하다: 어느 DeepMind 연구자의 면접 가이드가 드러낸 'AI 실력의 지도'
옥스퍼드 박사에 1저자 논문이 여러 편, 그런데도 그녀는 LeetCode 150문제를 풀고 FlashAttention을 맨손으로 구현했다. DeepMind에 합격한 Silvia Sapora의 면접 가이드가 화제가 된 건 '준비법' 때문만이 아니다. 그 글에 담긴 공부 목록이 곧 2026년 현대 AI의 전체 지도였기 때문이다. 면접의 역사부터 어텐션·디퓨전·정렬·분산학습의 핵심 개념까지, 쉽고 자세하게 풀어본다.

포스트 트레이닝 혁명 — RLHF에서 SimPO, KTO, ORPO, RLVR까지 완전 정리
LLM을 똑똑하게 만드는 건 사전 학습이지만, 쓸모 있게 만드는 건 포스트 트레이닝이다. RLHF의 복잡함에서 DPO의 우아함으로, 그리고 SimPO·KTO·ORPO·RLVR까지 — 2026년 AI 정렬 기술의 모든 것.

모든 길은 우도(Likelihood)로 통한다 — RLHF는 왜 DPO를 이기는가
정보이론적으로 RLHF는 DPO보다 나을 수 없다. 그런데 실제로는 항상 이긴다. CMU와 코넬의 연구팀이 밝혀낸 그 이유는, 컴퓨터 과학의 가장 유명한 난제 P≠NP와 연결되어 있었다.

Nathan Lambert의 RLHF Book 리뷰 — RLHF 전체 지형도를 하나로
ChatGPT를 만든 비밀 무기 RLHF. 그런데 실제로 어떻게 작동하는지 아는 사람은 드물다. AI2의 Nathan Lambert가 쓴 218페이지 무료 교재가 SFT부터 PPO, GRPO, DPO, RLVR, 과최적화, 평가까지 RLHF의 모든 것을 하나로 정리했다. 핵심만 짚어본다.

DPO 특집: 강화학습 없이 AI를 정렬하는 법 — 'AI는 사실 보상 모델이었다'
ChatGPT를 만든 RLHF는 복잡하고, 불안정하고, 비싸다. 스탠퍼드의 DPO 논문은 이 모든 것을 하나의 수식으로 해결했다. 강화학습 없이 AI를 인간의 선호에 맞추는 혁명적 방법론의 탄생부터 2026년 현재까지를 추적한다.