#DPO
7개의 포스트
![[특집] 한 번 최적화, 매번 빠르게 — 멀티에이전트 AI의 '가장 긴 줄'을 깎는 LAWA 논문 완전 해설](/_next/image?url=https%3A%2F%2Ffiles.core.today%2Fstorage%2Fcoredot%2Fpublic%2Fblog%2Flw-hero.webp&w=3840&q=75)
[특집] 한 번 최적화, 매번 빠르게 — 멀티에이전트 AI의 '가장 긴 줄'을 깎는 LAWA 논문 완전 해설
에이전트 여러 명이 줄지어 일하는 AI 시스템은 똑똑하지만 느리다. 고객센터·장애 대응처럼 같은 종류의 질문이 하루 수만 번 되풀이되는 곳에서는 질의마다 몇 초씩 늘어난 지연이 그대로 쌓인다. 다트머스 연구진의 NeurIPS 2026 논문 「한 번 최적화, 매번 빠르게(LAWA)」는 멀티에이전트 워크플로를 방향 그래프로 보고, 전체 소요 시간을 결정하는 '가장 긴 줄(임계 경로)'을 병렬 재배선과 노드 제거라는 두 가지 안전한 편집으로 깎는다. 정확도는 실행 없이 점수를 예측하는 그래프 신경망이 지킨다. 이 글은 1957년 듀폰의 임계 경로법과 그레이엄의 스케줄링 역설에서 출발해 GPTSwarm·AFlow·DyLAN으로 이어진 에이전트 구조 학습의 계보, 논문의 세 정리와 알고리즘, 7개 벤치마크 결과와 그 한계, 그리고 2026년 AI 상담·장애 대응 현장에서 이 생각이 갖는 의미를 인터랙티브 6개와 일러스트 14장으로 풀어 본다.
“달 착륙을 6살에게 설명해 줘” — 되묻기만 하던 AI는 어떻게 말귀를 알아듣게 됐나 (RLHF 특집)
2022년 1월, OpenAI는 “사용자의 의도를 GPT-3보다 훨씬 잘 따르는” 모델을 발표했다. 13억 파라미터 모델이 1750억 모델을 이겼고, 그 비용은 사전학습의 1.6%였다. 열 달 뒤 같은 레시피로 만든 ChatGPT가 세상을 바꿨다. 이 글은 그 기술 — 인간 피드백 강화학습(RLHF) — 이 왜 필요했는지를 2017년 뒤공중돌기 로봇부터 따라간다. 보상을 글로 적을 수 없다는 문제, 순위 하나가 여섯 개의 비교가 되는 방식, 보상 모델을 너무 믿으면 벌어지는 일, 그리고 RLHF가 고친 것이 아니라 ‘만든’ 네 가지 버릇까지. 인터랙티브 위젯 8종과 삽화로 풀었다.
박사 학위로도 부족하다: 어느 DeepMind 연구자의 면접 가이드가 드러낸 'AI 실력의 지도'
옥스퍼드 박사에 1저자 논문이 여러 편, 그런데도 그녀는 LeetCode 150문제를 풀고 FlashAttention을 맨손으로 구현했다. DeepMind에 합격한 Silvia Sapora의 면접 가이드가 화제가 된 건 '준비법' 때문만이 아니다. 그 글에 담긴 공부 목록이 곧 2026년 현대 AI의 전체 지도였기 때문이다. 면접의 역사부터 어텐션·디퓨전·정렬·분산학습의 핵심 개념까지, 쉽고 자세하게 풀어본다.
포스트 트레이닝 혁명 — RLHF에서 SimPO, KTO, ORPO, RLVR까지 완전 정리
LLM을 똑똑하게 만드는 건 사전 학습이지만, 쓸모 있게 만드는 건 포스트 트레이닝이다. RLHF의 복잡함에서 DPO의 우아함으로, 그리고 SimPO·KTO·ORPO·RLVR까지 — 2026년 AI 정렬 기술의 모든 것.
모든 길은 우도(Likelihood)로 통한다 — RLHF는 왜 DPO를 이기는가
정보이론적으로 RLHF는 DPO보다 나을 수 없다. 그런데 실제로는 항상 이긴다. CMU와 코넬의 연구팀이 밝혀낸 그 이유는, 컴퓨터 과학의 가장 유명한 난제 P≠NP와 연결되어 있었다.
Nathan Lambert의 RLHF Book 리뷰 — RLHF 전체 지형도를 하나로
ChatGPT를 만든 비밀 무기 RLHF. 그런데 실제로 어떻게 작동하는지 아는 사람은 드물다. AI2의 Nathan Lambert가 쓴 218페이지 무료 교재가 SFT부터 PPO, GRPO, DPO, RLVR, 과최적화, 평가까지 RLHF의 모든 것을 하나로 정리했다. 핵심만 짚어본다.
DPO 특집: 강화학습 없이 AI를 정렬하는 법 — 'AI는 사실 보상 모델이었다'
ChatGPT를 만든 RLHF는 복잡하고, 불안정하고, 비싸다. 스탠퍼드의 DPO 논문은 이 모든 것을 하나의 수식으로 해결했다. 강화학습 없이 AI를 인간의 선호에 맞추는 혁명적 방법론의 탄생부터 2026년 현재까지를 추적한다.