'강화학습으로 모델을 훈련한다'는 말은 정확히 무슨 뜻일까? 사전학습·SFT·RLHF·RLVR로 이어지는 개념의 사다리를 밟아 오르고, 요즘 화제인 GRPO를 '커브로 채점하는 시험'에 빗대 직관적으로 푼다. 그리고 모델이 실제로 업무를 연습하는 '디지털 트윈'과 보상 설계까지, Fermisense의 카탈로그 실험을 해부한다.
1부에서 우리는 왜 2026년의 승자들이 '지능을 소유'하는 쪽으로 수렴하는지를 봤다. 이제 어떻게를 볼 차례다.
핵심 문장은 "오픈소스 모델을 강화학습으로 훈련한다"였다. 그런데 이 한 줄에는 낯선 용어가 잔뜩 들어 있다. 사전학습? SFT? RLHF? GRPO? 걱정 말자. 이 개념들은 사실 하나의 사다리처럼 위로 쌓인다. 한 칸씩 밟아 올라가면 어렵지 않다.
오늘날 LLM은 대략 세 단계를 거쳐 만들어진다. 요리에 빗대 보자.
2단계와 3단계의 차이가 핵심이다. SFT는 "정답을 베껴 쓰기", RL은 "시험을 치르고 성적으로 배우기" 다. 왜 굳이 힘든 3단계가 필요할까? 모범답안이 항상 존재하지도 않거니와, 진짜 잘하려면 "내가 한 선택이 좋았나 나빴나" 라는 피드백으로 다듬어야 하기 때문이다.
강화학습을 LLM에 붙이는 방식은 크게 두 세대로 나뉜다. 이 구분이 이번 이야기의 열쇠다.
2022년, OpenAI의 InstructGPT 논문(Ouyang et al., arXiv:2203.02155)이 ChatGPT의 직계 조상이 됐다. 방법은 이렇다. ① 모델이 낸 여러 답을 사람이 순위 매김 → ② 그 선호를 흉내 내는 보상 모델(reward model) 을 훈련 → ③ 그 보상을 최대화하도록 본 모델을 강화학습(PPO). 이것이 RLHF(사람 피드백 기반 강화학습) 다.
여기서 이미 놀라운 사건이 하나 있었다. 13억(1.3B) 파라미터 InstructGPT의 답을, 사람들은 1,750억(175B) GPT-3의 답보다 더 선호했다. 100배 작은 모델이 훈련 한 번으로 거대 모델을 이긴 초기 증거다. 1부에서 본 "작은 특화 모델이 프런티어를 이긴다"는 이야기의 원형이 여기 있다.
RLHF의 약점은 채점관이 사람 취향을 흉내 낸 보상 모델이라는 점이다. 이건 비싸고, 편향되며, 모델이 점수만 따먹는 편법(reward hacking) 에 뚫리기도 한다.
2024~2025년, 추론 모델의 시대(OpenAI o1, DeepSeek-R1)가 이 문제를 정면으로 뒤집었다. 채점관을 객관적 검산기로 바꾼 것이다. 이것이 RLVR(검증 가능한 보상 기반 강화학습, Reinforcement Learning from Verifiable Rewards) 이다.
| 구분 | RLHF (1세대) | RLVR (2세대) |
|---|---|---|
| 채점 방식 | 사람 취향 흉내 낸 보상 모델 | 규칙·정답·테스트로 객관 검산 |
| 예시 | "이 답이 더 친절한가?" | 수학=정답 대조 / 코드=테스트 실행 / 분류=정답 라벨 |
| 비용 | 보상 모델 훈련·운영 비쌈 | 채점이 값싸고 명확 |
| 편법 취약성 | reward hacking 가능 | 정답은 못 속인다 |
RLVR이 바로 "지능 소유" 전략의 심장이다. 왜? 자동화할 가치가 있는 업무는 대개 결과를 채점할 수 있기 때문이다 — 규칙이 있거나, 스키마가 있거나, "이게 맞다"고 말해줄 전문가가 있다. 그 채점 가능성이 곧 검증 가능한 보상이 된다. Fermisense는 이 경계를 한 문장으로 못 박는다.
"채점할 수 있는 결정이면, 모델이 연습할 수 있다. 논쟁만 할 수 있는 결정이면, 못 한다."
자, 이제 요즘 가장 많이 들리는 이름 GRPO(Group Relative Policy Optimization, 그룹 상대 정책 최적화) 다. DeepSeek가 DeepSeekMath 논문(arXiv:2402.03300)에서 처음 선보였고, DeepSeek-R1(arXiv:2501.12948)로 유명해졌다. 브리지워터도, 램프도, 이 방법을 썼다.
이름은 무섭지만 발상은 학창 시절 누구나 겪은 그것이다 — 상대평가(커브).
기존 방식(PPO)은 답 하나하나가 "절대적으로 얼마나 좋은지"를 예측하는 심판 네트워크(critic/value model) 를 따로 뒀다. 이 심판은 본 모델만큼 덩치가 큰 경우가 많아, 메모리와 비용을 두 배로 잡아먹고 불안정했다.
GRPO는 이 심판을 아예 없앤다. 대신 이렇게 한다.
핵심은 ③이다. "이 답이 절대적으로 몇 점짜리인가"를 예측하는 심판이 필요 없다. 그냥 자기가 낸 다른 답들의 평균과 비교하면 되니까. 평균보다 나으면 "그렇게 더 해", 못하면 "그건 줄여." 수식으로는 그룹 안에서 점수를 표준화(z-score)한 것뿐이다.
PPO와 나란히 놓으면 차이가 선명하다.
| 구분 | PPO (기존) | GRPO |
|---|---|---|
| 기준선(baseline) | 학습된 심판 네트워크 | 샘플 무더기의 평균 |
| 메모리에 올리는 모델 | 정책+참조+심판 | 정책+참조 (심판 제거) |
| 결과 | 무겁고 불안정하기 쉬움 | 가볍고 단순 → 오픈 RL 스택의 기본값 |
심판을 없앤 덕에 GRPO는 훨씬 적은 자원으로 돌아간다. 90억 모델을 워크스테이션 GPU 두 장, 500달러로 훈련할 수 있었던 배경에 이 단순함이 있다.
강화학습에는 한 가지 전제가 있다. 모델이 실제로 해보고, 실패하고, 다시 시도할 수 있는 무대가 있어야 한다는 것. 실제 상점에서 모델이 헛발질하게 둘 수는 없으니, Fermisense는 업무를 통째로 복제한 디지털 트윈(digital twin) 을 지었다. 실제와 같은 상품, 같은 도구, 같은 이해관계를 가진 시뮬레이션 상점이다.
핵심은 마지막이다. 정답을 아는 함정(controlled cases) 을 일부러 심어 뒀기 때문에, 모든 에피소드에 채점할 '정답'이 존재한다. 이것이 바로 앞서 말한 검증 가능한 보상(RLVR)의 재료다.
이 훈련장 안에서 모델은 애널리스트처럼 일한다. 약 1만 3천 개 카테고리 분류를 검색하고(search_taxonomy), 브랜드가 등록·보호됐는지 확인하고(lookup_brand), 선택한 카테고리에 필요한 속성 스키마를 가져온 뒤(get_attribute_schema), 최종적으로 카테고리·속성·정책 판정을 제출한다.
강화학습의 진짜 예술은 무엇을 보상하고 무엇을 벌하느냐에 있다. Fermisense의 채점 공식은 이렇게 생겼다.
각 항목의 가중치(0.3·0.3·0.4)가 곧 "이 업무에서 뭐가 더 중요한가"의 선언이다. 그런데 여기 가장 영리한 장치가 하나 숨어 있다. 비대칭 페널티(asymmetric penalty) 다.
위조품을 놓치는 실수는, 멀쩡한 상품에 괜한 경보를 울리는 실수보다 7배 더 비싸게 매겨진다.
왜 이렇게 할까? 두 실수의 대가가 완전히 다르기 때문이다. 가짜를 통과시키면 고객과 브랜드가 사기에 노출되지만, 정품을 과하게 걸러내면 검토 대기열이 길어질 뿐이다. 그래서 "그냥 정확해져"가 아니라 "이 실수는 저 실수보다 훨씬 나쁘다" 를 보상에 직접 새겨, 모델이 적절히 신중해지도록 가르친다. 이것이 보상 셰이핑(reward shaping) 의 정수다.
아래에서 직접 가중치와 페널티를 조절해 보며, 보상 설계가 에이전트의 '성격'을 어떻게 바꾸는지 느껴보자.
지금까지의 조각을 하나로 잇자. 이것이 Fermisense가 그린 디지털 트윈의 전체 그림이다. 아래에서 직접 한 바퀴 돌려보자 — 리스팅이 흘러들고, 채점되고, 보상이 중심의 모델 가중치로 되돌아오며, 에피소드가 쌓일수록 점수가 오르는 과정이 실시간으로 움직인다.
실제 업무의 모든 요소가 훈련장 안에 짝을 갖는다. 리스팅이 흘러들고, 에이전트는 애널리스트가 쓰는 것과 똑같은 도구를 쓰며, 채점기가 결정을 평가한다. 되돌아 흐르는 보상이, '연습'을 '학습'으로 바꾸는 그 한 방울이다. 변하는 사실(가격·재고·정책 문구)은 모델 안에 굳히지 않고 도구 쪽에 남겨 둔다 — 판단은 가중치에, 사실은 도구에. 이 분업이 중요하다.
이 모든 걸 돌린 장비가 얼마나 대단했을까? 의외로 소박하다.
인프라는 오픈소스 prime-rl 프레임워크가 맡았다. 영리한 설계 덕에 GPU 한 장은 답을 생성(rollout) 하고, 다른 한 장은 가중치를 갱신(gradient) 하며 서로를 기다리지 않고 비동기로 돌아간다. 96GB 메모리를 가진 워크스테이션 카드 두 장이면 9B 모델의 강화학습 한 바퀴가 통째로 올라간다 — '지능 소유'가 프런티어 연구소가 아니라 보통의 회사도 손댈 수 있는 일이 됐다는 구체적 증거다.
더 인상적인 건 1,000스텝 중 대부분은 프런티어를 따라잡는 데 쓰이지도 않았다는 점이다. 모델은 약 250스텝(하루쯤)만에 이미 프런티어 무리를 추월했고, 나머지는 성능을 마지막 한 방울까지 짜내는 데 썼다. 이 훈련 곡선의 극적인 상승은 3부에서 원문 그래프와 함께 다시 본다.
3부에서 계속 → — 이제 실전이다. 카탈로그 무결성 에이전트가 실제로 어떤 문제를 푸는지, 벤치마크에서 프런티어 5종과 어떻게 갈렸는지, 그리고 브리지워터부터 링크드인·체커까지 11개 회사의 성적표를 표로 펼친다. 마지막엔 "우리 회사의 어떤 업무가 이 방식의 후보인가"를 직접 판별해 본다.
