coredot.today
블로그로 돌아가기

#강화학습

22개의 포스트

[특집] 추론은 무엇을 최적화하나 — 토큰 공간의 길 찾기로 다시 읽는 추론 모델, 강화학습, 그리고 보상 해킹
특집추론 모델강화학습
2026.11.17

[특집] 추론은 무엇을 최적화하나 — 토큰 공간의 길 찾기로 다시 읽는 추론 모델, 강화학습, 그리고 보상 해킹

추론 모델을 강화학습으로 훈련하면 생각이 길어지고 정확도가 오른다. 그런데 이미 훈련된 모델에게 억지로 더 오래 생각시키면 좋아지다가 멈추고, 때로는 나빠진다. 알렉스 왕(Alex Wang)은 2026년 11월 8일 글 「추론은 어떤 목적함수를 푸는가」에서 이 수수께끼를 '토큰 공간의 길 찾기'라는 그림 하나로 푼다. 생각의 사슬 하나는 프롬프트에서 정답 집합으로 가는 길 하나이고, 강화학습이 올리는 것은 개별 길의 품질이 아니라 길들의 분포가 정답에 닿을 확률 pₓ라는 것이다. 이 글은 원문의 수식을 한 줄씩 풀고, 1956년 논리 이론가에서 AlphaZero, STaR, 「대형 언어 원숭이」, DeepSeek-R1, s1까지 '추론 = 탐색'의 계보를 따라가며, 그 관점이 설명하는 세 가지(생각 길이의 한계, 생각의 사슬이 진짜 이유가 아닌 이유, 보상 해킹)를 논문 그림과 사례로 확인한다. 로컬 모델(qwen3.5 4B)로 같은 답에 이르는 서로 다른 길, k번 뽑기의 힘, 생각 예산을 자르고 늘렸을 때의 정답률을 직접 재고, 위젯 6개로 길 찾기·k번 뽑기·REINFORCE=RFT·상각·불완전한 검증기를 만져 본다.

코어닷투데이94분
[특집] 요약도 실력이다 — 컨텍스트 압축을 강화학습 안으로 들여온 CompactionRL 완전 해설
AI 에이전트CompactionRL컨텍스트 압축
2026.11.14

[특집] 요약도 실력이다 — 컨텍스트 압축을 강화학습 안으로 들여온 CompactionRL 완전 해설

코딩 에이전트가 몇 시간째 일하다 보면 컨텍스트 창이 가득 찹니다. 그때 하네스는 지금까지의 대화를 요약으로 접고 새 창에서 일을 이어 가게 합니다. 이것이 컨텍스트 압축(compaction)입니다. 그런데 이 요약은 지금까지 훈련 밖에 있었습니다. 모델은 요약에서 이어 가는 연습을 한 적이 없고, 요약을 잘 쓴다고 보상을 받은 적도 없습니다. 칭화대와 Z.AI의 2026년 7월 논문 CompactionRL은 압축을 강화학습 롤아웃 안에 넣고, 요약 토큰과 실행 토큰을 같은 최종 보상으로 함께 훈련합니다. 이를 위해 세 가지 장치를 씁니다. 조원을 기다리지 않는 단일 롤아웃 PPO, 짧은 요약이 손실을 독차지하지 않게 하는 토큰 단위 손실, 그리고 잘린 구간 너머로 보상의 거리를 되살리는 구간 넘는 GAE입니다. 106B 모델에서 SWE-bench Verified 66.4%, Terminal-Bench 2.0 26.2%로, 추론 때만 압축한 기준 모델보다 6.6점·4.9점 높습니다. 요약 모델만 바꿔도 6.5점이 움직인다는 실험, 요약을 훈련하면 요약이 길어진다는 관찰, 그리고 이 이득이 압축을 켰을 때만 나온다는 한계까지 표와 그림을 하나씩 읽습니다. 직접 돌려 보는 위젯 일곱 개를 함께 실었습니다.

코어닷투데이113분
Inkling 2 Small 해부: 5,940억 개 중 170억 개만 일하는 모델은 어떻게 만들어졌나
특집Inkling 2 SmallThinking Machines
2026.11.09

Inkling 2 Small 해부: 5,940억 개 중 170억 개만 일하는 모델은 어떻게 만들어졌나

미라 무라티의 Thinking Machines가 2세대 모델 Inkling 2 Small을 내놓았다. 594B 전체·17B 활성 MoE, 4비트(NVFP4)로 처음부터 학습, 9일간 1,700만 번의 강화학습, 그리고 '네트워크 차단을 우회한 모델' 사건까지. 1991년 전문가 혼합에서 2026년 미국 오픈 가중치 경쟁까지, 아키텍처와 학습 과정을 처음부터 끝까지 풀어 읽는다.

코어닷투데이101분
사건을 뽑는 AI에게 채점표를 주다 — EAGER로 읽는 사건 추출 40년과 '검증 가능한 보상'
AI 연구사건 추출Event Extraction
2026.11.01

사건을 뽑는 AI에게 채점표를 주다 — EAGER로 읽는 사건 추출 40년과 '검증 가능한 보상'

GPT-5.4에게 기사를 주고 사건을 뽑으라고 하면 평균 F1이 10점 안팎입니다. 독일 DFKI의 EAGER는 70억 매개변수 모델에 '여섯 명의 채점관'과 '문제지마다 다른 오답 보기'를 붙여 평균 30.79점까지 끌어올렸습니다. 사건 추출이 1987년 MUC의 템플릿 채우기에서 어떻게 지금의 코드 생성·강화학습까지 왔는지, 검증 가능한 보상(RLVR)이 수학 밖으로 나오면 무엇이 달라지는지, 그리고 그룹 점수가 모두 같아져 학습이 멈추는 '어드밴티지 붕괴'를 SCAE가 어떻게 푸는지 풀어 씁니다. 본문과 부록 표의 숫자가 엇갈리는 곳, 보상 식을 글자 그대로 구현하면 생기는 문제도 짚었습니다. 한국어 문장 40개로 로컬 4B 모델을 360번 돌려 같은 채점표를 직접 대 봤습니다.

코어닷투데이100분
[특집] 에이전트가 CPU를 먹는다 — GPU 한 장에 CPU 몇 개? 코딩 에이전트로 재 본 대기 시간
특집SemiAnalysis데이터센터 CPU
2026.10.30

[특집] 에이전트가 CPU를 먹는다 — GPU 한 장에 CPU 몇 개? 코딩 에이전트로 재 본 대기 시간

2026년 프런티어 연구소들은 강화학습에 쓸 CPU가 바닥나 클라우드 회사와 범용 서버를 놓고 다투고 있고, Microsoft의 OpenAI용 Fairwater 데이터센터는 295MW GPU 클러스터 옆에 48MW CPU·스토리지 건물을 붙였습니다(전력 약 1:6). 코어닷투데이가 Claude Code 로그 26일치(모델 응답 6만 2,600번, 도구 호출 7만 7,197번)를 세어 보니 메인 세션 활성 시간의 42%가 도구를 기다리는 시간이었고, 10초 넘는 도구 호출 8.6%가 도구 시간의 83%를 만들었습니다. 맥 한 대에서 로컬 모델로 코딩 에이전트를 돌려 테스트 수를 50개에서 6,410개로 늘리자 모델 시간은 그대로인데 모델 1초당 CPU초가 0.09에서 8.37로 커졌고, 병렬 실행은 기다림을 줄였을 뿐 CPU초를 줄이지 못했습니다. 이 비율로 계산하면 GPU 한 장 옆에 필요한 CPU 코어는 일감에 따라 10개 안팎에서 수백 개까지 벌어지며, 그 식과 계산기, 2026년 CPU 열 종의 정리를 함께 실었습니다.

코어닷투데이66분
[특집] 점수 대신 첨삭으로 배운다 — GEPA, 프롬프트가 스스로 진화해 강화학습을 이긴 방법
특집GEPA프롬프트 최적화
2026.10.20

[특집] 점수 대신 첨삭으로 배운다 — GEPA, 프롬프트가 스스로 진화해 강화학습을 이긴 방법

강화학습은 시도 한 번에 점수 하나를 받는다. 그런데 AI가 일한 흔적은 전부 글이다 — 생각의 과정, 도구 호출, 컴파일러 오류 메시지까지. 그렇다면 점수 대신 그 글을 읽고 배우게 하면 어떨까? UC 버클리·스탠퍼드·MIT 등 17명이 쓴 GEPA(ICLR 2026 구두 발표)는 이 질문에 답한다. 실패한 기록을 언어 모델이 직접 읽고 반성해 프롬프트를 고치고, 고친 프롬프트들을 '문항별 1등'이라는 파레토 기준으로 살려 두며 진화시킨다. 그 결과 여섯 과제에서 가중치를 고치는 강화학습(GRPO, 24,000 롤아웃)보다 평균 6점, 최대 20점 높았고, 롤아웃은 최대 35배 적게 썼다. 이 글은 '생각해 보자, 차근차근'이라는 주문에서 시작한 프롬프트 최적화의 역사, 반성·진화·파레토라는 세 기둥, 논문의 표와 그림, 수학 문제에서는 강화학습에 진 이유, 그리고 에이전트가 경험을 글로 쌓아 가는 2026년에 이 아이디어가 맡는 역할을 인터랙티브 6개와 일러스트 13장으로 풀어 본다.

코어닷투데이108분
GLM-Legal 완전 해부 — 가벼운 모델이 법률 에이전트 시험에서 프런티어를 이긴 방법: 중간학습, 하네스 공진화, 그리고 19.2%의 의미
특집GLM-LegalZ.ai
2026.10.13

GLM-Legal 완전 해부 — 가벼운 모델이 법률 에이전트 시험에서 프런티어를 이긴 방법: 중간학습, 하네스 공진화, 그리고 19.2%의 의미

2026년 10월 12일, 중국 Z.ai가 법률 특화 모델 GLM-Legal을 공개했습니다. 활성 파라미터 18B짜리 가벼운 모델(GLM-5.3-Flash) 위에 법률 중간학습과 수만 개의 법률 과제 환경 강화학습을 얹었더니, 로펌 실무 과제를 끝까지 해내야 하는 Harvey LAB에서 전 항목 통과율 19.2%로 Claude Fable 5(11.3%)와 GPT-6 Astra(5.4%)를 앞섰습니다. 과제당 비용은 0.15달러로 Fable 5의 약 130분의 1입니다. 그런데 19.2%는 열 건 중 여덟 건을 '불합격'했다는 뜻이기도 합니다. 1970년대 규칙 기반 법률 AI부터 가짜 판례 사건, LegalBench에서 Harvey LAB으로 바뀐 시험지, 중간학습과 하네스 공진화라는 아키텍처, 시연 세 장면, 순위표에서 빠진 모델과 퇴보한 지표까지, 이 발표를 둘러싼 모든 것을 쉽게 풀어 씁니다. 인터랙티브 6개, 논문·벤치마크 그림 11장, 삽화 10장.

코어닷투데이114분
[특집] 수학의 미래 — 타오의 블로그에 실린 아비가드의 편지: '더 어려운 문제를 풀고, 더 큰 생각을 하고, 새로운 것을 시도하라'
특집제러미 아비가드테런스 타오
2026.10.08

[특집] 수학의 미래 — 타오의 블로그에 실린 아비가드의 편지: '더 어려운 문제를 풀고, 더 큰 생각을 하고, 새로운 것을 시도하라'

2026년 10월 5일, 테런스 타오의 블로그에 카네기멜런 대학의 논리학자이자 Lean 수학 라이브러리의 산파인 제러미 아비가드의 글 「수학의 미래」가 실렸다. 한 달 내내 경고와 선언이 쏟아지던 블로그에 처음으로 '대체로 긍정적'이라는 진단과 함께 세 개의 동사가 나왔다 — 더 어려운 문제를 풀어라, 더 큰 생각을 하라, 새로운 것을 시도하라. 그리고 다음 세대에게 '우리는 당신들과 함께 선다'는 문장이 붙었다. 이 글은 왜 화제가 됐는가. 리만의 1854년 강연을 '어떤 강화학습 채점기도 평가할 수 없었을 것'이라고 한 기술적 주장은 무슨 뜻인가. 추론 모델이 실제로 어떻게 훈련되는지(GRPO·결과 보상·AlphaProof의 탐색 트리)부터, 수학이 '낯선 기술'을 삼켜 온 400년의 역사, 댓글창의 반론, 같은 주에 바뀐 arXiv·Erdős 사이트의 규칙, 그리고 2026년 한국의 자리까지, 원문과 논문·댓글 100여 건을 읽고 인터랙티브 다섯 개와 함께 풀어본다.

코어닷투데이84분
읽기는 병렬로, 추론은 깊게 — 896K 토큰 문서를 4B 모델이 읽어 내는 법, PARSER 논문 특집
특집PARSER롱 컨텍스트
2026.10.07

읽기는 병렬로, 추론은 깊게 — 896K 토큰 문서를 4B 모델이 읽어 내는 법, PARSER 논문 특집

100만 토큰짜리 창을 가진 모델도 긴 문서 앞에서는 정확도가 수십 점씩 떨어집니다. 홍콩중문대 연구진이 2026년 9월에 내놓은 PARSER는 '문서를 읽는 순서는 문서가 정하지만, 질문을 푸는 순서는 질문이 정해야 한다'는 한 문장에서 출발합니다. 문서를 보지 않는 리드 에이전트가 질문을 쪼개 수천 개의 청크 담당 서브에이전트에게 동시에 흩뿌리고, 돌아온 증거로 다음 질문을 다듬습니다. 4B 모델이 896K 토큰에서 순차 메모리 에이전트를 12점 앞서고, 9B 모델이 DeepSeek-V4-Pro를 6.3점 앞섰으며, 지연은 11배 줄었습니다. 이 글은 Transformer의 어텐션 창에서 시작해 'Lost in the Middle'과 Context Rot, MemAgent의 순차 메모리까지 이 논문이 서 있는 자리를 되짚고, 흩뿌리기-모으기 구조와 리드 에이전트만 강화학습하는 설계, 세 가지 통제 실험, 실패 사례와 한계, 그리고 2026년 멀티 에이전트 지형에서의 의미를 사례와 함께 풀어 씁니다. 시뮬레이터·결과 탐색기·접근법 가이드 위젯 3개.

코어닷투데이62분
생각은 어디에 흐르는가 — Recurrent Looped Transformer와 보이지 않는 추론의 시대
기술 분석Recurrent Looped TransformerRLT
2026.09.14

생각은 어디에 흐르는가 — Recurrent Looped Transformer와 보이지 않는 추론의 시대

2026년 9월 12일, 프린스턴의 Yifan Zhang이 16쪽짜리 기술 보고서를 공개했다. 이전 토큰의 내부 상태를 다음 토큰으로 계속 넘겨서, 문장이 길어질수록 계산 경로도 계속 깊어지는 트랜스포머다. 열흘 전에는 OpenAI의 GPT-6 Astra가 비슷한 '순환' 기법을 쓴다는 보도로 AI 안전 연구자들이 들끓었다. 이 특집은 RNN에서 트랜스포머, 생각의 사슬, 루프 모델로 이어진 35년의 흐름 속에서 RLT가 왜 나왔는지 풀고, 논문의 세 가지 설계 원칙을 하나씩 분해하고, 독립 실험이 보여 준 한계를 확인한 뒤, 모델의 생각이 글에서 벡터로 옮겨 갈 때 사람의 감시가 어떻게 되는지를 따진다. 인터랙티브 실험 4종과 논문 원본 그림을 함께 싣는다.

코어닷투데이100분
당신의 AI, 빌린 겁니까 가진 겁니까 (1부): '인텔리전스 오너십'이라는 새 승부수
기술인텔리전스 오너십파인튜닝
2026.07.30

당신의 AI, 빌린 겁니까 가진 겁니까 (1부): '인텔리전스 오너십'이라는 새 승부수

2026년 7월, Fermisense가 올린 한 편의 글이 AI 업계를 흔들었다. 90억 파라미터짜리 작은 오픈소스 모델을 강화학습으로 훈련시켰더니, 세계 최고 프런티어 모델을 전부 이기고도 비용은 최대 340배 싸더라는 것이다. 이 특집 1부는 '인텔리전스를 소유한다'는 개념이 왜 지금 등장했는지를 ChatGPT 이후의 역사와 2026년의 AI 경제학으로 추적한다.

코어닷투데이20분
당신의 AI, 빌린 겁니까 가진 겁니까 (2부): SFT에서 GRPO까지, '디지털 트윈'이라는 훈련장
기술강화학습GRPO
2026.07.30

당신의 AI, 빌린 겁니까 가진 겁니까 (2부): SFT에서 GRPO까지, '디지털 트윈'이라는 훈련장

'강화학습으로 모델을 훈련한다'는 말은 정확히 무슨 뜻일까? 사전학습·SFT·RLHF·RLVR로 이어지는 개념의 사다리를 밟아 오르고, 요즘 화제인 GRPO를 '커브로 채점하는 시험'에 빗대 직관적으로 푼다. 그리고 모델이 실제로 업무를 연습하는 '디지털 트윈'과 보상 설계까지, Fermisense의 카탈로그 실험을 해부한다.

코어닷투데이22분