RAG라우팅DRAG동적 검색기 선택질의 성능 예측재랭커추론형 임베딩CoFreeMERIT-RankBRIGHTRRF하이브리드 검색router regret
질문마다 다른 검색기, 다른 모델, 다른 예산 — 동적 라우팅과 DRAG (RAG 특집 3편)
HotpotQA 질의의 22%는 BM25만으로 검색해도 정답이 나온다. 가장 비싼 구성이 꼭 필요한 질의는 15.6%다. 그런데 대부분의 RAG는 모든 질의에 같은 검색기와 같은 모델을 쓴다. 2026년 9월 15일 공개된 DRAG는 검색기 4단계 × 생성기 추론 강도를 전부 조합해 잰 뒤 두 가지를 보여 줬다 — 더 강한 검색이 더 많은 추론보다 크게 이기지만 단조롭게 좋아지지는 않는다는 것, 그리고 정답을 아는 오라클 라우터는 최고 정적 구성보다 정확하면서 지연은 절반이라는 것. 이 특집은 1편의 5경로 라우팅을 8경로로 확장하고, 라우터가 경로와 함께 정해야 하는 8가지 결정, 오라클 대비 손실(router regret)을 재는 법, 그리고 같은 날 나온 추론형 임베딩(CoFree)·추론형 재랭커(MERIT-Rank)가 라우터의 선택지를 어떻게 늘렸는지를 위젯 5종으로 따라간다. 결론은 하나다 — 추론형 부품은 맨 위 한 단이고, 대부분의 질의는 아래에서 끝나야 한다.
RAG 시스템을 하나 만들었다고 하자. 임베딩 모델을 고르고, 리랭커를 붙이고, 생성 모델을 정했다. 튠이 끝나면 그 구성은 모든 질문에 적용된다. "환불 정책은 며칠 이내인가요?"도, "2019년부터 2023년 사이 세 기관의 예산 증감률을 비교하면?"도 같은 검색기를 거쳐 같은 모델이 같은 추론 강도로 답한다.
이것이 얼마나 낭비인지, 그리고 얼마나 위험한지를 숫자로 보인 논문이 2026년 9월 15일에 나왔다. Adobe·IACS·글래스고 대학 연구진의 「One Size Does Not Fit All! Dynamic Retriever and Generator Selection for RAG」 — 줄여서 DRAG다. 연구진은 검색기 네 단계(BM25 → Dense → 재랭크 → 질의 분해+재랭크)와 생성기의 추론 강도(낮음/중간/높음)를 전부 조합해 네 QA 벤치마크에서 재고, 각 질의에 대해 "정답을 내는 구성 중 가장 지연이 짧은 것"을 기록했다. 그 분포가 이렇다.
22%
HotpotQA에서 BM25만으로 검색해도 정답이 나오는 질의 (L/L·L/M·L/H 합)
15.6%
가장 비싼 구성(질의 분해+재랭크+최대 추론)이 꼭 필요한 질의
51.6 → 63.9
최고 정적 구성 → 오라클 라우터의 EM (HotpotQA)
4.36 → 1.83초
같은 비교의 질의당 지연 — 더 정확하면서 절반 이하
마지막 두 카드를 같이 읽어야 한다. 정답을 아는 이상적인 라우터는 모든 질의를 최고 구성으로 보내는 정적 파이프라인보다 더 정확하면서 더 빠르다. 두 축을 동시에 얻는다. 정적 파이프라인은 84%의 질의에 과잉 비용을 쓰고, 그러면서도 가장 비싼 구성이 끌어들이는 노이즈 때문에 일부 질의를 틀린다.
1장 — 5경로에서 8경로로 (1편의 표를 확장한다)
2장 — DRAG: 전부 조합해 재 보니 (비단조 계단·정적 vs 적응·오라클 분포 위젯)
3장 — 라우터가 함께 정해야 하는 여덟 가지 (8경로 라우터 시뮬레이터)
4장 — 오라클과 나 사이의 거리: router regret (후회 계산기 위젯)
5장 — 선택지가 늘었다: 생각하는 임베딩(CoFree)과 세 번 생각하는 재랭커(MERIT-Rank) (탐색기 위젯)
6장 — 당장 운영할 결론: 네 단 스택 (스택 계단 위젯)
7장 — 함께 보면 좋은 라우팅 연구 두 편
8장 — 우리 시스템에 넣는 순서
9장 — 한계와 반론
마무리 — 라우터는 분류기가 아니라 예산 배분기다
1편은 "Agentic Search를 전체 질의에 켜면 안 된다"는 결론으로 다섯 경로를 제시했다 — 일반 Hybrid RAG, Agentic Search, 반복 검색+증거 집합, Graph/Structured, Multimodal. 그 표는 "무거운 경로를 어디에 쓰나"를 가르는 데 초점이 있었다. 이 글에서는 반대쪽, 즉 가벼운 경로를 얼마나 세밀하게 나누나까지 포함해 여덟 경로로 넓힌다.
1편의 ③ "반복 검색 + 증거 집합 관리"는 경로가 아니라 여러 경로 위에서 도는 제어 루프라서 이 표에서는 빼고 2편에 넘겼다.
새로 들어온 세 경로에 주목하자. ① No-RAG는 "검색을 하지 않는 것도 라우팅 결정"이라는 뜻이다. DRAG의 실패 분석에서 가장 흔한 오류 유형 하나가 쉬운 질의를 비싼 구성으로 보내 노이즈 문서를 끌어들여 틀리는 과대 추정이었다. 검색은 공짜 보험이 아니다. ② BM25 중심은 오류 코드·조항 번호처럼 임베딩이 약한 희귀 토큰을 어휘 검색으로 잡는 경로다. ④ Multi-vector + Reranker는 어려운 의미·논리 질의를 위한 경로로, 5장에서 다룰 추론형 부품과 7편의 한국어 late-interaction 모델이 여기에 들어간다.
여덟 경로를 사람이 손으로 가르지는 않는다. 라우터가 질의마다 가른다. 그 라우터를 어떻게 만들고 어떻게 평가하는지가 이 글의 나머지다. 그 전에, 라우터가 왜 필요한지를 가장 깨끗하게 보여 준 실험을 보자.
DRAG의 설계는 단순하고 힘이 세다. 검색기 풀과 생성기 풀을 정해 두고, 모든 조합을 네 벤치마크에서 잰다.
검색기 (복잡도 순)
구성
특징
L (Low)
BM25
어휘 일치. 가장 싸고 의미는 모른다
M (Medium)
e5-large-v2 (Dense)
어휘 불일치를 의미로 넘는다
H (High)
E5 top-50 → BGE 크로스인코더 재랭크
정밀 재정렬
XH (Extra-High)
질의 분해 → 하위 질의별 E5 → 합쳐서 BGE 재랭크
다중 제약 질의용. 가장 비싸다
생성기는 세 가족 — GPT-OSS 20B(추론 3단계), Qwen-3 8B(추론 켬/끔), Gemma-4 26B(추론 켬/끔). 벤치마크는 TriviaQA(단일 홉), HotpotQA(다중 홉 브릿지), MuSiQue(2~4홉 조합), 그리고 학습에 쓰지 않은 분포 외 데이터 FRAMES(시간·수치·다중 제약).
2.2 첫 번째 발견 — 좋아지지만 단조롭게 좋아지지는 않는다
위젯 첫 탭의 계단이 이 논문의 첫 번째 메시지다. HotpotQA에서 BM25 → Dense → 재랭크로 갈수록 EM은 25.5 → 43.9 → 49.9로 오른다. 그런데 가장 비싼 질의 분해+재랭크(XH)는 지연이 35% 더 들면서 EM이 47.4로 떨어진다. 논문의 문장을 그대로 옮긴다.
"전반적으로 구성 요소의 복잡도를 올리면 성능이 향상되지만, 그 이득은 단조롭지 않다. … 더 높은 검색 단계(θ_H → θ_XH)에서는 FRAMES를 제외한 모든 데이터셋에서 포화한다 — 상당히 높은 계산 비용에도 검색 확장의 수익이 감소한다."
왜 떨어지는가. 질의를 하위 질의로 쪼개면 하위 질의마다 top-50이 들어오고, 그중 상당수가 원 질의와는 무관한 문서다. 재랭커가 걸러 내지만 전부 걸러 내지는 못하고, 노이즈가 생성기를 흔든다. 더 많은 검색이 더 좋은 검색은 아니다.
2.3 두 번째 발견 — 추론은 나쁜 검색을 보상하지 못한다
두 번째 메시지는 생성기 쪽이다. 검색기를 고정하고 추론 강도만 올리면 어떻게 되나.
"대조적으로, 고정된 검색기(특히 약한 검색) 아래에서 생성기의 추론 노력을 늘리는 것은 모든 데이터셋에서 비교적 작고 일관성 없는 이득을 보인다. 예를 들어 다중 홉 데이터셋 MuSiQue에서 약한 검색(θ_L) 아래 추론 노력을 늘리면 EM이 7%만 개선되지만, θ_H 아래에서는 16.9% 개선된다."
"이는 추론이 나쁜 검색 품질을 보상할 수 없으며, 생성기의 효과는 근본적으로 검색 품질에 제약된다는 것을 보여 준다. 더 강한 검색이 추론 노력만 늘리는 것보다 일반적으로 더 큰 이득을 낸다."
이 문장은 실무에서 자주 벌어지는 논쟁 하나를 끝낸다. "답이 이상하니 모델을 더 큰 걸로 바꾸자"는 제안은 검색이 약한 시스템에서는 돈만 쓰고 끝난다. 강한 검색 위에서만 추론 강도가 값을 한다. 1편 3장의 A-RAG 스케일링 결과("모델이 좋아질수록 검색 도구의 이득이 커진다")와 짝을 이루는 발견이다 — 검색과 추론은 곱셈 관계이고, 어느 한쪽이 0에 가까우면 다른 쪽을 키워도 소용이 없다.
2.4 두 가지 라우터
두 발견에서 라우터의 필요가 나온다. 어떤 질의에는 BM25면 충분하고, 어떤 질의에는 재랭크가 필요하고, 질의 분해는 극소수에만 도움이 된다. 연구진은 라우터 둘을 만들었다.
DRAG_QPP — 학습 없음
1단계 검색기 선택: 질의 성능 예측(QPP) 신호 — 질의 용어의 평균 IDF. 희귀하고 정보량이 많은 용어로 된 질의는 검색이 쉬우니 싼 검색기로, 흔하고 모호한 용어면 강한 검색기로.
2단계 생성기 선택: 검색된 문맥의 퍼플렉시티. 낮으면 문맥이 모델의 기대와 잘 맞으니 추론을 아끼고, 높으면 노이즈·분포 외 신호로 보고 추론을 올린다.
임계값은 학습 데이터 분포의 백분위(75/50/25, 20)로 잡는다. 결정 시간 0.28초.
DRAG_SFT — 학습
오라클 라벨: 각 학습 질의에 대해 “정답(EM=1, 없으면 F1≥0.8)을 내는 구성 중 지연이 가장 짧은 것”을 기록한다 — 효율 인지 오라클.
결과는 위젯 두 번째 탭에 있다. HotpotQA에서 학습 없는 DRAG_QPP는 최고 정적 구성(RAG_max)과 EM 2.4pt 차이로 비슷하면서 지연을 절반(4.36 → 2.18초)으로 줄인다. 학습한 DRAG_SFT는 정확도도 앞서고(53.2 vs 51.6) 지연도 29% 짧다. 논문은 두 변형의 관계를 이렇게 정리한다 — SFT가 QPP보다 데이터셋에 따라 2~12% 더 정확하고, 대신 지연이 5~40% 더 든다.
그러나 이 표에서 정말 봐야 할 줄은 오라클이다. HotpotQA에서 EM 63.9, 지연 1.83초. DRAG_SFT와 10.7pt 차이. 논문의 말로 "이 격차는 현실적 환경에서 라우팅이 얼마나 어려운지를 보여 준다." 그리고 그 격차가 4장의 주제다.
2.5 실패는 두 방향으로 난다
논문의 실패 분석은 라우터 오류를 세 유형으로 나눈다.
⬆️
과대 추정 (overestimation)
쉬운 질의를 비싼 구성(H/H)으로 보낸다. 비용 낭비만이 아니다 — 과잉 검색이 노이즈 증거를 끌어들여 틀린다.
⬇️
과소 추정 (underestimation)
복잡한 질의를 싼 구성(M/L)으로 보낸다. 증거가 부족해 사실 오류가 난다.
🔀
엔티티 오류
잘못된 구성이 잘못된 증거를 가져와 비슷한 이름의 다른 대상으로 답한다. 두 유형의 공통 결과.
"라우팅 오류는 질의 복잡도 추정에 체계적으로 묶여 있다"는 것이 저자들의 진단이다. 라우터를 개선한다는 것은 곧 질의가 얼마나 어려운지를 더 잘 재는 것이다. 분포 외 데이터(FRAMES)에서는 개선이 통계적으로 늘 유의하지는 않았다는 단서도 붙어 있다 — 라우팅 결정은 질의 유형이 다른 데이터로 옮기기 어렵다.
DRAG는 결정을 둘로 좁혔다 — 검색기 하나, 생성기 하나. 실제 시스템의 라우터는 더 많은 것을 정한다. 경로를 고르는 순간 다음 여덟 항목이 함께 결정되어야 한다.
1
검색기 종류. BM25만, 하이브리드, 다중 벡터, 그래프 탐색, 위치 추적 인덱스, 타임라인 엔트리… 경로마다 다르다.
2
후보 문서 수. top-5로 끝낼지, top-50을 뽑아 재랭크할지. DRAG의 XH가 보여 준 대로 후보가 많으면 노이즈도 많다.
3
재랭커 사용 여부와 종류. 없음 / 크로스인코더 / 추론형. 5장에서 다룰 결정.
4
에이전트 최대 검색 횟수. 1편 9장의 스텝 예산. 경로 ⑤·⑥은 3~8, 나머지는 1~2.
5
생성 모델 크기와 추론 강도. DRAG의 두 번째 축. 강한 검색 위에서만 올릴 가치가 있다.
6
허용 토큰. 컨텍스트 예산. 2편의 “최소 충분 증거 집합”이 이 예산 안에 들어가야 한다.
7
최대 지연시간. 대화형 UI인지 배치인지. 이 상한이 위의 여섯 항목을 역으로 제약한다.
8
웹·외부 소스 허용 여부. 내부 코퍼스에 없을 때 나가도 되는가. 8편(보안)의 출처 신뢰도 문제가 여기서 시작된다.
위젯을 몇 번 눌러 보면 한 가지가 분명해진다. 라우터는 분류기가 아니라 예산 배분기다. "이 질문은 유형 ③"이라고 라벨을 붙이는 것이 아니라, "이 질문에는 후보 10개, 재랭커 없이, 검색 1회, 중형 모델, 6K 토큰, 2초 안에"라고 자원을 배정한다. DRAG의 오라클 정의가 정확히 이것이었다 — 정답을 내는 구성 중 가장 싼 것.
여덟 항목을 한 번에 다 학습시키기는 어렵다. 현실적인 순서는 DRAG처럼 가장 큰 두 축(검색기·모델)을 먼저 라우팅하고, 나머지는 경로별 기본값으로 묶어 두는 것이다. 위젯의 표가 그 기본값 묶음의 예다.
라우터를 평가할 때 정확도 하나만 보면 중요한 것을 놓친다. DRAG_QPP는 HotpotQA에서 정확도가 최고 정적 구성보다 2.4pt 낮았다. 이것만 보면 "라우터가 손해"다. 그러나 지연은 절반이었다. 두 축을 한 숫자로 묶으려면 기준점이 필요하고, 그 기준점이 오라클이다.
오라클은 정답을 아는 상태에서 각 질의에 "정확히 맞히는 구성 중 가장 빠른 것"을 고르는 가상의 라우터다. 실제 라우터의 선택과 오라클의 선택 사이의 차이를 router regret(라우터 후회)이라 부른다. 둘로 나뉜다.
정확도 regret — 오라클은 맞혔는데 내 라우터의 구성은 틀린 질의의 비율. 과소 추정(싼 구성으로 보냄)과 과대 추정(비싼 구성이 노이즈를 끌어들임) 둘 다 여기 잡힌다.
지연(비용) regret — 오라클보다 더 쓴 지연·토큰의 합. 과대 추정이 여기 잡힌다.
위젯의 "전부 H/H" 버튼이 오늘날 대부분의 RAG다 — 정적 최고 구성. 대부분 맞히지만 쉬운 질의에서 지연을 낭비하고, 한 질의는 과잉 구성이 노이즈를 끌어들여 틀린다. "전부 XH/H"는 더 비싸고 더 틀린다. "전부 L/L"은 지연 regret은 0이지만 정확도 regret이 크다. 오라클은 둘 다 0.
이 두 숫자를 왜 따로 재야 하는가. 틀리는 방향을 알려 주기 때문이다. 정확도 regret이 크고 지연 regret이 작으면 라우터가 과소 추정한다 — 임계값을 낮춰 더 많은 질의를 강한 경로로 보내야 한다. 반대면 과대 추정이다 — 임계값을 높인다. 정확도 하나로는 이 진단이 안 된다. DRAG가 HotpotQA에서 오라클과 10.7pt 벌어진 것도, 그 10.7pt가 어느 쪽에서 왔는지를 알아야 다음에 무엇을 고칠지 정해진다.
실무에서 오라클을 만드는 법은 DRAG의 방법 그대로다. 평가셋의 각 질의를 모든 구성으로 한 번씩 돌려 정답 여부와 지연을 기록한다. 구성이 8경로 × 몇 가지 변형이면 질의당 20~30회 실행이지만, 평가셋 300건이면 하루 안에 끝나는 일이다. 그 표 하나가 라우터의 라벨(SFT용)이고, 임계값의 근거(QPP용)이고, regret의 기준점이다.
라우터가 고를 수 있는 검색 부품에 2026년 9월 17일 두 종류가 더해졌다. 같은 날 공개된 두 논문이다. 둘 다 "검색 부품이 추론을 생성한다"는 공통점이 있고, 둘 다 사전 공개 단계다.
5.1 MERIT-Rank — 한 번의 추론은 위험하다
재랭커에 LLM을 쓰는 것은 이제 흔하다. 질의와 문서를 함께 읽고 "관련 있다/없다"를 추론하게 한다. Honor 연구진의 「Think Thrice Before Reranking」(MERIT-Rank)은 이 방식의 약점을 짚는다.
"단일 추론 궤적은 사용 가능한 신호의 제한된 부분집합만 포착하며, 이 때문에 추론 기반 재랭커의 강건성과 일반화가 제약된다."
한 번의 추론이 잘못된 방향으로 가면 순위 전체가 망가진다. MERIT-Rank는 관련성을 세 관점에서 따로 추론한다 — 의미 정합(주제·개념·엔티티가 맞는가), 의도 충족(질의의 암묵적 의도 — 사실 확인인지 설명인지 비교인지 — 를 채우는가), 증거 근거(문서 안의 어느 문장이 근거인가). 그리고 세 추론을 종합해 한 번의 순위를 낸다. 학습은 두 단계 GRPO로, 처음엔 형식과 상대적 순위 개선을, 나중엔 절대 지표(nDCG·MRR)를 보상한다.
헤드라인은 4B 모델이 BRIGHT에서 다수의 7B·32B 재랭커를 앞선다는 것이다. 제거 실험에서 세 관점을 종합하는 단계를 빼는 것(−1.84)이 어느 한 관점을 빼는 것(−0.57~−1.52)보다 크게 떨어진다 — 이득의 원천은 관점의 개수가 아니라 종합이다. 효율 주장도 있다. 같은 성능을 슬라이딩 윈도 3개로 내서 ReasonRank의 9개보다 생성 토큰이 적다. 다만 논문도 스텝당 비용은 더 크다고 인정하고, 형식적인 한계 절이 없다.
임베딩 쪽은 알리바바의 「Reasoning Quality Matters」(CoFree)다. 최근 임베딩 모델은 LLM에서 출발한다. 그런데 LLM을 임베딩 목적으로 학습시키면 reasoning collapse가 일어난다 — 추론 생성 능력이 죽거나, 유창하지만 검색과 무관한 추론을 내뱉는다. 임베딩을 위해 추론을 붙이려 했는데 추론이 망가지는 역설이다.
CoFree는 두 단계로 막는다. 1단계에서 얼린 백본 모델을 참조점으로 두고 추론 능력을 복원하는 SFT(언어 모델 손실 + 대조 손실 + 참조 손실), 2단계에서 임베딩 보상(양성–음성 유사도 마진)과 추론 보상(관련성 모델이 채점)을 따로 주는 GRPO 강화학습. 결과는 Qwen3-Embedding-4B 대비 22개 데이터셋 평균 nDCG@10 +2.8(MTEB 10개 +2.3, BRIGHT 12개 +3.1). 추론이 필요한 검색(BRIGHT)에서 이득이 더 크다.
실무에서 봐야 할 두 숫자는 위젯 두 번째 탭에 있다. 질의 시점에 평균 39~66 토큰을 생성한다 — 임베딩이 더 이상 한 번의 순전파가 아니다. 그리고 코드·체크포인트는 "향후 공개 예정"이다. 알리바바 실서비스에 2026년 1월부터 배포돼 주문 +13.56%의 상대 증가를 보고했지만 저자 측 A/B 결과이고, 지금 당장 우리가 받아 쓸 수 있는 모델은 없다.
5.3 라우터에게 이것이 뜻하는 것
두 논문을 라우팅 관점에서 읽으면 결론은 하나로 모인다. 추론형 부품은 경로 ④(어려운 의미·논리)를 위한 것이고, 그 경로로 가는 질의만 그 비용을 내야 한다. 위젯 세 번째 탭에서 추론형 재랭커로 보내는 비율을 10%에서 40%로 올려 보면 하루 생성 토큰과 GPU 시간이 어떻게 뛰는지 보인다. 전체 트래픽을 추론형으로 처리하면 GPU 비용과 지연시간이 급격히 는다. 그리고 DRAG의 2.3절이 알려 준 대로, 그 비용을 내도 검색이 약한 질의에서는 이득이 작다.
④어려운 질의에만 추론형 재랭커 실험 — 오프라인 평가셋의 어려운 부분집합에서 ③ 대비 이득을 먼저 재고, 확인된 유형만 라우터 규칙에 추가.
위젯의 통과 비율(100 → 100 → 60 → 10%)은 설명용 기본값이지만, 그 모양은 원칙이다. 대부분의 질의는 아래 두 단에서 끝나야 한다. ③으로 올라가는 비율이 60%를 넘거나 ④가 15%를 넘으면, 스택을 더 사기 전에 라우터를 조이는 것이 먼저다. 1편 9장에서 Agentic 경로 승격 비율에 대해 같은 말을 했다 — 경로가 늘어도 원칙은 같다.
한 가지 덧붙이면, 이 스택의 ①·② 자체가 이미 라우팅의 첫 결정을 담고 있다. BM25 쪽에 제목·조항 번호 필드 부스트를 두면 경로 ②(정확 문자열)가 하이브리드 안에서 자동으로 처리된다. 라우터를 따로 만들기 전에 융합 가중치만으로 처리되는 질의가 얼마나 되는지 먼저 보는 것이 순서다.
7. 함께 보면 좋은 라우팅 연구 두 편
DRAG가 유일한 라우팅 연구는 아니다. 2026년 상반기에 두 편이 앞서 나왔고, 셋을 나란히 두면 라우팅 연구의 좌표가 보인다.
연구
무엇을 라우팅하나
핵심 주장
RAGRouter-Bench (2026-01, Rutgers 등)
RAG 패러다임 전체 (단순 RAG, 반복 RAG, 그래프 RAG 등)
“질의–코퍼스 호환성”이 라우팅의 중심 원리. 모든 질의–코퍼스 쌍에 맞는 단일 패러다임은 없다. 적응 라우팅이 고정 선택보다 효과–효율 트레이드오프가 낫다.
R³AG (2026-04, 인민대)
검색기만
검색기의 능력을 ‘검색 품질’과 ‘생성 유용성’ 두 축으로 나눠 학습. 문서가 관련 있어도 정답 생성에 쓸모없을 수 있다는 관찰. 최고 단일 검색기와 정적 라우팅을 모두 앞선다.
DRAG (2026-09, Adobe 등)
검색기 × 생성기 조합
둘의 공동 효과는 비단조. 효율 인지 오라클과 학습 없는/있는 라우터. 추론은 나쁜 검색을 보상하지 못한다.
셋이 공유하는 결론은 "하나의 구성이 모든 질의에 맞지 않는다"이고, 다른 점은 라우팅의 단위다. 패러다임 → 검색기 → 검색기×생성기. 이 글의 8경로는 패러다임 수준의 라우팅이고, 각 경로 안에서 DRAG식 구성 선택이 다시 일어난다. 두 층은 서로 배타적이지 않다.
R³AG의 관찰 하나는 2편과 이어진다 — 관련 있는 문서와 정답 생성에 유용한 문서는 다르다. 검색기를 관련성으로만 평가하면 라우터가 잘못된 검색기를 고른다. 2편이 다룬 "증거 충분성" 평가가 라우터 학습의 라벨에도 필요하다는 뜻이다.
8. 우리 시스템에 넣는 순서
기존 하이브리드 RAG가 돌고 있는 팀을 위한 순서다.
1
구성 격자를 만든다. 우리가 실제로 쓸 수 있는 검색기 3~4단계(BM25 / 하이브리드 / +재랭크 / +에이전트 탐색 등)와 생성 모델 2~3단계를 정한다. 8경로를 다 만들 필요는 없다 — 우리 질의에 실제로 나오는 유형만.
2
평가셋을 모든 구성으로 돌린다. 300건이면 충분하다. 질의마다 구성별 정답 여부·지연·토큰을 기록한다. 이 표가 오라클이다.
3
오라클 분포를 본다. 가장 싼 구성으로 맞는 질의가 몇 %인가. DRAG의 HotpotQA는 22%였다. 이 숫자가 30%를 넘으면 라우터의 이득이 크고, 5% 미만이면 지금은 라우터보다 검색기 개선이 먼저다.
4
학습 없는 라우터부터. DRAG_QPP처럼 평균 IDF·검색 점수 분포·문맥 퍼플렉시티 같은 신호에 백분위 임계값을 건다. 결정 시간이 0.3초 안에 든다. 분포 외 질의에도 그럭저럭 견딘다.
5
regret을 두 축으로 기록한다. 정확도 regret과 지연 regret. 어느 쪽이 큰지가 임계값을 어느 방향으로 움직일지 알려 준다. 정확도 하나로 라우터를 평가하지 않는다.
6
오라클 라벨이 1,000건을 넘으면 학습 라우터를 검토한다. DRAG_SFT처럼 소형 모델(4B)에 구성 JSON을 출력하게 학습시킨다. 단, 질의 유형이 바뀌면 다시 학습해야 한다는 것을 전제한다.
7
추론형 부품은 마지막에, 어려운 부분집합에서만. 오라클 표에서 “강한 구성이 꼭 필요했던 질의”만 뽑아 추론형 재랭커를 시험한다. 그 부분집합에서 이득이 확인되면 라우터 규칙에 그 유형을 추가한다.
9. 한계와 반론
9.1 논문들이 스스로 밝힌 것
DRAG는 검색기 4단계·생성기 3가족의 특정 풀에서 잰 결과다. 분포 외(FRAMES)에서 개선이 늘 유의하지는 않았고, 라우팅 오류는 질의 복잡도 추정의 한계에 묶여 있다. 사전 공개 단계다.
CoFree는 두 단계 학습, 교사 생성 데모, 보상 모델 채점으로 학습 비용이 크고, 코드·체크포인트가 아직 없다. 온라인 결과는 저자 측 A/B다.
MERIT-Rank는 형식적인 한계 절이 없다. 스텝당 비용은 더 크다고 인정한다. 사전 공개 단계다.
9.2 이 특집이 덧붙이는 반론
라우터도 비용이다. DRAG의 결정 시간은 0.28~0.36초. 질의당 지연이 0.5초인 시스템에서는 라우터가 전체 지연의 절반이다. 라우팅의 이득은 구성 간 비용 차이가 클 때만 난다. 모든 경로가 비슷하게 싸면 라우터는 오버헤드다.
오라클은 평가셋 안에서만 오라클이다. 오라클 라벨은 "이 평가셋의 이 질의들"에 대한 것이다. 실제 트래픽의 분포가 다르면 임계값도 학습 라우터도 어긋난다. FRAMES 결과가 그 증거다. 라우터는 한 번 만들고 끝나는 부품이 아니라 트래픽 로그로 계속 재보정하는 부품이다.
"관련성"으로 라우팅하면 R³AG의 함정에 빠진다. 검색기 A가 검색기 B보다 관련 문서를 더 잘 찾는다고 해서 정답을 더 잘 내는 것은 아니다. 오라클 라벨은 반드시 최종 답의 정답 여부로 매겨야 한다. 검색 지표(Recall@k)로 매기면 라우터가 잘못 배운다.
추론형 부품의 벤치마크는 BRIGHT다. BRIGHT는 추론이 필요하도록 설계된 검색 벤치마크다. 그곳에서의 이득이 우리 코퍼스 — 공고·규정·매뉴얼 — 에 그대로 옮겨진다는 보장은 없다. 오히려 우리 질의 대부분은 BRIGHT류가 아닐 가능성이 높고, 그래서 6장의 "어려운 질의에만"이라는 단서가 붙는다.
No-RAG 경로의 위험. 검색을 생략하는 결정은 환각의 문을 여는 결정이다. "문서가 필요 없다"는 판정이 틀리면 모델은 파라미터 지식으로 답하고, 그 답은 출처가 없다. No-RAG 경로에는 "출처 없이 답했다"는 표시와 낮은 신뢰도 표기가 반드시 따라야 한다.
마무리 — 라우터는 분류기가 아니라 예산 배분기다
이 글은 두 숫자로 시작했다. HotpotQA 질의의 22%는 BM25면 충분하고, 15.6%만 가장 비싼 구성이 필요하다. 그 사이의 62%가 라우팅이 값을 하는 자리다. 그리고 정답을 아는 라우터는 최고 정적 구성보다 정확하면서 절반의 시간이 걸린다.
DRAG가 확인한 두 원칙은 기억할 가치가 있다. 더 많은 검색이 더 좋은 검색은 아니며, 추론은 나쁜 검색을 보상하지 못한다. 첫째는 라우터가 필요한 이유이고, 둘째는 라우터가 무엇을 먼저 골라야 하는지를 알려 준다 — 모델보다 검색기를.
라우터는 질문에 라벨을 붙이는 분류기가 아니다. 질문 하나하나에 검색기·후보 수·재랭커·검색 횟수·모델·토큰·지연·외부 소스라는 여덟 가지 자원을 배정하는 예산 배분기다. 그것을 평가하는 눈금은 정확도 하나가 아니라 오라클 대비 정확도 후회와 비용 후회 두 개다. 그리고 2026년 9월에 추가된 추론형 임베딩과 재랭커는 그 배분기가 고를 수 있는 선택지 하나가 늘어난 것이지, 모든 질의에 켤 새 기본값이 아니다.
다음 편은 인덱스 쪽으로 간다. 라우터가 아무리 잘 골라도 인덱스가 틀린 표현을 담고 있으면 검색은 실패한다. 4편은 검색 실패를 진단해 문제가 된 인덱스 항목만 고치는 SELF-INDEX와, 그 뿌리에 있는 문서 파싱의 문제를 다룬다.
참고자료
연구 논문
Anand, N., Santra, P., Basuchowdhuri, P., Ganguly, D. & Bhatia, S. One Size Does Not Fit All! Dynamic Retriever and Generator Selection for RAG (DRAG). arXiv:2609.17709 (2026년 9월 15일, Adobe · IACS · University of Glasgow)
Gong, Z., Ye, X., Yao, J., Lan, J., Zhu, X. & Chen, X. Reasoning Quality Matters: Combating Reasoning Collapse in LLM-based Embedding Learning (CoFree). arXiv:2609.20563 (2026년 9월 17일, Alibaba) — 코드·체크포인트 향후 공개 예정
Liu, L., Chen, Z., Li, W., Zhao, Y. & Huang, F. Think Thrice Before Reranking: Multi-perspective Evidence and Reasoning Integration for Text Reranking (MERIT-Rank). arXiv:2609.20131 (2026년 9월 17일, Honor)
Wang, Z., Zhu, X., Lin, S., Xue, H., Guo, M. & Zhang, Y. RAGRouter-Bench: A Dataset and Benchmark for Adaptive RAG Routing.arXiv:2602.00296 (2026년 1월)
Zhao, T., Zhu, Y., Tian, Y. & Dou, Z. R³AG: Retriever Routing for Retrieval-Augmented Generation.arXiv:2604.22849 (2026년 4월)
Cormack, G. V., Clarke, C. L. A. & Buettcher, S. Reciprocal Rank Fusion Outperforms Condorcet and Individual Rank Learning Methods. SIGIR (2009) — RRF의 원전
모델과 벤치마크
Zhang, Y. et al. Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models.arXiv:2506.05176 (2025) — CoFree의 기준선이자 6장 스택의 후보 (0.6B/4B/8B)
Su, H. et al. BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval.arXiv:2407.12883 (2024)
TriviaQA · HotpotQA · MuSiQue · FRAMES — DRAG의 네 QA 벤치마크
출처와 수치에 대하여. DRAG·CoFree·MERIT-Rank의 수치는 각 논문의 결과표에서 그대로 옮겼다(DRAG는 GPT-OSS 20B 기준). 위젯 ‘8경로 라우터’의 여덟 항목 값과 위젯 ‘스택 계단’의 통과 비율은 설명용 기본값이며, 위젯 ‘후회 계산기’의 구성별 지연은 DRAG의 값이지만 질의별 맞힘 여부는 설명용 예시다. 위젯 ‘추론형 탐색기’의 비용 시뮬레이터 단가·토큰은 가정값이다. 세 논문 모두 2026년 9월 사전 공개 단계로 독립 재현 전이다. 삽화는 코어닷투데이가 생성했다. 8경로 표와 라우터의 8가지 결정 항목은 이 특집 시리즈의 기획 원고를 바탕으로 정리했다.
