도구는 넷, 자리는 넷 — BM25·임베딩·Jev·코드를 적재적소에 쓰는 한국어 검색 실측 (한국어 검색 스택 8편)

크게 보기

들어가며: 망치가 좋으면 모든 게 못으로 보인다

이 시리즈는 여섯 편 동안 도구를 하나씩 재 왔습니다. 1편에서 임베딩 모델 다섯을 한국어로 줄 세웠고, 2편에서 BM25와 임베딩을 RRF로 섞었고, 5편에서 BM25에 한국어 형태소 분석기를 붙였습니다. 6편과 7편에서는 TypeSafe의 판정 모델 Jev를 리랭커와 환각 검문소에 세웠고, 두 자리 모두에서 Jev가 가장 좋았습니다.

그러면 자연스러운 질문이 남습니다. 다 Jev에 맡기면 되지 않나? 호출당 0.25초, 입력 100만 토큰에 0.042달러이니 후보 40개를 전부 Jev에 물어도 질문 하나에 1원도 안 듭니다.

이 글의 답은 "아니다"입니다. 그리고 그 이유가 이 글의 전부입니다. 한국어 질문 134개를 다섯 종류로 나눠 BM25·임베딩·Jev·코드를 열세 가지 방식으로 조합해 본 결과를 먼저 요약하면 이렇습니다.

1부. 네 도구는 각자 무엇을 보는가

검색 파이프라인에 들어가는 도구를 '무엇을 보고 판단하는가'로 나누면 넷입니다.

마지막 줄이 이 시리즈에 처음 나오는 도구입니다. 대단한 것이 아닙니다. 질문에서 2026년 4월을 정규식으로 꺼내고, 문서의 작성일 필드와 비교하는 코드 몇 줄입니다. LangChain의 셀프 쿼리 리트리버가 LLM으로 하는 일(자연어 질문을 메타데이터 필터로 바꾸기)을 여기서는 정규식으로 합니다. 이 코드가 왜 이 글의 주인공 중 하나가 되는지는 3부에서 나옵니다.

2부. 실험 설계: 질문 다섯 가족, 전략 열셋

질문 134개

문서는 1~7편과 같은 코어닷투데이 블로그·뉴스 589건(제목 + 요약)입니다. 질문은 다섯 가족입니다. 앞의 둘은 1편에서 쓴 85개를 그대로 가져왔고, 뒤의 셋은 이번에 새로 만들었습니다.

새 질문의 정답에는 어떤 검색 모델의 판단도 들어가지 않았습니다. 글이 주제 X에 '해당한다'는 것은 필자가 붙인 태그에 X가 있거나(예: RAG 태그), 제목·요약에 X를 가리키는 정확한 용어가 있는 것(예: 'RAG', '검색 증강', 'GraphRAG')으로 정했습니다. 태그만 쓰지 않은 이유는 태그와 본문이 자주 어긋나서입니다. 보안 태그가 붙은 글 중 요약에 보안 얘기가 보이는 글은 69%뿐이었습니다. 날짜와 카테고리는 글의 프런트매터 값 그대로입니다.

전략 열셋

Jev에는 6·7편과 같은 방식으로 질문 하나를 던졌습니다. 상태에 검색 질문과 문서(제목·요약·작성일·카테고리)를 넣고, Noul로 "이 문서가 검색 질문이 찾는 글인가? 조건(빼야 할 주제, 함께 다뤄야 할 주제, 작성 날짜, 카테고리)이 있으면 모두 만족해야 한다"를 묻습니다. 후보는 Noul 확률 순으로 다시 정렬합니다. 지표는 nDCG@10이고, 제외·날짜 질문에는 위반율(상위 10개 중 조건을 어긴 글의 비율)을 따로 셉니다.

3부. 결과: 질문이 바뀌면 이기는 도구가 바뀐다

표를 위에서부터 읽으면 이 시리즈의 전 편이 한 장에 들어 있습니다.

• 키워드 질문은 무엇을 써도 됩니다. BM25 0.980, 임베딩은 전부 1.000. 여기에 Jev를 붙여도 더 오를 곳이 없습니다. 이 가족에서 Jev 호출은 그대로 낭비입니다.
• 의미 질문은 임베딩의 자리입니다. BM25 0.519, 8B 0.860, 하이브리드 0.875. Jev 재정렬로 0.924~0.938까지 오릅니다(6편과 같은 결과). BM25 상위 30개를 Jev에 줘도 0.697에 그칩니다. 단어가 안 겹치는 정답은 BM25 후보에 애초에 없기 때문입니다.
• 제외·두 주제·날짜 질문에서 판이 바뀝니다. Jev 없는 여섯 전략이 모두 0.20~0.51에 몰려 있습니다. 이 세 가족이 이 글의 본론입니다.

'빼고'를 못 읽는 검색

크게 보기

제외 조건 17개에서 Jev 없는 전략의 nDCG@10은 0.199~0.245였습니다. 위반율을 보면 이유가 보입니다.

"쿠버네티스는 빼고 도커만 다룬 글"이라고 물으면, 임베딩은 상위 10개의 절반을 쿠버네티스 글로 채웁니다. 실제로 8B의 1~3위는 '쿠버네티스 첫걸음' 1·4·2편이었습니다. 질문에 '쿠버네티스'라는 단어가 들어 있으니, '무엇에 관한 문장인가'를 재는 자에게 이 질문은 쿠버네티스에 관한 질문입니다. BM25도 같습니다. 단어를 세는 도구에게 '빼고'는 그냥 흔한 단어 하나입니다.

이것은 우리만의 관찰이 아닙니다. Weller 등의 NevIR(EACL 2024)은 부정 하나만 다른 문서 쌍에서 최신 검색 모델 대부분이 무작위 순위와 같거나 못하다는 것을 보였고(7편), Zhang 등의 ExcluIR(AAAI 2025)은 '무엇을 원하지 않는지'를 말하는 제외 질문 3,452개로 벤치마크를 만들어 구조가 다른 검색 모델들이 모두 이런 질문을 제대로 이해하지 못한다고 보고했습니다. 7편에서 본 '아니다를 못 읽는' 문제가 검색 단계에서 그대로 나타난 것입니다.

Jev를 붙이면 nDCG가 0.63으로 세 배가 되고 위반율이 19%로 떨어집니다. 아래에서 질문을 바꿔 가며 직접 보세요.

두 가지를 더 눈여겨볼 만합니다.

첫째, 여기서는 BM25 → Jev가 임베딩 → Jev만큼 좋습니다(제외 0.623 대 0.593, 두 주제 0.643 대 0.639). 조건 질문의 주제어('RAG', '도커', 'Git')는 문서에 글자 그대로 나오기 때문에 BM25의 후보만으로도 Jev가 고를 거리가 충분합니다. 의미 질문에서 BM25 → Jev가 0.697에 그친 것과 대조적입니다. 벡터 DB 없이 BM25와 Jev만으로 시작해도 되는 영역이 있다는 뜻이고, 그 영역은 '질문의 주제어가 문서에 글자로 있는' 곳입니다.

둘째, Jev도 19%는 놓칩니다. 남은 위반의 상당수는 경계선 글입니다. '에이전트 얘기가 없는 Git 글'에서 요약에 에이전트가 한 번 스치듯 나오는 글, '지식 그래프 얘기는 빼고 RAG만'에서 GraphRAG를 한 줄 언급한 글. 필자의 정답 기준(태그 또는 요약에 용어가 있으면 해당)이 Jev보다 엄격한 경우도 섞여 있습니다.

두 주제를 함께: 겉보기엔 평범한 질문

'AWS 보안 글', 'Claude Code에서 MCP를 쓰는 글' 같은 질문은 제외 질문처럼 눈에 띄는 표지가 없습니다. 임베딩은 0.47~0.50으로, 두 주제 중 하나만 다룬 글을 섞어 옵니다. Jev가 후보 40개를 보면 0.625로 오르지만, 10개만 보면 0.502입니다. 두 조건을 모두 만족하는 글이 임베딩의 상위 10개 밖에 있는 경우가 많아서입니다. 이 가족은 5부의 설계안에서도 약점으로 남습니다.

'4월에 올라온'은 누구의 일인가

크게 보기

날짜·카테고리 질문 20개의 결과가 이 글에서 가장 가르쳐 주는 것이 많습니다.

세 가지가 보입니다.

하나, 임베딩은 날짜를 모릅니다. 당연합니다. 작성일은 본문에 없으니까요. 그래서 흔히 쓰는 요령이 메타데이터를 본문 앞에 붙여서 임베딩하는 것입니다. 해 봤습니다. '[2026년 4월 · 기술] 제목…'으로 589건을 다시 임베딩하자 0.355가 0.395가 됐습니다. 위반율은 65%에서 61%. 거의 효과가 없습니다. 임베딩에게 '2026년 4월'과 '2026년 2월'은 거의 같은 뜻이고, 문서 본문의 수백 자에 비하면 앞에 붙은 몇 글자는 벡터를 움직이지 못합니다.

둘, Jev는 날짜를 완벽하게 읽습니다. Jev 문서는 날짜와 산술을 약점으로 꼽지만, 날짜 조건 판정은 약점이 아니었습니다. 날짜 질문의 주제 글을 따로 모아 "이 문서가 '2026년 4월에 작성됨'(또는 '8월 이후', '2026년 이전', '카테고리가 튜토리얼') 조건을 만족하나"를 물었더니 807쌍 전부를 맞혔습니다(AUROC 1.000). 7편에서 본 것과 같은 결론입니다. Jev가 약한 것은 계산이지, 적힌 값을 비교하는 일이 아닙니다.

셋, 그런데도 Jev는 코드에 졌습니다. 판정이 완벽한데 왜 0.708일까요? '2026년 4월에 올라온 RAG 글'의 정답은 13건인데, 'RAG'로 찾은 하이브리드 상위 40개에 4월 글이 다 들어오지 않습니다. RAG 글이 51건이나 되니까요. 심판은 눈앞에 온 서류만 판정할 수 있습니다. 코드는 589건의 작성일을 1밀리초 안에 전부 훑어 4월 글만 남기고, 그 안에서 하이브리드가 RAG 글을 고릅니다. 여기에 Jev를 한 번 더 얹으면(상위 20개의 주제 판정) 0.876으로 이 가족의 최고점이 됩니다.

다만 코드 필터에는 함정이 있습니다. 의미 질문 중 하나인 "인공지능에 대한 개발자의 서운한 반응을 다룬 2026년 특집"에서 코드 필터는 '2026년'과 '특집'을 조건으로 읽고 카테고리가 '특집'인 글만 남겼습니다. 그런데 정답 글(「코딩을 사랑한 사람의 슬픔」)은 카테고리가 '인사이트'였습니다. 질문한 사람은 '특집'을 '공들인 긴 글'이라는 뜻으로 썼을 뿐입니다. 결과는 nDCG 0.000. 코드는 틀림없이 빠르지만, 사용자의 말과 분류 체계가 어긋나면 통째로 놓칩니다. Jev라면 0.3쯤의 확률로 '애매하다'고 말했을 자리입니다.

크게 보기

그래서 실무에서는 코드 필터를 두 등급으로 나누는 것이 좋습니다. 날짜처럼 사용자의 말과 필드 값이 일대일로 대응하는 조건은 하드 필터로, 카테고리처럼 사용자가 느슨하게 쓸 수 있는 조건은 소프트 필터(필터 결과를 앞에, 나머지를 뒤에 붙이거나, Jev에 판정을 맡기기)로.

4부. 교통정리: 질문을 어느 길로 보낼 것인가

크게 보기

질문마다 이기는 도구가 다르다면, 질문을 보고 길을 골라 주는 라우터가 필요합니다. 두 가지를 만들었습니다.

• 정규식 라우터. N년 N월, N년 이전, 카테고리 이름이 있으면 날짜 경로, '빼고·말고·없는·없이·아닌·무관한'이 있으면 조건 경로, 조사·어미가 없고 영문 비율이 높으면 키워드 경로, 나머지는 의미 경로. 스무 줄 남짓입니다.
• Jev 라우터. 질문만 상태에 넣고 Choice로 "이 질문을 처리하기에 알맞은 방식은? 키워드·의미·조건·날짜"를 한 번 묻습니다. Jev가 광고하는 쓰임새('똑똑한 if 문')에 정확히 해당합니다.

정규식이 이겼습니다. 네 경로를 똑같이 두고(날짜 경로는 코드 필터 → Jev) 라우터만 바꿔 쟀더니, 의도한 경로로 보낸 비율이 정규식 85.8%, Jev 79.9%였고 전체 nDCG는 0.846 대 0.817이었습니다. Jev의 틀린 배정 27건 중 대부분은 풀어 쓴 의미 질문(예: "컨테이너 처음 배우는 사람이 알아야 할 용어 정리")과 두 주제 질문(예: "AWS 보안 글")을 키워드로 본 것입니다. 의미 질문이 키워드 경로(BM25)로 가면 점수가 0.9에서 0.5로 떨어지니 한 번의 오판이 비쌉니다.

그렇다고 Jev 라우터가 쓸모없는 것은 아닙니다. 틀린 배정일수록 confidence가 낮았습니다(틀린 것 중앙값 0.51, 맞은 것 0.89). "confidence가 0.7보다 낮으면 기본 경로(의미)로 보낸다"는 안전장치 하나로 0.817이 0.833이 되고, 배정 정확도는 86.6%로 정규식을 넘습니다. 확률을 돌려주는 모델의 장점이 여기서 드러납니다.

그런데 정확도가 더 높은데도 nDCG는 여전히 정규식이 높습니다(0.846 대 0.833). 틀리는 방향이 다르기 때문입니다. 정규식이 틀린 의미 질문은 "보상 모델 없이 언어 모델을 인간 취향에 맞추는 수학적 접근법"처럼 '없이'가 들어간 것들인데, 이 질문이 조건 경로(후보 40개 → Jev)로 가도 점수는 1.000 그대로입니다. 비용만 조금 더 들 뿐 손해가 없습니다. Jev가 틀린 질문은 풀어 쓴 질문을 키워드 경로로 보낸 것이라 0.9가 0.5로 떨어집니다. 라우터를 평가할 때는 정확도보다 '틀렸을 때 얼마나 비싼가'를 봐야 합니다. 가장 안전한 설계는 틀려도 싼 쪽, 즉 애매하면 더 비싸고 넓은 경로로 보내는 것입니다.

정규식이 이긴 이유는 단순합니다. 이 실험의 라우팅 신호('빼고', '4월', '튜토리얼')가 전부 글자에 있기 때문입니다. 글자로 판별되는 것은 글자를 보는 도구에 맡기는 것이 맞고, 이것도 적재적소입니다. 다만 한계 절에 적었듯이 정규식과 질문을 같은 사람(필자)이 만들었으므로 이 비교는 정규식에 유리하게 기울어 있습니다. 실제 사용자는 필자가 예상하지 못한 방식으로 조건을 말합니다. 그때 Jev 라우터의 confidence가 '모르겠다'고 말해 주는 것은 정규식에 없는 장점입니다.

5부. 조립: 제자리에 둔 파이프라인

지금까지의 관찰을 한 파이프라인으로 모으면 이렇습니다.

크게 보기

결과입니다.

설계안은 '모든 질문에 Jev 40개'보다 점수가 조금 높고(0.847 대 0.843) Jev 호출은 40%입니다. 경량판은 37%입니다. 점수가 거의 같은데 호출이 절반 이하라는 것은, Jev를 부른 호출의 상당수가 원래 아무 일도 하지 않고 있었다는 뜻입니다. 키워드 질문의 후보 40개, 의미 질문의 11~40위 후보, 날짜 질문에서 엉뚱한 달의 후보들.

오라클과의 차이 0.016은 거의 전부 '두 주제 함께' 가족에서 나옵니다. 이 질문들은 표지가 없어서 설계안이 의미 경로(후보 10개)로 보내고, 그러면 0.502에 머뭅니다. 후보 40개를 보면 0.625입니다. '와/과 함께', '에서 ~를 쓰는' 같은 표지를 정규식에 넣을 수도 있지만, 그러면 평범한 의미 질문까지 40개 경로로 가서 비용이 오릅니다. 이 가족을 어떻게 다룰지가 다음 실험의 숙제입니다.

아래에서 가족마다 경로를 바꿔 보며 직접 조립해 보세요. 이 계산기는 질문의 종류를 정확히 안다고 가정합니다. 그래서 설계안의 경로 배치를 그대로 넣으면 0.847이 아니라 0.852가 나옵니다. 그 차이 0.005가 정규식 라우터가 길을 잘못 든 값입니다.

비용은 문제가 아니었다, 그런데 왜 아끼나

질문 1만 건에 11달러와 4달러. 둘 다 싸니까 그냥 전부 Jev에 맡겨도 되지 않을까요? 세 가지 이유로 아낄 가치가 있습니다.

• 지연. Jev 호출 40개를 병렬로 보내면 0.3초 안팎이지만, API의 분당 요청 한도(문서상 1,200rpm, 유동적)를 질문 하나가 40개씩 쓰면 분당 질문 30개가 한계입니다. 16개씩 쓰면 75개, 두 배 반을 받습니다.
• 점수. 날짜 질문에서 'Jev 40개'는 코드 필터보다 점수가 낮았습니다. 비용을 더 들인 쪽이 더 나쁜 경우가 있다는 것이 이 실험의 요점입니다.
• 설명 가능성. "4월 글만 남겼다"는 코드의 결정은 누구나 검증할 수 있습니다. 확률 모델에 맡길 이유가 없는 결정은 맡기지 않는 편이 운영이 편합니다.

6부. 실무 체크리스트

크게 보기

7부. 한계

• 질문과 정규식을 같은 사람이 만들었습니다. 제외 질문의 표현('빼고', '없는', '아닌', '무관한')과 라우터의 정규식을 필자가 함께 썼으므로 정규식 라우터와 설계안에 유리합니다. 실제 사용자는 "도커 위주로, 쿠버네티스 말고"처럼 예상 밖의 형태로 말합니다. Jev 라우터는 아무런 조정 없이 한 번에 돌린 결과입니다.
• 정답은 태그와 용어 목록으로 정했습니다. '주제 X에 해당한다'의 기준이 필자의 태그와 정규식 용어 목록이라, 경계선 글에서 정답 기준과 Jev의 판단이 어긋날 수 있습니다. 제외 질문에서 Jev의 남은 위반 19% 중 일부는 이 경계선 글입니다.
• 코퍼스가 작습니다. 589건에서는 코드 필터가 전수를 훑는 비용이 0이고, 하이브리드 상위 40개가 코퍼스의 7%입니다. 문서가 수백만 건이면 코드 필터는 인덱스(벡터 DB의 메타데이터 필터)로 옮겨야 하고, 후보 40개가 차지하는 비율이 훨씬 작아져 '후보가 병목'이라는 결론은 더 강해집니다.
• '두 주제 함께' 가족은 풀지 못했습니다. 설계안이 가장 크게 지는 곳입니다. 표지 없는 복합 조건을 싸게 알아내는 방법은 이 실험에 없습니다.
• Jev는 jev-latest(1.13), 2026년 9월 말 기준입니다. 임베딩 문서 벡터는 1편에서 만든 것을 그대로 썼고, 질문과 메타데이터 삽입 변형만 새로 임베딩했습니다.

출처

• Orion Weller, Dawn Lawrie, Benjamin Van Durme, "NevIR: Negation in Neural Information Retrieval", EACL 2024, arXiv:2305.07614
• Wenhao Zhang, Mengqi Zhang, Shiguang Wu, Jiahuan Pei, Zhaochun Ren, Maarten de Rijke, "ExcluIR: Exclusionary Neural Information Retrieval", AAAI 2025, arXiv:2404.17288 — 수작업 제외 질문 3,452개 평가셋, "구조가 다른 기존 검색 모델들이 제외 질문을 제대로 이해하지 못한다"
• LangChain, "How to do self-querying retrieval" — LLM으로 자연어 질문을 메타데이터 필터가 붙은 구조화 질의로 바꾸는 패턴
• Gordon V. Cormack, Charles L. A. Clarke, Stefan Büttcher, "Reciprocal Rank Fusion outperforms Condorcet and individual Rank Learning Methods", SIGIR 2009 — RRF(k=60), 2편
• TypeSafe AI 문서: 소개 · 모델 제원(jev-1.13, 입력 100만 토큰당 $0.042, 출력 무료, 1,200rpm 유동적) · Noul/Choice 프리미티브
• 임베딩: Ollama qwen3-embedding:8b(검색 지시문 접두사), bge-m3 · BM25: rank_bm25 + Kiwi 내용어 토큰(5편)
• 이 실험의 수치: Jev 호출 9,521회, 입력 6.28M 토큰, 약 $0.26, 호출당 중위 0.26초·95% 0.32초(8 병렬). 질문 134개와 전략별 상위 10개는 위 탐색기 위젯에 전부 들어 있습니다

이 시리즈

• 1편: 한국어 임베딩 모델, 우리 문서로 직접 재봤다
• 2편: 키워드와 의미, 둘 다 쓴다 — BM25·벡터·RRF·리랭커
• 3편: 마트료시카 임베딩
• 4편: 4096차원에 HNSW가 필요한 이유
• 5편: BM25는 한국어를 어떻게 쪼개나
• 6편: 임베딩 다섯과 판정 모델 하나 — TypeSafe Jev를 세워 보다
• 7편: 임베딩은 '아니다'를 못 읽는다 — Jev를 RAG 환각 검문소에 세우다

함께 읽으면 좋은 코어닷투데이 글

• 글자를 포기한 모델 — TypeSafe의 Jev와 '시스템 원' 완전 해부
• RAG 특집 3편: 동적 라우팅
• RAG 특집 총정리: 2026년 9월 RAG 스택 선택 기준