충분한 컨텍스트 (Sufficient Context)

무엇인가

「Sufficient Context: A New Lens on Retrieval Augmented Generation Systems」는 Google Research 등 연구진(Hailey Joren 외 6명)이 ICLR 2025에서 발표한 논문입니다. 질문은 하나입니다.

"성실한 독자가 오직 주어진 컨텍스트만으로 질문에 답할 수 있는가?"

"예"면 그 컨텍스트는 충분하고, "아니오"면 불충분합니다. 지금까지 검색은 문서가 질문과 관련 있는지만 따졌습니다. 그런데 "404 오류 코드는 어느 실험실의 방 번호에서 왔나?"라는 질문에 404 오류의 원인을 자세히 설명한 문서는 관련성은 높지만 답(CERN)이 없습니다. 모델은 이때 "모르겠다" 대신 그럴듯한 답을 지어냅니다.

이 판정은 정답 없이 할 수 있습니다. 프로덕션에서는 사용자가 무엇을 물을지 미리 모르므로 정답 레이블도 없습니다. 그래서 운영 중인 RAG에 바로 붙일 수 있는 신호가 됩니다.

어떻게 동작하나

멀티홉은 허용하지만 비약은 허용하지 않습니다. "밥의 어머니는 뉴욕에서 태어났다"만으로 "밥이 뉴욕에서 태어났다"고 답할 수는 없습니다. 두 신호를 합치는 이유도 분명합니다. 확신이 높아도 컨텍스트가 불충분하면 환각일 수 있고, 반대로 불충분한 컨텍스트에서도 모델이 사전학습 지식으로 맞히는 경우(HotPotQA에서 35~62%)가 있어 무조건 거부하면 손해이기 때문입니다.

빠른 시작

논문의 공식 페이지는 결과와 예시만 공개하고 실행 코드는 두지 않았습니다. 기존 파이프라인에 넣는 순서는 논문과 코어닷투데이 글이 정리한 세 가지 전략 그대로입니다.

Google은 이 판정을 Vertex AI RAG Engine의 LLM Re-Ranker와 Gemini Enterprise Agentic RAG의 충분성 검증 에이전트로 제품에 넣었습니다.

언제 쓰고, 언제 피하나

불충분한 컨텍스트를 받으면 모델이 오히려 더 틀립니다. 논문의 가장 놀라운 결과입니다.

Gemma 2 27B는 MuSiQue에서 컨텍스트가 없을 때 오답률 10.2%였다가 불충분한 컨텍스트를 받자 66.1%가 됐습니다. 그리고 자동 검색으로 가져온 컨텍스트는 생각보다 자주 불충분합니다(6,000토큰 기준 FreshQA 77.4%, HotPotQA 46.2%, MuSiQue 44.6%만 충분). 6,000에서 10,000토큰으로 늘려도 충분 비율은 그대로였습니다.

• 잘 맞는다: 틀린 답이 "모르겠다"보다 훨씬 비싼 업무 — 사내 수치 질의, 정책·약관 안내, 의료·법률. 소형 모델일수록 이득이 컸다(Gemma 2 27B 최대 +10%p).
• 다른 방법을 먼저 본다: 답이 여러 문서에 흩어진 결정형 질문. 문서 하나씩의 충분성으로는 "자격·예외·마감 변경이 모두 모였나"를 잴 수 없다. 이때는 아래의 집합 단위 충분성으로 간다.

한계와 주의

• 파인튜닝으로는 잘 안 고쳐진다. Mistral 7B에 "모르겠다" 예시를 20% 섞어 학습해도 거부율은 1~2%에 그치고 환각률은 기준(59.4%)보다 높아졌다(74.8~75.8%). 추론 단계의 장치가 필요하다.
• 판정은 이진이다. "80% 충분하지만 세부 하나 누락"과 "완전히 무관"을 구분하지 못한다. 연속 점수화는 후속 과제로 남았다.
• 판정 모델 비용과 오류. 질의마다 LLM 판정이 한 번 더 든다. 판정 정확도 93%는 115쌍 기준이고, 판정이 틀리면 거부도 틀린다.
• 문서 하나가 아니라 집합이다. 2026년 9월 「The Missing Complement」는 이를 확장해, 관련성은 문단마다 매기지만 충분성은 집합에 속한다고 정의했다. Recall@5가 1.0이어도 필요한 증거 그룹은 3개 중 1개만 있을 수 있다. 결정별 필수 그룹을 주석하고 Complete-set@k를 함께 잰다.
• 실험 모델은 Gemini 1.5·GPT-4o·Claude 3.5 Sonnet·Gemma 2·Mistral 7B 등 2024년 세대다. 최신 모델에서 거부 성향은 다시 재야 한다.