#근사 최근접 이웃
2개의 포스트

질문을 미리 배운 검색 — 애플 '상각 MIPS'가 RAG 검색을 빠르게 만드는 법, 지지 함수부터 한국어 실측까지
애플 머신러닝 연구팀이 2026년 11월 5일 「Faster Retrieval for Better, More Efficient RAG」를 올렸습니다. RAG의 맨 밑바닥에서 돌아가는 '최대 내적 검색(MIPS)'을, 색인을 더 잘 짓는 대신 '들어올 질문을 미리 배우는' 신경망으로 빠르게 하자는 제안입니다. 핵심은 볼록 해석의 오래된 도구인 지지 함수입니다. 문서 집합에 대한 최고 점수는 질문의 볼록 함수이고, 그 기울기가 곧 정답 문서입니다. 그래서 점수를 배우는 SupportNet은 방(클러스터) 고르기에, 정답 위치를 바로 배우는 KeyNet은 질문 고쳐 쓰기에 씁니다. Natural Questions 260만 문단에서 같은 품질을 1.9배·8배 빠르게 냈다는 결과입니다. 이 글은 50년 근사 검색의 역사에서 이 아이디어가 왜 나왔는지, 논문 그림과 수식을 하나씩 풀고, 연산량으로 다시 셈한 비용, 공개 코드의 시험셋 구성, 생성 질의라는 데이터의 성격까지 따져 봅니다. 그리고 KorQuAD 6만 질문·2만 8천 문단과 KURE-v3로 KeyNet과 라우터를 직접 학습해 쟀습니다. 논문 방식의 시험(학습 질문의 잡음 복제본)에서는 방 하나로 정답 방을 고르는 비율이 46.7%에서 KeyNet 60.0~69.8%, 라우터 76.7%로 뛰었지만, 같은 시험에서 '가장 비슷한 학습 질문의 답 베끼기'가 96.3%였습니다. 처음 보는 질문에서는 KeyNet의 이득이 1~5%포인트로 줄고 라우터는 12%포인트를 지켰으며, 처음 보는 문서의 질문에서는 KeyNet이 8~10%포인트 손해를 봤습니다. 인터랙티브 7개, 삽화 12장.

4096차원에 HNSW가 필요한 이유 — 전수 비교의 벽, 차원의 저주, 그리고 그래프를 걸어서 찾는 법 (한국어 검색 스택 4편)
1편에서 가장 좋았던 Qwen3-Embedding-8B는 문장 하나를 4,096개 숫자로 바꿉니다. 문서 589건이면 질문 하나에 589번 내적하면 되니 1초도 안 걸립니다. 그런데 문서가 5,000만 건이면? 같은 방식으로는 질문 하나에 2,000억 번 곱셈이고, 서버가 아무리 좋아도 초 단위입니다. 벡터 DB가 HNSW라는 인덱스를 쓰는 이유가 여기 있습니다. 이 글은 왜 고차원에서는 트리 인덱스가 소용없는지(차원의 저주), HNSW가 어떻게 스킵 리스트와 작은 세상 그래프를 합쳐 로그 시간에 근사 최근접을 찾는지, M·ef_construction·ef_search 세 손잡이가 무엇을 바꾸는지를 그림과 장난감 시뮬레이터로 풀고, 4,096차원 벡터 1만·10만·30만 개로 전수 비교와 hnswlib을 직접 재서 비교합니다. 10만 개에서 전수 비교 56ms 대 HNSW 1.3ms(재현율 0.98). 그리고 4,096차원의 진짜 병목은 그래프가 아니라 벡터 자체라는 것, 그래서 3편의 마트료시카 절단과 양자화가 HNSW와 곱해진다는 것을 메모리 계산기로 보입니다. 인터랙티브 4개와 삽화 8장.