무엇인가
JAM(Just-In-Time Agent Memory)은 2026년 9월 28일 arXiv에 올라온 논문 「Just-In-Time Agent Memory with Runtime Agentic Research」(arXiv 2609.34385)의 기억 시스템입니다. BGE 임베딩으로 알려진 베이징인공지능연구원(BAAI) Zheng Liu 팀과 베이징대·홍콩이공대 연구진이 썼습니다.
논문은 지금의 에이전트 기억 대부분을 AOT(Ahead-of-Time), 즉 질문이 오기 전에 기록을 요약·추출해 두는 방식으로 묶습니다. 빠르고 싸지만, 무엇이 나중에 중요할지 모르는 채로 디테일을 버립니다. 석 달 전 회의 요약에 "가격 협의함"만 남고 "1,240만 원, VAT 별도"가 사라지는 식입니다. JAM은 반대로 JIT(Just-In-Time)로 갑니다. 원본은 하나도 버리지 않고, 질문이 오면 그 질문만을 위한 맥락을 그때 짓습니다.
직계 조상은 같은 팀의 2025년 11월 GAM(General Agentic Memory, arXiv 2511.18423)이고, 논문이 링크하는 코드도 GAM 저장소입니다. JAM이 새로 더한 것은 계층형 폴더 작업공간과, Researcher를 학습시키는 데이터·강화학습입니다.
어떻게 동작하나
open(p)는 폴더 README와 목록을 읽고, search(κ)는 BM25 상위 5개와 BGE-M3 임베딩 상위 5개를 합치고, browse(p, κ)는 별도 모델이 파일을 읽어 질의와 관련된 부분만 돌려준다.탐색 습관은 학습으로 가르칩니다. 합성 데이터 파이프라인 Memory-Gym이 단일 홉·멀티 홉·요약 세 계열 아홉 종목, 여섯 도메인에서 후보 28,276개를 만들어 16,794개(59.4%)를 통과시켰습니다. 교사 모델(Qwen3.5-122B-A10B)의 궤적 중 답이 맞고 탐색도 좋았던 것만 남겨 SFT를 하고, 이어서 GRPO 강화학습을 합니다. 보상은 정답이 아니라 정답 근거 세션을 몇 개 찾았나(출처 재현율)이고, 근거를 하나도 못 찾아 학습 신호가 사라지는 어려운 문제에는 학습 중에만 "아직 안 가 본 방향" 수준의 힌트를 끼워 넣습니다.
결과는 Qwen3.5-4B 하나로 LoCoMo F1 52.09입니다. 같은 모델을 쓴 Mem0(32.10)·A-MEM(41.17)과 14B짜리 MemAgent(46.13)를 넘었고, 질문당 응답은 MemAgent 58.08초 대비 13.81초였습니다. LLM 판정으로 바꾸면 LoCoMo 79.16%입니다.
빠른 시작
학습된 Researcher와 학습 코드는 공개되지 않았습니다. 지금 돌려 볼 수 있는 것은 GAM 저장소의 런타임(폴더 계층·README·탐색 도구)입니다. PyPI의 gam은 이름만 같은 다른 패키지이니 소스에서 설치합니다.
git clone https://github.com/VectorSpaceLab/general-agentic-memory
cd general-agentic-memory
pip install -e ".[all]"
from gam import Workflow
wf = Workflow("text", gam_dir="./my_gam", model="gpt-4o-mini", api_key="sk-xxx")
wf.add(input_file="meeting_notes.txt") # 원본을 계층형 폴더 + 메모로 정리
result = wf.request("욕실 공사 최종 금액은?") # 질문이 오면 탐색해 답
print(result.answer)
설계 원칙만 가져다 써도 됩니다. 원본은 경로로 남기고, 폴더 열기(README 보기) 도구를 따로 주고, BM25와 임베딩을 함께 쓰고, 답에 출처 경로를 강제하는 것입니다.
언제 쓰고, 언제 피하나
| 조건 | JIT(JAM식)가 맞는다 | AOT·하이브리드가 맞는다 |
|---|---|---|
| 기록 | 길고 계속 자란다(계약 이력, 장기 프로젝트, 코딩 작업 기록) | 짧아서 통째로 넣어도 된다 |
| 질문 | 무엇을 물을지 예측할 수 없다 | "채식주의자" 같은 단순 선호를 반복해 쓴다 |
| 정확도 | 정확한 수치와 출처가 필요하다 | 대략의 맥락이면 충분하다 |
| 지연 | 몇 초~수십 초를 기다릴 수 있다 | 1초 안에 답해야 한다(음성 비서, 실시간 상담) |
어블레이션이 핵심을 보여 줍니다. Researcher(반복 탐색)를 빼면 HotpotQA 평균이 60.84에서 39.10으로 가장 크게 떨어집니다. JIT의 가치는 '원본 보존'보다 '질문에 맞춰 여러 번 찾기'에 있습니다. README 지도는 정확도보다 찾는 속도에 더 기여합니다. 같은 원본을 평평하게 쌓은 저장소와 비교하면 지도를 그리는 데 작업공간당 약 3만 7천 토큰이 한 번 들고, 그 대가로 질문당 토큰이 18%, 시간이 19% 줄며 LoCoMo F1이 3점 오릅니다.
한계와 주의
- 느리다. 질문당 13.81초로, 0.2~0.5초면 답하는 AOT 시스템의 수십 배다. browse 추출 모델과 답변 모델이 따로 돈다는 점도 비용에 넣어야 한다.
- 아직 재현할 수 없다. Memory-Gym 파이프라인, SFT·힌트 GRPO 코드, 학습된 체크포인트가 없다. GAM 저장소의 마지막 푸시는 2026년 3월 14일이고, README는 MIT라고 적지만 저장소에 LICENSE 파일은 없다.
- 비교 조건을 본다. AOT 시스템들도 Qwen3.5-4B로 돌렸는데, 원래 더 큰 모델이 추출하도록 설계된 시스템이다. Memory-R1은 원논문 수치를 옮겼다.
- 재현율 보상에는 정밀도가 없다. 관계없는 세션을 많이 모아도 감점이 없다.
- 원본 보관은 책임이다. 옛 정보와 저장된 프롬프트 인젝션도 그대로 남고, 삭제 요청이 오면 원본 → 메모 → README까지 따라가 지워야 한다.
- 이름이 비슷한 다른 연구가 있다. 닷새 앞선 JitMem(arXiv 2609.27334)은 다른 팀의 궤적 기억 연구이고, 비교 대상 MemAgent(arXiv 2507.02259)는 2609.32521의 기억 라우팅 MemAgent와 다른 논문이다.
