#LongMemEval
12개의 포스트

검색에서 재구성으로 — '누가 그렇게 말했는지' 기억하는 AI, CogMem과 PEC²F 기억 그래프
"지나는 준호가 잘린 게 회사 실수래"라는 말을 들은 AI가 몇 주 뒤 "준호는 회사 실수로 잘렸어요"라고 답한다면, 기억은 있었지만 출처를 잃은 것입니다. 칭화대 선전 국제대학원의 CogMem(arXiv 2610.11314)은 대화 기억을 사람·사건·개념·주장·사실 다섯 종류의 노드로 나누고, 남의 의견은 '누가, 누구에 대해' 한 말인지가 붙은 주장 노드로 따로 보관합니다. 질문이 오면 규칙 기반 제어기가 닻 내리기·교집합·시공간 탐색·원문 확인 네 연산자를 골라 답을 다시 짓습니다. 바틀릿의 '재구성 기억'과 툴빙의 일화·의미 기억, 출처 감시 이론, 샐리-앤 실험, 상보적 학습 이론에서 이 설계가 어디서 왔는지 따라갔습니다. 논문 표를 원 논문들과 대조해 보니 기준선 숫자 상당수가 GAM·LightMem 논문의 표를 그대로 옮긴 것이었고, LongMemEval의 'Qwen2.5-14B' 열은 실제로는 Qwen3-30B 결과였습니다. 한국어로 직접 재 보니 논문식 문장 쌍은 유사도 0.824에도 오귀속이 0건이었지만, 실제 대화 저장 형식에서는 최대 48%가 남의 의견을 집어 왔습니다. 인터랙티브 7개.
![[특집] 기억의 기억 — 바뀐 사실은 지우지 말고 '밀어내라'. AI 에이전트 기억 MoM·P-Mem 완전 해설](/_next/image?url=https%3A%2F%2Ffiles.core.today%2Fstorage%2Fcoredot%2Fpublic%2Fblog%2Fmom-cover.webp&w=3840&q=75)
[특집] 기억의 기억 — 바뀐 사실은 지우지 말고 '밀어내라'. AI 에이전트 기억 MoM·P-Mem 완전 해설
AI 비서에게 "5K 기록은 27:12"라고 말하고, 몇 달 뒤 "25:50으로 깼다!"고 자랑했다. 그런데 "내 최고 기록이 뭐였지?"라고 묻자 27:12라고 답한다. 싱가포르국립대의 2026년 9월 논문 「MoM: Memory of Memory」는 이 실패의 뿌리를 두 질문으로 정리한다. 현재 값을 언제 정하는가(들어올 때냐, 물을 때냐), 그리고 밀려난 값을 남기는가(남기느냐, 지우느냐)다. RAG 같은 아카이브는 물을 때 정하고 다 남긴다. 그래서 낡은 값이 다시 끼어든다. Mem0 같은 CRUD 기억은 들어올 때 정하지만 지운다. 그래서 잘못 고친 값을 되돌릴 수 없다. 논문은 비어 있던 칸, 즉 '들어올 때 확정하되 밀려난 값은 출처로 남긴다'를 고른다. 그 구현인 P-Mem은 수락·이의·기각·철회·해결·지지의 여섯 연산으로 버전을 옮기고, 간선을 따라 되돌린다. 결과는 정직하다. 정확도는 가장 강한 검색 기억과 비슷하지만(52.6% 대 50.8%), 읽는 토큰은 약 4분의 1이다. 낡은 답은 19.4%에서 10.9%로 줄었다. 수정이 여덟 번 쌓이면 물을 때 다시 꿰는 방식은 25%로 무너지지만 쓸 때 확정한 칸은 100%를 지킨다. 착오를 철회하면 100%를 되살리는데 CRUD는 0%다. 회계 장부의 역분개와 등기부의 '말소사항'부터 시간 데이터베이스, 이벤트 소싱, 2026년의 ChatGPT 'Dreaming'까지 이 생각의 계보를 따라가고, 논문의 그림과 표를 하나씩 읽는다. 논문의 실험 세 가지는 한국어로 다시 만들어 로컬 Qwen 4B로 직접 돌렸다. 수정이 여덟 번 쌓이자 질문 때 다시 꿰는 방식은 22.5%, 쓸 때 확정은 100%였고, 9B로 키워도 25%였다. 철회 복구는 보존 여부 하나로 100% 대 0%로 갈렸다. 다만 4B 주석기가 여섯 연산을 완벽히 고른 것은 예시를 넣은 지시문 덕분이었다. 예시를 빼자 '해결' 연산을 40건 중 1건만 골랐다. 인터랙티브 위젯 7개.
![[특집] 영수증 있는 기억 — SodaMem으로 읽는 AI 에이전트의 '지금 참인 것': 출처·시간·대체, 그리고 92.8%의 뒷면](/_next/image?url=https%3A%2F%2Ffiles.core.today%2Fstorage%2Fcoredot%2Fpublic%2Fblog%2Fsdm-cover.webp&w=3840&q=75)
[특집] 영수증 있는 기억 — SodaMem으로 읽는 AI 에이전트의 '지금 참인 것': 출처·시간·대체, 그리고 92.8%의 뒷면
AI 비서가 '매운 음식 좋아하시죠?'라며 위염 환자에게 마라탕을 권한다면, 기억을 못 해서가 아니라 무엇이 지금 참인지 몰라서입니다. 2026년 8월 공개된 SodaMem은 대화에서 뽑은 사실마다 원문 영수증(출처 조각)을 붙이고, 네 개의 시계로 시간을 적고, 바뀐 사실은 지우지 않고 닫습니다. 그래프·BM25·임베딩 세 터널에서 함께 걸린 증거를 위로 올리고, 플래너가 모은 증거로 리더가 인용을 달아 답합니다. LongMemEval-S에서 92.8%, 문항당 0.16센트라는 숫자도 냈습니다. 바틀릿의 재구성 기억과 파치올리의 장부에서 시작해 이중 시간 데이터베이스, 진리 유지 시스템, BM25와 RRF, MemGPT·Mem0·Zep으로 이어지는 계보를 따라가며 논문의 개념을 하나씩 풀었습니다. 코어닷투데이는 공개된 답안 500개를 다른 모델로 다시 채점했고(88.6%, 직접 판정하면 약 90%), 같은 검색 결과를 작은 모델에 읽혔고, 코드를 열어 논문과 다른 세 곳을 찾았습니다. 92.8%를 낸 저장소는 대체를 '관찰만' 하는 모드였고, 공개 코드의 BM25는 한글을 한 글자도 토큰으로 만들지 못합니다. 작은 모델로 같은 시나리오를 넣어 보니 옛 주소는 닫히지 않았고, 영어 대화에서는 위염 환자에게 매운 김치찌개를 권했습니다. 인터랙티브 7개.
![[특집] 낡거나, 남의 것이거나, 늦거나 — AI 비서의 기억은 답을 쓰기 전에 무너진다](/_next/image?url=https%3A%2F%2Ffiles.core.today%2Fstorage%2Fcoredot%2Fpublic%2Fblog%2Fsml-cover.webp&w=3840&q=75)
[특집] 낡거나, 남의 것이거나, 늦거나 — AI 비서의 기억은 답을 쓰기 전에 무너진다
AI 비서의 기억은 보통 최종 답이 맞았는지로 채점한다. UC 버클리 연구진의 2026년 10월 논문 「Stale, Misattributed, or Late」는 채점 지점을 한 칸 앞으로 당겨, 모델에 들어가기 직전의 '기억 블록'이 낡은 값을 담았는지, 같은 이름의 다른 사람 값을 담았는지, 답이 없는데 무언가를 채웠는지, 프리필 전에 도착했는지를 따로 센다. 결론은 단순하다. 낡음은 검색이 아니라 쓰기의 문제이고, 진짜 어려운 일은 개정을 올바른 칸에 묶는 '키 붙이기'이며, 동명이인·기권·지연은 각각 다른 정보가 필요하다. 1959년 레코드 연결과 1985년 '유효 시간 대 기록 시간'에서 시작해 BM25·RCU·John Smith 문제를 거쳐 2026년 기억 제품까지 계보를 따라가고, 표와 그림을 하나씩 읽는다. 같은 실험을 한국어로 다시 만들어 로컬 Qwen 모델로 돌려 봤더니 저장소 구조에서 나오는 결과는 대부분 재현됐고, 'LLM 키 할당기가 규칙보다 나쁘다'는 모델 의존적인 결과는 재현되지 않았다.
![[특집] 옛 주소로 기차표를 끊는 AI — '기억 갱신 격차'를 재고, 훈련으로 줄인 Supersede 완전 해부](/_next/image?url=https%3A%2F%2Ffiles.core.today%2Fstorage%2Fcoredot%2Fpublic%2Fblog%2Fsup-cover.webp&w=3840&q=75)
[특집] 옛 주소로 기차표를 끊는 AI — '기억 갱신 격차'를 재고, 훈련으로 줄인 Supersede 완전 해부
"저 부산으로 이사했어요"라고 말해 두었는데, 몇 주 뒤 AI 비서가 대구행 기차표를 끊는다. 2026년 6월 arXiv 논문 「Supersede」는 이 실패를 '기억 갱신 격차'라고 부르고, 네 가지 질문으로 파고든다. 실패는 정말 있나? 더 큰 모델이면 풀리나? 더 큰 메모장이면 풀리나? 훈련하면 줄어드나? 답은 있다, 아니다, 아니다, 그렇다. 300자 메모장만 쥔 gpt-5.4는 전체 대화를 다 본 자신보다 15점 낮았고, 대화가 24배 길어지자 정답률은 68%에서 28%로 무너졌으며, 메모장을 24배로 늘려 줘도 28%였다. 마지막으로 3B 모델을 GRPO로 훈련해 9.0%를 16.7%로 끌어올렸다. 1957년의 순행 간섭 실험부터 데이터베이스의 UPDATE, 2026년의 'ChatGPT Dreaming'까지 이 문제가 어디서 왔는지 따라가고, 논문의 그림과 표를 하나씩 읽는다. 같은 데이터와 같은 프롬프트로 공개 모델(Qwen 3.5 9B)에서 실험을 직접 재현해 25.6점의 격차를 확인했고, 메모를 요약 대신 '주제: 값' 장부로 쓰게 하는 지시문 하나로 그 격차가 11.5점까지 줄어드는 것도 보았다. 하지만 그 장부도 대화가 48세션으로 길어지자 88%에서 8%로 무너졌다. 그리고 논문의 문자열 채점기가 옛 값 '7:00 pm'을 정답으로 처리한다는 것도 찾아냈다.
![[특집] 기억은 하는데 지금을 모른다 — AI 에이전트의 '상태 표류'와 StateMem 완전 해부](/_next/image?url=https%3A%2F%2Ffiles.core.today%2Fstorage%2Fcoredot%2Fpublic%2Fblog%2Fstm-hero.webp&w=3840&q=75)
[특집] 기억은 하는데 지금을 모른다 — AI 에이전트의 '상태 표류'와 StateMem 완전 해부
에이전트가 며칠씩 일하게 되면서 '기억했는가'보다 '지금 무엇이 참인가'가 중요해졌다. UIUC 연구진의 2026년 8월 논문은 이것을 상태 추적이라 부르고, 사실은 맥락 안에 있는데 낡은 값으로 행동하는 실패를 '상태 표류'로 정의했다. 1969년 프레임 문제와 1979년 진리 유지 시스템·VisiCalc에서 시작해 대화 상태 추적, MemGPT·Mem0·Zep까지 이어지는 계보를 따라가고, 함정 234개짜리 StateMemBench가 어떻게 실패를 '만드는지', 대체 표시와 의존성 그래프로 상태를 지키는 StateMem과 답변 호출 하나만 바꾸는 래퍼가 무엇을 얼마나 고치는지 표와 그림을 하나씩 읽는다. 논문과 같은 계열의 로컬 모델(Qwen 3.5 9B)로 한국어 함정 40문항을 직접 돌려, 답변 프롬프트만 바꿔도 정답이 28개에서 38개로 느는 것도 확인했다.

메모리 벤치마크 점수, 믿어도 되나 — LoCoMo·LongMemEval을 직접 다시 채점해 봤다
2026년 에이전트 기억 업계는 LoCoMo·LongMemEval에서 90점대를 발표합니다. 하지만 같은 Zep의 LoCoMo 점수는 누가 쟀느냐에 따라 58점에서 95점까지 흩어져 있습니다. 두 벤치마크를 직접 다시 돌렸습니다. 기억 시스템 없이 대화를 통째로 넣은 2026년 저가 모델이 LoCoMo 80.7%, LongMemEval 81.6%로 2025년의 기억 시스템들을 넘었습니다. 같은 답에 채점 프롬프트만 바꾸자 점수가 26점 움직였고, 정답과 오답을 나란히 적은 답을 Mem0의 2026년 채점 프롬프트는 100% 정답 처리했습니다. LoCoMo 정답지 1,540개를 대화 원문과 대조하니 7%가 틀렸거나 모호했고, 대화 10개에 몰린 문항이라 95% 구간은 ±3.1점이었습니다. bAbI부터 건초더미 속 바늘, SWE-bench Verified의 은퇴까지 벤치마크의 역사와, 점수를 읽는 점검표 10문항을 함께 정리했습니다. 인터랙티브 6개.

기억에 유효기간을 적다 — Graphiti 시간 그래프, 개념부터 코드까지
AI 비서가 '서울 사세요?'라고 묻는다면, 그건 기억을 못 해서가 아니라 기억은 하는데 언제의 기억인지를 몰라서입니다. Graphiti는 사실마다 '참이었던 기간'과 '알게 된 때'라는 두 개의 시계를 달아, 옛 사실을 지우지 않고 닫습니다. 1986년 데이터베이스 연구자들이 만든 이중 시간 모델이 어떻게 2026년 에이전트 메모리의 핵심이 됐는지, 네 개의 타임스탬프가 무엇을 뜻하는지, 옛 사실이 닫히는 규칙이 실제 코드에서 어떻게 생겼는지를 처음부터 따라갑니다. 다섯 개의 인터랙티브와 그림으로 시간 그래프를 직접 만져 봅니다.

Hindsight 완전 해부 — 에이전트에게 '본 것'과 '믿는 것'을 따로 기억하게 했더니 생긴 일
11개월 만에 GitHub 별 4만 7천 개. 오픈소스 에이전트 메모리 Hindsight는 기억을 하나의 벡터 창고가 아니라 네 개의 서랍 — 세계·경험·의견·관찰 — 으로 나누고, 저장(retain)·회상(recall)·성찰(reflect) 세 동작으로 다룬다. 같은 20B 모델의 LongMemEval 점수가 39.0%에서 83.6%로 뛰었다. 왜 '증거와 믿음의 분리'가 중요한지, 네 갈래 검색과 역순위 융합·확산 활성화가 어떻게 돌아가는지, 성격 다이얼과 의견 강화 공식은 무엇인지, 그리고 2026년의 제품은 논문과 어떻게 달라졌는지 — 심리학의 140년 계보부터 벤치마크의 함정, 경쟁 설계와의 비교까지 인터랙티브 위젯 7개로 완전 해부한다.

기억은 미리 만들지 말고, 물어볼 때 지어라 — Just-In-Time 에이전트 메모리(JAM) 완전 해부
석 달 전 회의 요약에는 '가격 협의함'이라고만 적혀 있다. 그런데 오늘 필요한 건 '1,240만 원, VAT 별도'라는 한 줄이다. 대부분의 에이전트 메모리는 질문이 오기 전에 기록을 요약·추출해 두는 AOT(Ahead-of-Time) 방식이고, 그래서 '그때는 사소했던' 디테일을 먼저 버린다. BAAI·베이징대·홍콩이공대 연구진의 JAM은 발상을 뒤집는다. 원본은 폴더에 그대로 두고 README 색인만 미리 만든 뒤, 질문이 오면 작은 Researcher 에이전트가 open·search·browse로 찾아 들어가 그 질문만을 위한 맥락을 짓는다. 4B 모델로 14B 메모리 에이전트를 이기고, 4배 빨랐다. 토요타 공장과 JIT 컴파일러에서 시작해 Memory-Gym 데이터 합성, 힌트를 주는 강화학습, 결과표와 한계, 2026년의 다른 기억 설계와의 비교까지 인터랙티브 위젯 6종과 함께 해부한다.
![[특집] 기억에도 종류가 있다 — MemoType이 바꾼 질문: 'AI는 무엇을 기억하나'에서 '어떤 기억을, 어떻게 찾나'로](/_next/image?url=https%3A%2F%2Ffiles.core.today%2Fstorage%2Fcoredot%2Fpublic%2Fblog%2Fmt-cover.webp&w=3840&q=75)
[특집] 기억에도 종류가 있다 — MemoType이 바꾼 질문: 'AI는 무엇을 기억하나'에서 '어떤 기억을, 어떻게 찾나'로
"지난달 조지랑 태산 다녀왔어"라고 말해 둔 AI에게 4주 뒤 "조지는 어디 갔었지?"라고 물으면 왜 엉뚱한 답이 돌아올까. 2026년 10월 8일 arXiv에 올라온 NeurIPS 2026 채택 논문 「Memory Type Varies」는 원인을 '모든 기억을 같은 방식으로 찾기 때문'이라고 진단한다. 1972년 심리학자 엔델 털빙이 나눈 일화 기억과 의미 기억을 대화 AI에 맞게 세 갈래(에피소드·개인 의미·일반 의미)로 다시 나누고, 6,000개 대화에 라벨을 단 TriMEM 데이터셋으로 1.7B 라우터를 학습시켜, 기억의 종류마다 다른 검색법을 쓰는 MemoType을 만들었다. 단일 검색 전략에는 넘을 수 없는 천장이 있다는 정리, 기억 구축 비용을 최대 248분의 1로 줄인 비용표까지 — 논문의 그림과 표를 하나씩 읽고, 털빙에서 ChatGPT·Claude·Gemini의 2026년 메모리까지 이어지는 계보와 함께 인터랙티브 다섯 개로 풀어 본다.

에이전트 네이티브 메모리, 준비됐나? — 12개 AI 기억 시스템을 데이터베이스의 눈으로 해부한 2026년 보고서
ChatGPT도, Claude도, Copilot도 이제 '기억'을 판다. 그런데 어떤 기억이 좋은 기억인지 아무도 같은 자로 재 본 적이 없었다. 상하이교통대·칭화대·MemTensor 연구진이 12개 메모리 시스템을 11개 데이터셋에서 같은 조건으로 돌리고, 기억을 '표현·추출·검색·유지보수' 네 모듈로 뜯어 한 부품씩 바꿔 가며 측정했다. 결론은 불편하다. 만능 챔피언은 없고, 요약은 정보를 지우며, 정밀한 사실 추출은 추론을 무너뜨리고, 그래프는 정확하지만 100배 느리다. 역사·개념·실험·실무 가이드까지, 인터랙티브 위젯과 함께 완전 해부한다.