#대체

2개의 포스트

2026.11.01

[특집] 영수증 있는 기억 — SodaMem으로 읽는 AI 에이전트의 '지금 참인 것': 출처·시간·대체, 그리고 92.8%의 뒷면

AI 비서가 '매운 음식 좋아하시죠?'라며 위염 환자에게 마라탕을 권한다면, 기억을 못 해서가 아니라 무엇이 지금 참인지 몰라서입니다. 2026년 8월 공개된 SodaMem은 대화에서 뽑은 사실마다 원문 영수증(출처 조각)을 붙이고, 네 개의 시계로 시간을 적고, 바뀐 사실은 지우지 않고 닫습니다. 그래프·BM25·임베딩 세 터널에서 함께 걸린 증거를 위로 올리고, 플래너가 모은 증거로 리더가 인용을 달아 답합니다. LongMemEval-S에서 92.8%, 문항당 0.16센트라는 숫자도 냈습니다. 바틀릿의 재구성 기억과 파치올리의 장부에서 시작해 이중 시간 데이터베이스, 진리 유지 시스템, BM25와 RRF, MemGPT·Mem0·Zep으로 이어지는 계보를 따라가며 논문의 개념을 하나씩 풀었습니다. 코어닷투데이는 공개된 답안 500개를 다른 모델로 다시 채점했고(88.6%, 직접 판정하면 약 90%), 같은 검색 결과를 작은 모델에 읽혔고, 코드를 열어 논문과 다른 세 곳을 찾았습니다. 92.8%를 낸 저장소는 대체를 '관찰만' 하는 모드였고, 공개 코드의 BM25는 한글을 한 글자도 토큰으로 만들지 못합니다. 작은 모델로 같은 시나리오를 넣어 보니 옛 주소는 닫히지 않았고, 영어 대화에서는 위염 환자에게 매운 김치찌개를 권했습니다. 인터랙티브 7개.

코어닷투데이106분

[특집] 옛 주소로 기차표를 끊는 AI — '기억 갱신 격차'를 재고, 훈련으로 줄인 Supersede 완전 해부

AI 에이전트Supersede기억 갱신

2026.10.31

[특집] 옛 주소로 기차표를 끊는 AI — '기억 갱신 격차'를 재고, 훈련으로 줄인 Supersede 완전 해부

"저 부산으로 이사했어요"라고 말해 두었는데, 몇 주 뒤 AI 비서가 대구행 기차표를 끊는다. 2026년 6월 arXiv 논문 「Supersede」는 이 실패를 '기억 갱신 격차'라고 부르고, 네 가지 질문으로 파고든다. 실패는 정말 있나? 더 큰 모델이면 풀리나? 더 큰 메모장이면 풀리나? 훈련하면 줄어드나? 답은 있다, 아니다, 아니다, 그렇다. 300자 메모장만 쥔 gpt-5.4는 전체 대화를 다 본 자신보다 15점 낮았고, 대화가 24배 길어지자 정답률은 68%에서 28%로 무너졌으며, 메모장을 24배로 늘려 줘도 28%였다. 마지막으로 3B 모델을 GRPO로 훈련해 9.0%를 16.7%로 끌어올렸다. 1957년의 순행 간섭 실험부터 데이터베이스의 UPDATE, 2026년의 'ChatGPT Dreaming'까지 이 문제가 어디서 왔는지 따라가고, 논문의 그림과 표를 하나씩 읽는다. 같은 데이터와 같은 프롬프트로 공개 모델(Qwen 3.5 9B)에서 실험을 직접 재현해 25.6점의 격차를 확인했고, 메모를 요약 대신 '주제: 값' 장부로 쓰게 하는 지시문 하나로 그 격차가 11.5점까지 줄어드는 것도 보았다. 하지만 그 장부도 대화가 48세션으로 길어지자 88%에서 8%로 무너졌다. 그리고 논문의 문자열 채점기가 옛 값 '7:00 pm'을 정답으로 처리한다는 것도 찾아냈다.

코어닷투데이107분