옛 사실은 정말 닫히나 — Graphiti에 한국어 상담 로그 240건을 넣어 직접 재 봤다

크게 보기

들어가며: 읽은 것을 재 보기로 했다

지난 글에서 Graphiti의 시간 그래프를 코드 한 줄 한 줄까지 따라 읽었습니다. 사실마다 두 개의 시계를 달고, 새 사실이 옛 사실과 부딪히면 지우지 않고 기간을 닫는다는 설계는 깔끔했습니다. 그런데 읽으면서 걸리는 곳이 몇 군데 있었습니다.

• 모순 후보를 그래프 전체에서 찾는다(이슈 #1728). 관련 없는 사실이 서로를 닫을 수 있다.
• 미래형 문장을 잡는 안전망이 영어 정규식이다. 한국어 사실에는 작동하지 않는다.
• 키워드 검색 인덱스가 한국어 조사를 떼지 못하는 기본 분석기로 만들어진다.

코드를 읽고 “그럴 것 같다”고 쓰는 것과, 실제로 넣어 보고 “이만큼 그렇다”고 쓰는 것은 다른 일입니다. 그래서 이번에는 도커 위에 Graphiti를 그대로 띄우고, 한국어 상담 기록을 넣어 직접 재 봤습니다. 질문은 하나입니다.

옛 사실은 정말, 제때, 제대로 닫히는가?

먼저 결론부터 요약합니다.

이 글의 실험 코드와 숫자는 2026년 10월 10일, graphiti-core 0.30.2 기준입니다.

1. 실험 설계

무엇을 띄웠나

크게 보기

컨테이너 두 개면 됩니다.

docker run -d --name gtk-neo4j -p 7474:7474 -p 7687:7687 \
  -e NEO4J_AUTH=neo4j/gtk-password -e 'NEO4J_PLUGINS=["apoc"]' \
  -v gtk_neo4j_data:/data neo4j:5.26

docker run -d --name gtk-ollama -p 11434:11434 \
  -e OLLAMA_NUM_PARALLEL=8 -v gtk_ollama:/root/.ollama ollama/ollama:latest
docker exec gtk-ollama ollama pull bge-m3

Graphiti 쪽은 LLM과 임베더의 주소만 바꿔 끼웁니다. Ollama는 OpenAI 호환 /v1/embeddings를 제공하므로 Graphiti의 OpenAIEmbedder를 그대로 씁니다.

llm = OpenAIClient(config=LLMConfig(
    api_key=KEY, base_url="https://api.core.today/llm/openai/v1",
    model="gpt-4.1-mini",       # 추출 등 큰 일
    small_model="gpt-4.1-nano", # 날짜·중복·모순 판정 (Graphiti 기본값)
))
emb = OpenAIEmbedder(OpenAIEmbedderConfig(
    api_key="ollama", base_url="http://localhost:11434/v1",
    embedding_model="bge-m3", embedding_dim=1024,
))
g = Graphiti("bolt://localhost:7687", "neo4j", "gtk-password", llm_client=llm, embedder=emb)

여기서 실험 전체를 좌우한 발견이 하나 나왔습니다. 코드를 보면 Graphiti는 일을 큰 모델과 작은 모델에 나눠 맡기는데, 이 글의 주제와 직결된 두 가지가 작은 모델 몫입니다.

즉 “이 새 사실이 저 옛 사실을 끝내는가”라는, 시간 그래프에서 가장 중요한 결정을 기본 설정에서는 gpt-4.1-nano가 내립니다. Graphiti 0.30.2의 기본 큰 모델은 gpt-5.5지만, 작은 모델 기본값은 gpt-4.1-nano 그대로입니다. 그래서 실험은 판정 모델을 바꾸는 축을 중심에 놓았습니다.

넣은 데이터: 가상의 고객 10명, 1년치 상담 240마디

실제 상담 기록에는 정답이 없습니다. 무엇이 언제 바뀌었는지 모르면 채점을 할 수 없으니, 정답을 알고 있는 대화를 만들었습니다. 고객 10명이 각자 약 10개월 동안 24번 말을 겁니다. 이름·동네·회사·약·반려동물·취미는 사람마다 다르지만, 사건의 구조는 모두 같습니다. 그래야 설정끼리 비교할 수 있습니다.

상대 날짜(“지난주 월요일”, “3일 전”, “이번 달 1일”, “지난달 15일”)는 말한 시각에서 정답 날짜를 계산해 두었습니다. 같은 대화를 영어로 옮긴 판본도 만들어 언어의 영향을 따로 봤습니다.

어떻게 채점했나

그래프에는 “박서연 lives in 서울 마포구” 같은 자유 문장이 남습니다. 이 문장이 정답 사실 중 무엇에 해당하는지는 gpt-4.1에게 대응시켰고, 무작위로 뽑은 40개를 사람이 다시 확인했습니다(오분류 0건). 그다음 두 가지를 쟀습니다.

1. 시점별 정확도: 대화 기간 동안 7일 간격으로 시점을 찍고, 각 시점마다 “그래프는 이 사실을 참이라고 보는가”(어떤 엣지가 그 시점을 valid_at~invalid_at 안에 품는가)와 “실제로 참이었나”를 비교합니다. 정답이 바뀌는 날 앞뒤 3일(날짜가 흐린 “이번 주에 끊었어요”는 7일)은 뺐습니다. 지난 글의 이중 시간 평면에서 ‘지금 아는 바로는, 그때 무엇이 참이었나’를 묻는 질의를 자동으로 수백 번 던지는 셈입니다.
2. 마지막 시점 판정: 대화가 끝난 시점에 사실마다 ‘제대로 유효’, ‘제대로 닫힘’, ‘잘못 닫힘’(아직 참인데 닫힘), ‘못 닫음’(바뀌었는데 열림), ‘추출 누락’으로 분류합니다.

실행은 모두 8번, 에피소드 1,920건입니다. 같은 설정을 두 번씩 돌린 것도 있는데, LLM 기반 파이프라인이 실행마다 얼마나 흔들리는지 보기 위해서입니다.

2. 첫 장면: 클라이밍 한 마디가 여섯 사실을 닫다

본 실험 전에 고객 한 명(박서연)으로 시험 삼아 돌린 결과부터 보겠습니다. 설정은 Graphiti 기본 작은 모델(gpt-4.1-nano)입니다. 24마디를 넣는 데 590초, 한 마디에 약 25초가 걸렸습니다.

2025년 6월 15일, 박서연 님이 이렇게 말합니다.

박서연: 요즘은 클라이밍도 시작했어요.

새 취미가 하나 늘었을 뿐입니다. 그런데 이 마디를 처리한 뒤의 그래프를 보면, 다음 여섯 사실의 invalid_at에 똑같이 2025-06-15가 찍혀 있었습니다.

크게 보기

지난 글 8부에서 소개한 이슈 #1728의 증상 그대로입니다. 모순 후보를 같은 사람의 그래프 전체에서 의미가 비슷한 엣지로 찾고, 판정 모델이 “같은 사람에 대한 다른 이야기”를 모순으로 짚자, 날짜 규칙이 기계적으로 기간을 닫았습니다. 닫힌 날짜가 모두 클라이밍 사실의 valid_at과 같다는 점이 단서입니다. 지난 글 3.5절의 규칙 ④ 그대로 “새 사실이 시작된 날”에 옛 사실을 끝낸 것입니다.

이 그래프에 “서연 님 지금 어디 살아요?”라고 물으면 어떻게 될까요? 6월 15일 이후에는 열린 거주지 사실이 하나도 없습니다. 7월에 분당으로 이사했다는 말이 들어오기 전까지, 그래프는 서연 님이 아무 데도 살지 않는다고 말합니다.

한 명으로 본 장면이 우연인지 확인하려고 본 실험을 돌렸습니다. 아래에서 실제 실험 그래프를 한 마디씩 되감아 볼 수 있습니다. 같은 고객의 같은 대화가 판정 모델과 PR 적용 여부에 따라 얼마나 다른 기억으로 남는지 보세요. 오태윤 님의 기본값(nano) 그래프에서는 여섯 번째 마디(복용 중인 약 이야기)와 열네 번째 마디(새 취미 이야기)가 각각 여러 사실을 한꺼번에 닫습니다.

3. 결과: 여덟 번의 실행

여덟 번의 실행을 지표별로 나란히 놓았습니다. 각 실행은 고객 10명 × 24마디 = 240건입니다.

‘참인 사실 보존율’은 끝까지 참이어야 할 사실 70개(새 거주지·새 직장·반려동물 둘·직장 밖 역할·부업·두 번째 취미 × 10명) 가운데 마지막에 유효로 남은 비율, ‘변경 반영률’은 바뀌어 닫혀야 할 사실 60개(이전 거주지·이전 직장·베이직·프로·약 둘 × 10명) 가운데 제대로 닫힌 비율입니다. 추출이 아예 안 된 사실은 두 비율에서 뺐습니다.

표를 읽는 법부터 짚겠습니다. 두 비율은 서로 당기는 관계입니다. 많이 닫을수록 변경 반영률은 오르지만 보존율은 떨어지고, 적게 닫을수록 그 반대입니다. 그래서 둘을 함께 담는 시점별 정확도가 종합 점수 역할을 합니다.

3.1 판정 모델이 결정한다

크게 보기

가장 큰 차이는 판정 모델에서 나왔습니다. 추출 모델(gpt-4.1-mini)은 그대로 두고 작은 모델만 nano에서 mini로 바꿨더니,

• 잘못 닫힘이 사라졌습니다. 끝까지 참이어야 할 사실 70개 중 10~19개가 닫히던 것이, 두 번의 실행 모두 0개가 됐습니다. 반려동물, 직장 밖 역할, 부업이 엉뚱하게 끝나는 일이 없어졌습니다.
• 닫힌 엣지 비율이 35~47%에서 29~32%로 내려왔습니다. 이슈 #1728의 운영 그래프가 41%였으니, nano 판정의 그래프는 그 보고와 같은 수준이었습니다.
• 시점별 정확도가 71~72%에서 80~82%로 올랐습니다.
• 비용은 1천 건당 2.14달러에서 2.65달러로 0.5달러 늘었습니다. 판정은 짧은 프롬프트라 큰 모델 비용에 비하면 작습니다.

또 하나 눈여겨볼 것은 흔들림입니다. 같은 nano 설정을 두 번 돌린 R1과 R1b는 보존율이 85.1%와 72.1%, 변경 반영률이 45.0%와 70.0%로 크게 달랐습니다. nano 판정은 실행마다 “어느 쪽으로 틀릴지”가 바뀝니다. 반면 mini 판정의 R3과 R3b는 보존율 100%로 같았고 변경 반영률도 58.3%와 63.3%로 가까웠습니다. 운영에서 예측 가능성은 정확도만큼 중요합니다.

이 결과에서 바로 쓸 수 있는 권고가 나옵니다. Graphiti를 쓴다면 small_model을 기본값으로 두지 마세요. 작은 모델이 하는 일이 ‘작은 일’이 아닙니다.

3.2 그래도 남는 것: 못 닫는 사실

크게 보기

판정을 mini로 키워도 바뀐 사실의 37~42%는 끝까지 닫히지 않았습니다. 마지막 시점의 박서연 님 그래프에는 이런 사실이 동시에 ‘유효’로 남아 있었습니다.

왜 이럴까요? 두 사실을 나란히 놓으면 이유가 보입니다.

사람에게 “집은 한 곳”, “요금제는 하나”, “주 직장은 하나”라는 상식이 있지만, 언어 모델이 매번 그 상식을 떠올려 판정해 주지는 않습니다. 이 상식을 그래프에 규칙으로 적어 두는 방법이 지난 글에서 소개한 사용자 정의 엣지 타입(온톨로지)입니다. 이번 실험은 Graphiti의 기본 동작(온톨로지 없음)을 쟀고, 온톨로지를 넣었을 때 얼마나 나아지는지는 다음 실험 과제로 남겼습니다.

3.3 PR #1729: 한쪽을 막으면 다른 쪽이 샌다

크게 보기

이슈 #1728을 고치려는 PR #1729(2026년 10월 10일 현재 미병합)는 모순 후보를 이렇게 좁힙니다. 같은 두 엔티티를 잇는 엣지이거나, 한쪽 끝을 같은 자리에 공유하면서 관계 이름이 같은 엣지만 닫을 수 있다. 0.30.2에 그대로 패치해 돌린 결과는 예상한 시소였습니다.

• 잘못 닫힘: nano 판정에서 10~19개 → 1개, mini 판정에서는 원래 0개 → 0개.
• 변경 반영률: nano 판정에서 45~70% → 20%, mini 판정에서 58~63% → 45%.

바로 앞 표가 이유입니다. “마포에 산다”와 “분당으로 이사했다”는 끝 엔티티가 달라 첫째 조건에 걸리지 않고, 관계 이름이 매번 미묘하게 달라(LIVES_IN / MOVED_TO, USES_PLAN / SWITCHED_TO_PLAN) 둘째 조건에도 걸리지 않습니다. 언어 모델이 관계 이름을 자유롭게 짓는 한, 이름이 같아야 닫는 규칙은 진짜 변경까지 막아 버립니다. PR #1729는 “잘못 닫는 것”보다 “못 닫는 것”이 낫다는 선택이고, 두 실패 중 무엇이 더 해로운지는 서비스마다 다릅니다. 상담 기록이라면 지난 요금제로 청구하는 쪽이, 의료라면 끊은 약을 복용 중으로 보는 쪽이 각각 더 위험할 수 있습니다.

3.4 기본값 gpt-5.5: 열두 배 비싸고, 덜 뽑는다

Graphiti 0.30.2의 기본 큰 모델인 gpt-5.5로 추출을 맡기면(판정은 기본값 nano) 어떨까요. 결과는 의외였습니다.

• 비용은 1천 건당 26.18달러로 mini의 약 12배였습니다.
• 시점별 정확도는 63.4%로 여덟 번 중 가장 낮았습니다. 추출 누락이 34건으로 다른 실행(9~17건)의 두세 배였고, 취미와 부업 같은 사실을 거의 뽑지 않았습니다. 판정이 nano이니 변경 반영률도 31%에 그쳤습니다.
• 대신 언어 지시는 완벽하게 따랐습니다. 한국어로 말하면 사실 문장도 100% 한국어로 남았습니다. gpt-4.1-mini는 같은 지시를 받고도 사실의 70% 이상을 영어 서술(“박서연 lives in …”)로 남겼습니다.

큰 모델이 더 꼼꼼하게 뽑을 거라는 기대와 반대로, 추론을 끈(reasoning='none', Graphiti가 gpt-5.5에 자동으로 거는 설정) gpt-5.5는 더 보수적으로 뽑았습니다. 이 실험의 범위에서는 추출 모델을 키우는 것보다 판정 모델을 키우는 것이 훨씬 싸고 효과적이었습니다.

3.5 미래의 계획: 날짜는 맞게, 직장은 일찍

지난 글에서 걱정한 대목입니다. “다음 달 말에 그만두려고요”의 시작 날짜는 프롬프트 지시대로 말한 날로 잘 들어갔습니다(gpt-4.1-mini 추출, 10명 중 7~9명). 영어 정규식 안전망이 작동하지 않는 한국어에서도 프롬프트만으로 대부분 지켜졌다는 뜻입니다. 예외는 gpt-5.5였습니다. 10명 중 2명의 계획 사실이 미래의 퇴사일을 시작 날짜로 받았는데, 두 문장 모두 한국어(“박서연은 다음 달 말에 한빛소프트를 그만두려고 한다.”)라서 영어 정규식이 손댈 수 없는 경우였습니다.

더 큰 문제는 계획이 지금 직장을 미리 닫는 일이었습니다. mini 판정의 세 실행(R3·R3b·R5)에서 “다음 달 말에 그만두려고요”를 처리하면서 직장 사실을 닫은 경우가 6~8건이었습니다. 실제 이직은 한 달 뒤인데, 그래프는 계획을 말한 날 이미 퇴사한 것으로 기록합니다. 흥미롭게도 판정이 더 똑똑한(mini) 쪽에서 더 자주 일어났습니다. nano는 이 둘을 아예 연결하지 못했고, mini는 연결은 했지만 “계획”과 “사실”을 구분하지 못한 것입니다.

3.6 한국어 대 영어: 차이는 흔들림 안에 있었다

같은 대화를 영어로 넣은 R2는 시점별 정확도 71.2%로 한국어 R1(71.1%)·R1b(72.1%)와 같았습니다. 보존율과 반영률은 R1b와 비슷했고, R1과 R1b 사이의 차이가 언어 차이보다 컸습니다. 이 실험 규모에서 언어 자체의 차이는 실행 간 흔들림을 넘지 않았습니다.

언어가 분명히 갈린 곳은 따로 있었습니다.

• “지난주 월요일”: 한국어에서는 프로 요금제 시작일이 10명 중 8명 정확했는데, 영어 “starting last Monday”는 1명만 맞았습니다(중앙값 7일 차이). 영어의 “last Monday”는 ‘가장 최근의 월요일’로도 읽히는 말이라, 모델이 틀렸다기보다 말 자체가 모호합니다. 한국어의 “지난주 월요일”이 더 정확한 표현이었던 셈입니다.
• 사실 문장의 언어: 위에서 본 대로 gpt-4.1-mini는 한국어 대화를 대부분 영어 서술로 저장합니다. 이것은 다음 절의 검색에 직접 영향을 줍니다.

3.7 늦게 도착한 옛이야기와 빠진 취미

마지막으로 모든 설정에서 공통으로 나타난 두 가지입니다.

옛이야기의 끝 날짜. “서울 마포구 오기 전엔 2019년부터 대전에 살았어요”는 정답으로는 마포 이전(2025년 1월 이전)에 끝난 사실입니다. 그런데 그래프는 대부분 이 사실을 말한 날까지 유효로 기록했습니다(예: 2019-01-01 ~ 2025-07-15). 그 결과 이 사실의 시점별 정확도는 모든 설정에서 10~44%에 그쳤습니다. “2025년 3월에 서연 님은 어디 살았나?”라고 물으면 대전과 마포가 함께 나옵니다. “~ 오기 전엔”이라는 상대적 끝을 날짜로 바꾸려면 다른 사실(마포 거주 시작)을 참조해야 하는데, 논문 부록에 실린 시간 추출 프롬프트부터 “관련 사건에서 날짜를 추론하지 말라”고 지시합니다. 의도된 보수성이 만든 공백입니다.

활동형 사실의 누락. “취미로 러닝을 하고 있어요”는 10명 중 9~10명에서 사실로 남지 않았습니다. 엔티티 추출 프롬프트가 “관계나 행동은 노드로 만들지 말라”고 지시해서, 러닝·요가 같은 활동 명사가 엔티티가 되지 못하기 때문으로 보입니다. 반면 “요즘은 클라이밍도 시작했어요”처럼 변화로 말한 두 번째 취미는 gpt-4.1-mini 추출에서 대부분 잡혔습니다(gpt-5.5는 이것도 놓쳤습니다). 같은 정보라도 말하는 방식에 따라 기억되거나 사라집니다.

다섯 가지 실패를 실제 문장과 함께 정리했습니다.

4. 검색: ‘박서연은’은 ‘박서연’이 아니다

크게 보기

기억을 잘 닫아도 꺼내지 못하면 소용이 없습니다. 지난 글에서 Graphiti의 키워드(BM25) 인덱스가 한국어 조사를 떼지 못하는 기본 분석기로 만들어진다고 썼는데, 실제로 확인해 보니 그대로였습니다. Neo4j에 만들어진 인덱스 네 개(edge_name_and_fact 등)의 분석기는 모두 standard-no-stop-words였습니다. Neo4j가 기본 제공하는 분석기 목록에는 한국어 형태소 분석기(nori)가 없고, 한·중·일 문자를 두 글자씩 자르는 cjk 분석기가 있습니다.

R1 그래프(한국어)에 고객마다 질문 8개, 모두 80개를 던지고 상위 5개 안에 정답 사실이 들어오는지 쟀습니다. 질문은 “박서연은 지금 어디 살아요?”, “서연 님 요즘 회사 어디 다녀요?”, “누리랩스로 이직한 사람”처럼 조사와 존칭을 섞었습니다.

상위 5개 적중률(recall@5), 질문 80개. 막대 길이는 100% 기준.

기본 분석기에서는 80개 중 43개가 아예 빈 결과였습니다. 이유는 두 겹입니다. 첫째, “박서연은”, “서연 님”, “다녀요?”가 모두 통째로 한 토큰이라 사실 문장의 “박서연”과 맞지 않습니다. 둘째, 3.4절에서 본 대로 사실 문장의 70% 이상이 영어 서술(“lives in”, “works at”)이라 한국어 질문과 겹치는 낱말 자체가 이름과 고유명사뿐입니다.

cjk로 인덱스만 다시 만들자 빈 결과가 0이 되고 적중률이 58.8%로 두 배 넘게 올랐습니다. 바꾸는 방법은 Cypher 두 줄입니다(그래프 수집이 돌고 있지 않을 때 하세요. 수집 중의 중복·모순 후보 검색도 이 인덱스를 씁니다).

DROP INDEX edge_name_and_fact;
CREATE FULLTEXT INDEX edge_name_and_fact FOR ()-[e:RELATES_TO]-()
  ON EACH [e.name, e.fact, e.group_id]
  OPTIONS {indexConfig: {`fulltext.analyzer`: 'cjk'}};

다만 결론을 과장하면 안 됩니다. 혼합 검색은 분석기와 상관없이 80% 안팎이었습니다. 의미 검색(bge-m3)이 한국어 질문과 영어 사실 문장 사이를 이미 잘 이어 주기 때문입니다. 키워드 검색이 진짜 필요한 곳은 제품 코드, 약 이름, 회사 이름처럼 글자가 정확히 같아야 하는 질의이고, 그런 질의라면 cjk 분석기로 바꾸는 것이 거의 공짜에 가까운 개선입니다. 바이그램은 형태소 분석보다 거칠어서 엉뚱한 두 글자 일치도 함께 올라오므로, 혼합 검색에서는 오히려 1~2개 질문이 밀려났습니다.

5. 비용과 속도

에피소드 한 건을 그래프에 넣을 때 무엇이 드는지 정리했습니다(R1 기준, 240건 평균).

• 에피소드당 LLM 호출 약 3.3회, 입력 토큰 약 6천 개. 2024년 이슈(#186)에서 “메시지당 12초”, 2025년 이슈(#467)에서 “짧은 대화 40개에 0.8달러”가 보고됐는데, 2026년 0.30.2는 그보다 훨씬 가벼워졌습니다. 0.29에서 날짜 판정을 별도 단계로 떼고, 중복 판정 앞에 고전적인 문자열 비교를 둔 영향으로 보입니다.
• 처리 시간은 에피소드당 중앙값 12~14초. 한 사용자의 메시지는 순서대로 넣어야 하지만(앞 사실을 보고 뒤 사실을 닫으니까) 사용자끼리는 병렬로 넣을 수 있어, 10명을 동시에 넣은 240건이 4분 반~5분에 끝났습니다.
• 비용은 판정 모델보다 추출 모델이 좌우합니다. 입력 토큰의 4분의 3이 큰 모델 몫이라, 판정을 nano에서 mini로 키워도 1천 건당 0.5달러 남짓 늘 뿐입니다. 반대로 큰 모델을 gpt-5.5로 바꾸면 12배가 됩니다.
• 한 가지 덧붙이면, 처음에 colima 가상 머신을 4코어로 띄웠을 때는 로컬 임베딩(bge-m3)이 병목이 되어 30개 흐름이 동시에 몰리자 5분 동안 한 건도 끝나지 않았습니다. 코어를 14개로 늘리고 Ollama의 동시 처리 수를 8로 올리자 임베딩 64개가 1.7초에 끝났습니다. 로컬 임베딩을 쓴다면 이 부분부터 확인하세요.

6. 실무 권고

실측에서 바로 나온 것만 적습니다.

8번은 실험하다 알게 된 것입니다. 이번 실험의 엣지는 2025년의 대화를 2026년 10월 10일에 넣었기 때문에, created_at과 expired_at이 모두 2026-10-10이었습니다. 세상의 시간(valid_at·invalid_at)은 대화 속 날짜를 따라가지만, 기록의 시간은 실제로 기록한 날을 따릅니다. 이중 시간 모델의 정의상 맞는 동작이지만, “2025년 3월에 상담원 화면에는 무엇이 떠 있었나”를 재현하려는 사람에게는 함정입니다. 지난 글 7부에서 reference_time에 실제 메시지 시각을 넣으라고 한 이유가 세상의 시간 쪽이라면, 이것은 기록의 시간 쪽의 주의점입니다.

7. 이 실험의 한계

• 합성 데이터입니다. 고객 10명이 모두 같은 사건 구조를 따르고, 한 마디에 한 가지 정보만 담았습니다. 실제 상담은 한 메시지에 여러 사실이 섞이고, 상담원 발화도 끼어듭니다.
• 표본이 작습니다. 설정당 240건, 반복은 두 설정에서 두 번씩뿐입니다. nano 판정의 흔들림을 보면 한 번의 실행으로 결론을 내리면 위험합니다. 이 글의 수치는 방향을 보는 데 쓰고, 소수점 차이에 의미를 두지 마세요.
• 채점에 언어 모델을 썼습니다. 엣지를 정답 사실에 대응시키는 일은 gpt-4.1이 했고, 40개 표본 검토에서 오류는 없었지만 전수 검토는 아닙니다.
• 한 가지 DB, 한 가지 버전입니다. Neo4j 5.26, graphiti-core 0.30.2만 쟀습니다. FalkorDB나 Zep 관리형 서비스(자체 그래프 엔진 Konig, 별도 검색 계층)에서는 결과가 다를 수 있습니다. 특히 Zep 서비스는 2025년 말 이후 중복 판정 앞단을 고전적 기법으로 바꿨다고 밝혔습니다.
• 온톨로지 없이 쟀습니다. 사용자 정의 엔티티·엣지 타입을 넣으면 못 닫음 문제가 크게 달라질 수 있습니다. 이것은 다음 실험입니다.

마무리: 시간 그래프의 시계는 판정자가 돌린다

지난 글은 “사실에 유효기간을 적는다”는 아이디어가 얼마나 잘 설계됐는지를 봤습니다. 이번 실측은 그 유효기간을 누가 적는지를 보여 줍니다. 두 개의 시계와 날짜 규칙은 코드가 정확하게 돌리지만, “이 둘이 부딪히는가”라는 판단은 언어 모델 한 번의 호출에 달려 있고, 기본 설정은 그 판단을 가장 작은 모델에게 맡깁니다.

다행히 처방은 단순했습니다. 판정자를 한 단계 키우면 엉뚱한 사실을 닫는 일이 사라집니다. 어려운 것은 반대쪽, 사람에게는 당연한 “집은 하나”라는 상식을 그래프가 스스로 떠올리게 하는 일입니다. 그 상식을 규칙으로 적어 주는 온톨로지가 다음 실험의 주제입니다.

재현 정보

• 실험일: 2026-10-10 (KST)
• graphiti-core 0.30.2 (PyPI), PR #1729는 해당 PR의 edge_operations.py 변경분만 0.30.2에 패치
• Neo4j 5.26 (도커, APOC), Ollama + bge-m3 (도커, 1024차원), colima 14 CPU / 24GB
• LLM: core.today 게이트웨이 경유 gpt-4.1-mini, gpt-4.1-nano, gpt-5.5(Graphiti 기본 reasoning='none'), 채점용 gpt-4.1
• 비용은 게이트웨이 사용 토큰을 OpenAI 정가로 환산(1M 토큰당 입력/출력: mini 0.40/1.60, nano 0.10/0.40, gpt-5.5 5.00/30.00 달러). 임베딩·DB·서버 비용 제외
• 데이터: 고객 10명 × 24마디, 한국어·영어 두 판본. 시점별 판정은 7일 간격, 정답 변경일 ±3일(흐린 종료는 ±7일) 제외

참고 자료

• 기억에 유효기간을 적다 — Graphiti 시간 그래프, 개념부터 코드까지 (이 글의 이론편)
• Zep 논문 해부, Zep 생태계 지도
• ‘지난달 글’은 누가 계산하나 — 한국어 검색 스택 11편
• getzep/graphiti: 이슈 #1728 “Edge invalidation searches the whole graph” (2026-08), PR #1729 “only invalidate edges the new edge could plausibly replace”, 이슈 #1666(작은 모델의 모순 판정), #186, #467
• Rasmussen, P. 외 (2025). Zep: A Temporal Knowledge Graph Architecture for Agent Memory. arXiv:2501.13956
• Neo4j 문서: Full-text indexes, db.index.fulltext.listAvailableAnalyzers()
• BAAI bge-m3, Ollama