#LLM 에이전트
3개의 포스트
기억력 시험은 만점, 심부름은 낙제 — MemoryArena가 보여 준 에이전트 기억의 진짜 시험
LoCoMo 같은 기억력 시험에서 90점대를 받는 에이전트가, 어제 산 카메라에 맞는 렌즈를 오늘 사 오는 심부름은 거의 못 합니다. ICML 2026 논문 MemoryArena는 기억을 '회상'이 아니라 '다음 행동'으로 채점합니다. 묶음 쇼핑·단체 여행·점진 검색·수학/물리 증명 사슬 701과제(하위 과제 4,850개)에서 롱컨텍스트·기억 에이전트·RAG 13가지 방식의 과제 성공률은 모두 0.20 이하였고, 단체 여행은 전원 0이었습니다. 기억 장치를 붙였다고 나아지지도 않았습니다. 왜 이런 시험이 필요해졌는지 1990년대 인지과학과 POMDP부터 건초더미 속 바늘, LoCoMo·LongMemEval까지 거슬러 올라가고, 네 경기장의 설계와 표·그림·부록 사례·공개 심사평을 하나씩 읽습니다. 공개 데이터로 '기억해 내기'와 '기억으로 행동하기'를 직접 갈라 재 보니, 같은 모델이 같은 기억으로 앞 여행자의 선택을 97% 떠올렸지만 그 선택을 기준 삼은 행동은 36%만 맞혔고, 필요한 사실을 정답으로 쥐여 줘도 31%였습니다. 모델이 직접 쓴 요약 메모는 취향만 적고 결정을 버려 회상 0%였습니다. 인터랙티브 5개.
AI 동료가 셋 이상 앉으면 회의의 결론이 바뀐다 — 인간·AI 혼합 집단의 합의 형성 실험
2026년 9월 2일, 칭화대·노스이스턴대·상하이 AI 랩 연구진이 arXiv에 올린 논문 「AI agents reshape consensus formation in human groups」를 특집으로 읽는다. 24명이 40라운드 동안 같은 그림을 한 문장으로 설명하며 합의를 만드는 게임에 LLM 에이전트를 12.5%, 33.3%, 50%, 75% 섞었더니 세 개의 전혀 다른 세계가 나타났다. 소수의 AI는 사람의 합의를 촉진하고, 중간 비율은 합의를 무너뜨리고, 다수의 AI는 강한 합의를 되살리되 그 내용을 '토끼가 앉아 뒤를 본다'에서 '삼각형이 사각형을 둘러싼 비대칭 패턴'으로 바꿔 놓는다. 셰리프와 애쉬의 순응 실험부터 센톨라의 이름 짓기 게임, 2026년 AI 스웜 논쟁까지 배경을 훑고, 논문의 원본 그림과 세 개의 인터랙티브 위젯으로 핵심 개념을 짚는다.
OneKE: AI 에이전트 3명이 협력하는 차세대 지식 추출 시스템
비정형 텍스트에서 구조화된 지식을 자동으로 추출하는 OneKE 시스템을 깊이 분석합니다. 규칙 기반부터 LLM 에이전트까지, 지식 추출 기술의 30년 역사와 함께 Schema·Extraction·Reflection 세 에이전트의 협력 메커니즘을 사례와 인터랙티브 데모로 쉽게 이해할 수 있습니다.