AI 연구
4개의 포스트
한 문장에 사실은 몇 개인가 — Claimify, 모르면 뽑지 않는 주장 추출기
LLM의 긴 답변을 사실 확인하려면 먼저 문장을 ‘확인할 수 있는 주장’으로 쪼개야 합니다. 그런데 무엇을, 어디까지, 어떤 맥락과 함께 쪼개야 잘 쪼갠 것일까요? Microsoft Research의 Claimify 논문(ACL 2025)은 수반·커버리지·탈맥락화라는 세 잣대와, 해석이 갈리면 아예 뽑지 않는 3단계 추출기를 내놓았습니다. 팩트체킹의 역사에서 이 문제가 어떻게 나왔는지, 논문의 표와 그림이 무엇을 말하는지, 2026년에 이 기술이 어디에 쓰이는지 정리하고, 논문 프롬프트를 그대로 로컬 9B 모델에 넣어 한국어 답변으로 직접 돌려 보니, 문장 고르기와 물러서기는 재현됐지만 수반은 76%에 그쳤고, 주어가 생략된 문장에서는 모호성을 절반도 못 알아봤으며, 세 번 생성해 다수결하는 설정을 줄이자 틀린 사실이 검증대에서 사라졌습니다.
사건을 뽑는 AI에게 채점표를 주다 — EAGER로 읽는 사건 추출 40년과 '검증 가능한 보상'
GPT-5.4에게 기사를 주고 사건을 뽑으라고 하면 평균 F1이 10점 안팎입니다. 독일 DFKI의 EAGER는 70억 매개변수 모델에 '여섯 명의 채점관'과 '문제지마다 다른 오답 보기'를 붙여 평균 30.79점까지 끌어올렸습니다. 사건 추출이 1987년 MUC의 템플릿 채우기에서 어떻게 지금의 코드 생성·강화학습까지 왔는지, 검증 가능한 보상(RLVR)이 수학 밖으로 나오면 무엇이 달라지는지, 그리고 그룹 점수가 모두 같아져 학습이 멈추는 '어드밴티지 붕괴'를 SCAE가 어떻게 푸는지 풀어 씁니다. 본문과 부록 표의 숫자가 엇갈리는 곳, 보상 식을 글자 그대로 구현하면 생기는 문제도 짚었습니다. 한국어 문장 40개로 로컬 4B 모델을 360번 돌려 같은 채점표를 직접 대 봤습니다.
포트는 8080이 됐는데 AI는 아직 8000이라고 한다 — 낡은 사실 오류와 '시간 유효성' 기억
RAG는 사실이 바뀌면 옛 값과 새 값을 둘 다 꺼내 오고, 어느 쪽이 지금 값인지 가릴 방법이 없습니다. 2026년 6월 arXiv에 올라온 MemStrata 논문은 이것을 '낡은 사실 오류'라 부르고, 유사도로는 바뀐 값을 가려낼 수 없다는 것(AUROC 0.59)부터 보인 뒤 (주어, 관계, 값) 열쇠로 옛 값을 지우지 않고 퇴역시키는 기억을 제안합니다. 1969년 프레임 문제부터 SQL:2011 시간 테이블까지 '바뀌는 세계를 기억하는 법'의 역사를 따라가고, 한국어 시나리오 30개로 논문의 핵심 주장을 로컬 모델에서 다시 재 보았습니다.
디퓨전 모델로 유체역학을 풀다: Bias-Constrained 노이즈 스케줄의 혁신
뮌헨공대 연구팀이 제안한 Adaptive Noise Schedule이 디퓨전 모델의 PDE 에뮬레이션 정확도를 수 자릿수 개선한 원리를 쉽고 깊이 있게 파헤칩니다.