#한국어 자연어처리
2개의 포스트
‘가결’과 ‘원안대로 가결’은 같은 값인가 — 글자 유사도를 걷어 내고 값의 ‘해상도’로 비교하기
코어닷투데이 사실탐색기는 부산시의회 회의록의 '원안 가결'과 '원안대로 가결'을 서로 다른 값으로 보고, 한 안건에 의결결과를 둘씩 열어 두고 있었습니다. 그런 안건이 134개였습니다. 같은 엔진은 '2024년 4월 1일부터'와 '…까지'를 같은 값으로 보았습니다. 원인은 둘 다 값을 글자 조각의 겹침으로 비교한 데 있었습니다. 날짜·나이 범위·의결결과를 칸이 있는 구조로 읽고, 칸이 빈 값은 '덜 자세한 같은 값'으로 다루는 계층을 넣었습니다. 그 결과 판정이 바뀐 값 쌍은 열 개였지만 명제가 136개 줄었고, 설명 안 되는 대체가 7건에서 5건으로 줄었습니다. Y2K와 엑셀의 1900년 윤년, 앨런의 구간 관계 13가지, 푸앵카레와 루스의 '같은데 다른' 역설을 따라가며, 값의 해상도가 왜 값의 일부인지, 2026년의 판정 모델은 어디에 서야 하는지 정리했습니다.
‘비슷하다’는 네 가지 질문이다 — 알프스 꽃밭의 자카드에서 2026년 한국어 사실탐색기까지, 유사도 125년
2026년 10월, 코어닷투데이 사실탐색기는 부산 조례 부칙의 '1981년 1월 1일부터 시행'과 '1984년 1월 1일부터 시행'을 같은 값으로 묶었습니다. 두 문장이 71% 비슷하다는 계산 때문이었습니다. 이 글은 '비슷하다'를 재는 기술이 왜 생겨났는지부터 시작합니다. 1901년 알프스 식물 목록을 비교한 자카드, 인구조사 이름을 소리로 묶은 사운덱스, 단어를 벡터로 바꾼 설턴과 IDF의 스파크 존스, 뜻을 좌표로 만든 임베딩까지요. 그리고 같은 기술이 한국어 공적 기록 앞에서 어디서 미끄러지는지, 2026년 임베딩 14종 실측과 최신 논문으로 따라갑니다. 결론은 하나입니다. '비슷하다'는 같은 대상·같은 값·같은 사건·비슷한 사안이라는 네 가지 다른 질문이고, 질문마다 도구가 다릅니다.