#CBOW

‘왕 − 남자 + 여자 = 여왕’은 정말일까? — word2vec과 분포 가설, 이웃이 단어의 뜻을 정하기까지 (특집)

1957년 영국의 언어학자 퍼스는 ‘단어는 함께 다니는 이웃을 보면 안다’고 썼다. 56년 뒤 구글의 word2vec은 이 문장을 계산으로 옮겼다. 16억 단어를 하루 만에 읽고 단어마다 수백 개의 숫자를 붙였더니 ‘왕 − 남자 + 여자’가 ‘여왕’ 근처에 떨어졌다. 이 글은 처음 보는 단어의 뜻을 문장만 보고 맞히는 놀이에서 시작해, 세는 방법(LSA)과 맞히는 방법(word2vec)이 사실은 같은 일을 하고 있었다는 발견, 유명한 벡터 산술에 숨은 규칙, 임베딩이 배운 고정관념, ‘배’처럼 뜻이 여럿인 단어의 한계까지 따라간다. 한국어 위키백과로 word2vec을 직접 학습한 실측, 최신 LLM의 입력 임베딩 표에서 여왕을 찾은 실측, 문장마다 달라지는 ‘배’ 벡터 실측을 담았다. 인터랙티브 위젯 6종, 코어닷투데이 실측, 삽화 12장.