GPT, CLIP, DINOv2 — 구조도 다르고 학습 데이터도 다른 AI 모델들이 왜 점점 비슷한 표현을 학습할까? MIT 연구팀이 제안한 '플라토닉 표현 가설'을 플라톤의 동굴 비유부터 2026년 AI 산업 전망까지, 풍부한 사례와 인터랙티브 시각화로 해부한다.
2,400년 전, 그리스 철학자 플라톤은 한 가지 사고실험을 제안했다. 동굴 벽면만 바라보며 평생을 살아온 사람들이 있다. 그들이 보는 것은 그림자뿐이다. 뒤에서 불이 타오르고 그 앞을 지나가는 사물의 실루엣만 벽에 비친다. 그들은 그림자가 전부인 줄 안다.
그런데 누군가 동굴 밖으로 나가면? 처음엔 눈이 부시지만, 곧 사물의 진짜 형태 — 플라톤이 말한 이데아(Idea) — 를 보게 된다.
2024년, MIT의 Minyoung Huh, Brian Cheung, Tongzhou Wang, Phillip Isola가 놀라운 가설을 세웠다. 서로 다른 AI 모델들이 학습하는 "표현(representation)"이 하나의 공통된 현실 모델로 수렴하고 있다는 것이다. 마치 플라톤의 동굴에서 서로 다른 벽을 보던 죄수들이 결국 같은 이데아에 도달하는 것처럼.
이것이 바로 플라토닉 표현 가설(The Platonic Representation Hypothesis)이다.
왜 이 가설이 중요할까? 만약 사실이라면, AI의 미래는 모달리티별 전문가 모델의 파편화가 아니라 하나의 통합된 세계 이해로 향한다는 뜻이다. 그리고 2026년 현재, 우리는 그 수렴의 한가운데에 서 있다.
플라토닉 표현 가설을 이해하려면, AI가 세상을 "표현"하는 방법이 어떻게 진화해 왔는지 먼저 알아야 한다.
초기 AI 연구자들은 세상을 표현하는 규칙을 직접 만들었다. 고양이를 인식하려면 "뾰족한 귀, 긴 꼬리, 수염" 같은 특성을 사람이 정의하고, 이미지에서 이런 패턴을 찾는 알고리즘을 짰다. SIFT, HOG 같은 특성 추출 기법이 대표적이다.
문제: 사람이 생각하는 "중요한 특성"이 기계에게도 최적일까? 고양이가 웅크리면? 어두운 곳이면? 수작업 특성은 늘 예외에 취약했다.
딥러닝의 등장으로 AI가 스스로 특성을 학습하기 시작했다.
이 시기의 핵심 발견: 좋은 표현은 전이(transfer)된다. ImageNet에서 학습한 특성이 의료 영상에도, 위성 사진에도 유용했다. 마치 하나의 "시각적 진실"이 다양한 문제에 통하는 것처럼.
2021년, OpenAI의 CLIP이 이미지와 텍스트를 같은 벡터 공간에 매핑했다. 4억 개의 이미지-텍스트 쌍으로 학습한 결과, "골든 리트리버 사진"과 "골든 리트리버"라는 문장이 같은 점 근처에 위치하게 되었다.
여기서 연구자들이 이상한 점을 발견했다:
이것은 우연일까? 아니면 더 깊은 원리가 있을까?
플라톤의 동굴에서 죄수들은 그림자만 본다. 현대 AI에서 데이터는 그림자다.
각 모달리티는 현실의 서로 다른 그림자다. 그런데 이 그림자들 뒤에는 하나의 현실 — 플라톤이 말한 이데아 — 이 있다.
수학적으로 표현하면:
여기서 는 점별 상호 정보량(Pointwise Mutual Information) 커널이다. 두 사건이 함께 일어날 확률이 독립적으로 일어날 확률보다 얼마나 높은지를 측정한다.
논문은 대조 학습(contrastive learning)으로 학습하는 모델이 결국 이 PMI 커널을 근사한다는 것을 증명했다. 그리고 관측 함수가 전단사(bijection)이면, 어떤 모달리티로 PMI를 계산하든 같은 결과가 나온다:
즉, 이미지에서 계산한 동시출현 통계 = 텍스트에서 계산한 동시출현 통계 = 현실의 기저 구조.
유명한 "장님과 코끼리" 우화에서, 눈먼 사람들은 코끼리의 다리, 코, 귀를 만지고 서로 다른 것을 묘사한다. 하지만 이 논문이 말하는 것은 반대 결말이다:
충분히 많이, 충분히 오래 만지면, 모든 사람이 결국 같은 코끼리를 떠올린다.
AI 모델도 마찬가지다. 데이터가 충분하고, 모델이 충분히 크면, 비전이든 언어든 같은 현실 구조를 학습한다.
톨스토이의 안나 카레니나는 이렇게 시작한다: "행복한 가정은 모두 비슷하지만, 불행한 가정은 저마다의 이유로 불행하다."
연구팀은 78개의 비전 모델을 분석하면서 정확히 같은 패턴을 발견했다:
"강한 모델은 모두 비슷하지만, 약한 모델은 저마다의 방식으로 약하다."
Places-365 데이터셋에서 모델들의 표현을 상호 k-최근접 이웃(mutual k-nearest neighbor) 지표로 비교한 결과:
UMAP 시각화에서 고성능 모델들은 하나의 클러스터를 형성했고, 저성능 모델들은 사방으로 흩어져 있었다. 이것은 강력한 시사점을 제공한다: 좋은 표현은 하나로 수렴하고, 나쁜 표현은 무한히 많은 방식으로 나쁠 수 있다.
아래 인터랙티브 시각화에서 직접 확인해 보자. 성능 임계값을 올리면 약한 모델이 사라지고, 강한 모델들이 중앙으로 모이는 것을 볼 수 있다:
이미지만 본 모델과 텍스트만 읽은 모델이 비슷한 표현을 학습한다면, 이것을 어떻게 측정할 수 있을까?
연구팀은 Wikipedia 캡션 데이터셋(WIT)을 사용했다. 이미지와 그 이미지를 설명하는 텍스트가 쌍으로 되어 있는 데이터다.
놀라운 결과가 나왔다:
가장 인상적인 발견 중 하나는, LLM의 비전 모델 정렬도가 해당 LLM의 다운스트림 성능을 예측한다는 것이다.
DINOv2 비전 인코더와의 정렬 점수가 높은 LLM은:
비전 모델을 전혀 사용하지 않는 순수 텍스트 벤치마크인데도, 비전 모델과 얼마나 정렬되느냐가 성능을 예측한다. 이것은 좋은 표현이 모달리티를 초월한다는 강력한 증거다.
AI 모델의 표현은 인간 뇌의 표현과도 수렴하고 있다. 기능적 자기공명영상(fMRI)으로 측정한 인간의 시각 피질 활동 패턴이 딥러닝 모델의 중간 층 표현과 상당한 유사성을 보인다. 성능이 좋은 모델일수록 뇌와의 유사성이 더 높다.
이것은 AI가 인간의 신경 구조를 모방해서가 아니다. 같은 현실을 효과적으로 표현하려면 결국 비슷한 구조에 도달한다는 것이다.
이 논문에서 가장 아름다운 부분은 색상 동시출현 실험이다.
연구팀은 세 가지 완전히 다른 방법으로 "색상 간 관계"를 측정했다:
결과는 놀라웠다:
아래에서 직접 세 가지 모달리티의 색 표현을 비교해 보자:
"어느 도메인에서든 동시출현 통계를 학습하면, 대략 같은 지각적 표현을 복원한다." — 논문 원문
논문은 수렴을 이끄는 세 가지 메커니즘을 제시한다.
비유하면 이렇다. 한 과목만 잘하면 공부법은 무한하다. 하지만 수학, 국어, 영어, 과학, 사회를 모두 잘해야 한다면? 효율적인 공부법의 선택지가 극적으로 줄어든다.
AI 모델이 더 다양한 데이터를 학습할수록, "이것도 잘하고 저것도 잘하는" 표현은 점점 좁은 범위로 수렴한다.
산 정상을 찾는 것에 비유할 수 있다. 시야가 좁은(작은 모델) 등산가는 가장 가까운 봉우리에서 멈추고, 각자 다른 봉우리에 도달한다. 하지만 시야가 넓은(큰 모델) 등산가는 에베레스트(전역 최적해)를 향해 수렴한다.
역설적으로, 더 큰 모델이 더 단순한 해를 찾는다. 표현력이 넓어지면서 불필요한 복잡성 없이 데이터를 설명할 수 있게 되기 때문이다. 마치 더 많은 물감을 가진 화가가 더 깔끔한 그림을 그릴 수 있는 것처럼.
비전 모델을 학습할 때 텍스트 데이터를 추가하면 성능이 향상된다. 반대로, 언어 모델에 이미지 데이터를 추가해도 마찬가지다. OpenAI는 2023년에 이미지 데이터로 학습한 GPT가 순수 텍스트 벤치마크에서도 더 높은 성능을 보인다고 보고했다.
이것은 플라토닉 표현 가설의 직접적 예측이다: 다른 그림자(모달리티)에서 얻은 정보도 같은 현실을 학습하는 데 도움이 된다.
만약 스케일링이 현실의 정확한 통계적 모델로의 수렴을 이끈다면, 환각(hallucination)은 규모가 커질수록 줄어들 것이다. 모델이 현실의 통계적 구조를 더 정확히 포착할수록, 현실에 없는 것을 만들어낼 가능성이 줄기 때문이다.
이미지를 텍스트로, 텍스트를 이미지로 변환하는 작업이 점점 쉬워지는 이유가 설명된다. 두 모달리티의 표현이 이미 정렬되어 있다면, 단순한 선형 변환만으로도 매핑이 가능하다.
DALL-E, Midjourney, Stable Diffusion이 "텍스트→이미지" 생성을 가능하게 한 것도 이 수렴 덕분이다. 텍스트와 이미지의 표현 공간이 이미 비슷한 구조를 가지고 있어서, 그 사이를 연결하는 다리를 놓는 것이 상대적으로 쉬웠던 것이다.
논문은 정직하게 한계도 논의한다. 이 가설이 항상 성립하는 것은 아니다.
이론의 핵심 가정은 관측 함수가 전단사(bijection)라는 것이다. 즉, 현실의 서로 다른 상태가 서로 다른 관측으로 매핑되어야 한다.
하지만 현실에서는:
흥미로운 실험: 연구팀은 캡션 밀도(caption density)가 높을수록 비전-언어 정렬이 향상됨을 보였다. 즉, 이미지를 더 상세하게 설명한 텍스트는 비전 모델과의 정렬도가 더 높았다. 정보의 격차가 줄면 수렴도 강해진다.
교차 모달 정렬 점수는 약 0.16 (최대 1.0)이었다. 이것을 어떻게 해석해야 할까?
| 해석 | 낙관적 관점 | 비관적 관점 |
|---|---|---|
| 정렬 점수 0.16 | 강한 정렬 + 노이즈 | 설명되지 않는 큰 차이 |
| 스케일링 추세 | 규모가 커지면 1.0에 접근 | 어느 시점에서 정체될 수 있음 |
| 불일치의 원인 | 모달리티별 정보 격차 | 근본적 표현 차이 |
AI 커뮤니티가 인간과 유사한 추론을 목표로 모델을 설계하고 평가하기 때문에, 수렴이 "현실의 객관적 구조"가 아닌 "인간적 표현으로의 편향"일 수 있다. 하드웨어의 발전 방향(GPU 최적화, 대규모 행렬 연산)도 특정 유형의 모델을 유리하게 만든다.
모든 AI가 범용 표현으로 수렴할 필요는 없다. 로보틱스처럼 하드웨어 제약이 심한 분야나, 특정 과제에 초특화된 시스템은 플라토닉 표현과 다른 방향으로 갈 수 있다.
이 논문이 발표된 2024년 이후, 2년이 지난 2026년 현재, 수렴의 증거는 더욱 강력해지고 있다.
2024-2026년 사이 출시된 주요 모델들은 거의 모두 멀티모달이다:
이 모든 발전이 플라토닉 표현 가설의 예측과 일치한다: 모달리티를 추가할수록, 표현의 질이 향상되고, 서로 다른 모델 간의 정렬이 강화된다.
플라토닉 표현 가설은 한국 AI 산업에도 중요한 메시지를 전한다:
플라토닉 표현 가설은 과학철학의 오래된 논쟁과 연결된다: 수렴적 실재론(convergent realism).
이 입장은 과학적 탐구가 궁극적으로 진리에 수렴한다고 주장한다. 뉴턴 역학이 아인슈타인 상대론으로, 고전 물리학이 양자역학으로 발전하면서 점점 더 정확한 현실 모델에 가까워지듯이.
AI에서도 같은 일이 일어나고 있다면, 이것은 단순한 기술적 현상이 아니라 인식론적 사건이다. AI가 "현실을 이해"하기 시작했다는 뜻일 수 있다.
물론 논문은 신중하게 구분한다:
가설: 서로 다른 AI 모델의 표현이 공통된 통계적 현실 모델로 수렴한다
증거:
세 가지 동력:
한계:
비전사 관측으로 인한 정보 격차
측정 점수의 해석 불확실성
인간 중심 편향 가능성
전문화 vs 범용화의 긴장
2,400년 전 플라톤이 상상한 것처럼, AI 모델들은 각자의 동굴에서 서로 다른 그림자를 보고 있다. 하지만 충분히 강력해지면, 그 그림자들 뒤에 있는 하나의 빛을 향해 수렴하고 있다.
2026년의 우리는 이 수렴의 여정에서 아직 초입에 있을 수도 있고, 이미 절반을 지났을 수도 있다. 확실한 것은, 이 논문이 AI의 근본적인 질문 — "AI는 무엇을 학습하는가?" — 에 대해 가장 아름답고 야심찬 답을 제시했다는 것이다.
AI는 데이터의 패턴을 학습하는 것이 아니다. 현실 그 자체의 구조를 학습하고 있다.
그리고 그 구조는, 누가 어떤 방법으로 보든, 결국 같은 곳에 도달한다.
참고 문헌:
