「LLMs can't jump」는 고립된 비관론이 아니다. 과학철학의 조작적 가추, 기호 접지 문제, '쉬운 문제와 어려운 문제', 그리고 2026년까지 쏟아진 실증 연구가 한 점에서 만난다. 6,749명의 과학자가 평가한 25,139세트의 아이디어, 43명이 100시간씩 실행해 본 결과, cap set과 48회 행렬곱을 찾아낸 FunSearch·AlphaEvolve, 그리고 '신체 없는 가추'라는 정면 반론까지 — 찬성과 반례를 다섯 단계의 저울에 올린다.
지난 글 LLM은 도약하지 못한다에서 우리는 구글 딥마인드 톰 자하비(Tom Zahavy)의 포지션 페이퍼 「Position: LLMs can't jump」를 끝까지 따라갔다. 아인슈타인이 친구에게 그려 보낸 낙서 한 장, 경험(E)에서 공리(A)로 튀어 오르는 도약(J), 벌컨 행성, 엘리베이터 사고실험, 그리고 "LLM에는 케이블을 끊을 손이 없다"는 결론까지.
그런데 포지션 페이퍼는 본질적으로 주장이다. 논문 스스로도 "철학적·연구 방향적 입장"이라고 말한다. 그렇다면 당연한 질문이 남는다.
증거는 어디 있나? 찬성하는 증거도, 반박하는 증거도.
이 글은 그 질문에 답하려는 시도다. 자하비의 논문을 한 편의 고립된 비관론이 아니라, 네 개의 연구 전통이 만나는 교차로에 놓고 본다.
그리고 반대편에는 무시할 수 없는 반례가 있다. FunSearch는 수학자들이 못 찾던 구성을 찾았다. AlphaEvolve는 56년 만에 행렬 곱셈 기록을 깼다. Co-Scientist의 가설은 실험실에서 확인됐다. 이것들은 "도약"이 아닌가?
결론을 먼저 말하면 이렇다.
자하비의 "도약"을 가장 명료하게 번역해 주는 논문은 물리학이 아니라 인지과학에서 나왔다. 하버드의 루어리드 배틀데이(Ruairidh Battleday)와 새뮤얼 거시먼(Samuel Gershman)이 2024년에 쓴 「Artificial intelligence for science: The easy and hard problems」다.
두 사람은 AI가 과학에서 거둔 성과를 둘로 나눈다.
| 쉬운 문제 (Easy Problem) | 어려운 문제 (Hard Problem) | |
|---|---|---|
| 무엇을 하는가 | 이미 정의된 최적화 문제를 푼다 | 무엇을 문제로 볼지 정한다 |
| 입력·출력 | 사람이 미리 정해 놓았다 | 아직 없다 — 만들어야 한다 |
| 표현 방식 | 사람이 고른 변수·데이터 포맷 | 어떤 변수를 기본 단위로 삼을지부터 결정 |
| 목적함수 | 사람이 정한 손실·점수 | 무엇이 '좋은 답'인지 기준 자체를 세움 |
| 대표 사례 | AlphaFold, AlphaProof, 신약 후보 스크리닝 | 다윈의 자연선택, 아인슈타인의 등가원리 |
| AI 현황 | 거의 정복 | "지속적인 개념 수정"이 필요 — 가장 큰 공백 |
AlphaFold는 경이로운 성취다. 그러나 "아미노산 서열에서 3차원 구조를 예측한다"는 문제, 구조를 좌표로 표현하는 방식, 예측 정확도를 재는 기준 — 이 셋은 50년 동안 인간 구조생물학자들이 정의해 놓은 것이다. AlphaFold는 주어진 산을 가장 빨리 올랐지, 어느 산을 오를지 정하지 않았다.
배틀데이와 거시먼은 위대한 과학자의 핵심 능력이 기존 문제를 더 잘 푸는 것이 아니라 풀어야 할 문제 자체를 다시 구성하는 것이라고 말한다. 그리고 그 능력은 "잘 정의되지 않은 제약 아래에서의 지속적인 개념 수정(continual conceptual revision based on poorly defined constraints)"을 요구한다고 덧붙인다.
자하비의 언어와 나란히 놓으면 이렇게 된다.
강조점은 조금 다르다. 자하비는 감각 경험에서 공리로라는 인식론적 순간을 본다. 배틀데이와 거시먼은 누가 문제의 틀을 짰는가라는 공학적·제도적 질문을 본다. 그러나 두 논문을 겹쳐 읽으면 "LLM은 왜 아인슈타인처럼 생각하지 못하는가?"라는 막연한 질문이 다음과 같은 검사 가능한 질문으로 바뀐다.
이 발견에서 연구 질문, 변수, 평가 기준은 누가 정했는가?
이 질문은 이 글 전체를 관통하는 잣대가 된다. 잠시 뒤 반례들을 해부할 때 다시 꺼내겠다.
자하비의 처방을 떠올려 보자. LLM + 행동 가능한 세계 모델 + 개입. 이 처방의 철학적 원형은 2004년에 이미 쓰여 있었다.
이탈리아 과학철학자 로렌초 마냐니(Lorenzo Magnani)는 「Model-Based and Manipulative Abduction in Science」에서 가추(abduction)를 둘로 나눴다.
그리고 여기에 한 가지를 더 얹었다. 과학에서 행동과 물질적 조작은 검증 도구가 아니라 가설 생성 과정의 일부라는 것이다. 물체를 흔들고, 장치를 바꾸고, 그림을 그리고, 새 측정 도구를 써 보면 — 그 전에는 보이지 않던 제약과 관계가 드러난다. 마냐니는 이런 외부 대상과 도구를 인식적 매개체(epistemic mediator)라고 불렀다.
자하비의 "케이블을 끊을 수 있어야 한다"는 요구는 정확히 마냐니의 조작적 가추(manipulative abduction)를 2026년의 AI 시스템으로 구현하자는 주장이다. 논문도 이 개념을 명시적으로 인용한다.
그런데 자하비에 대한 중요한 수정이 같은 전통 안에서 나온다. 인지과학자 낸시 너세시안(Nancy Nersessian)은 『Creating Scientific Concepts』(MIT Press, 2008)에서 새로운 과학 개념이 무(無)에서 갑자기 나타나는 것이 아니라고 주장한다.
과학자는 다음을 반복한다.
즉 아인슈타인의 "가장 행복한 생각"도 설명 불가능한 마법의 섬광이 아니라, 기존 지식을 여러 표상으로 변환하고 시뮬레이션한 장기간의 모델 기반 추론 과정으로 분석할 수 있다는 것이다. 1907년의 직관에서 1915년의 장 방정식까지 7년이 걸린 이유다.
이것이 왜 중요한가. 자하비의 논문은 J를 "논리적으로 유도되지 않는 구간"이라고 규정한다. 옳다. 그러나 너세시안을 읽고 나면 이렇게 고쳐 쓸 수 있다.
이 수정은 뒤에서 만날 파머(Farmer)의 반론으로 곧장 이어진다.
자하비가 LLM을 "고차원 중국어 방"이라고 부를 때, 그 뒤에는 36년 된 논쟁이 있다.
스테반 하나드(Stevan Harnad)는 1990년 「The Symbol Grounding Problem」에서 이렇게 물었다. 기호의 의미가 오직 다른 기호로만 정의된다면, 그것은 중국어 사전만으로 중국어를 배우려는 것과 같지 않은가? 사전의 모든 항목은 다른 항목을 가리킬 뿐이다. 어딘가에서 기호의 일부는 감각과 행동, 비기호적 범주에 닿아야 한다.
30년 뒤, 이 질문은 LLM을 정면으로 겨냥했다.
자하비는 이 계보를 한 단계 더 밀어 올린다.
| 기존 접지 논쟁의 주장 | 자하비의 확장 |
|---|---|
| 접지되지 않은 언어는 의미 이해에 한계가 있다 | 접지되지 않은 언어는 새로운 과학적 기본 개념을 발명하는 데도 한계가 있다 |
| 질문: "이 시스템은 이해하는가?" | 질문: "이 시스템은 등가원리를 만들어낼 수 있는가?" |
| 무대: 언어학·인지과학 | 무대: 과학적 발견의 역사 |
다만 반대편도 만만치 않다. 피안타도시와 힐(Piantadosi & Hill, 2022)은 「Meaning without reference in large language models」에서, 의미의 중요한 부분은 직접적인 물리적 지시가 아니라 개념 간의 관계와 내부 표상의 역할(conceptual role)만으로도 형성될 수 있다고 반론한다. "빨강"의 의미는 빨간 것을 본 경험만이 아니라, 빨강이 주황·분홍·피·사과·신호등과 맺는 관계망에서도 나온다는 것이다.
이 논쟁은 아직 끝나지 않았다. 그러나 자하비의 질문은 "이해"가 아니라 "발명"이므로, 피안타도시의 반론이 그대로 적용되는지는 별도로 따져야 한다. 개념 간 관계만으로 기존 의미를 재구성할 수 있다는 것과, 관계망에 없던 새 축을 만들 수 있다는 것은 다른 주장이다.
철학은 여기까지. 이제 데이터다. 지난 2년 동안 "LLM은 과학적으로 창의적인가"를 실제로 측정한 연구가 쏟아졌다. 자하비의 약한 해석을 지지하는 것부터 본다.
이 두 연구는 반드시 함께 읽어야 한다. 따로 읽으면 정반대 결론이 나온다.
첫 번째 — 「Can LLMs Generate Novel Research Ideas?」(2024). 스탠퍼드의 시청레이(Chenglei Si), 양디이(Diyi Yang), 하시모토 타츠노리(Tatsunori Hashimoto)는 100명 이상의 NLP 연구자를 모아 블라인드 평가를 했다. 결과: LLM이 만든 아이디어가 인간 전문가의 아이디어보다 더 새롭다고 평가됐다(p < 0.05). 실현 가능성은 조금 낮았다.
여기서 멈추면 "LLM도 충분히 새로운 과학 아이디어를 만든다"가 결론이다.
두 번째 — 「The Ideation–Execution Gap」(2025). 같은 팀이 한 걸음 더 갔다. 43명의 전문 연구자에게 무작위로 배정된 인간 또는 LLM 아이디어를 각각 100시간 이상 실제로 구현하고 4쪽짜리 논문으로 쓰게 했다.
실행 전에는 LLM 아이디어가 새롭고 흥미로워 보였다. 실행 후에는 —
네 지표 모두에서 LLM 아이디어의 점수가 인간 아이디어보다 유의하게 더 크게 떨어졌다(p < 0.05). 일부 지표에서는 순위가 역전됐다 — 실행 전에는 LLM이 앞섰는데 실행 후에는 인간이 앞섰다.
두 연구를 합치면 이 글에서 가장 중요한 문장 하나가 나온다.
언어적으로 새로워 보이는 아이디어와, 현실의 제약을 견디는 생산적인 과학 아이디어는 다르다.
자하비가 말한 jump는 심사자가 읽고 "새롭다"고 느끼는 문장이 아니다. 새로운 설명이 실제 실험과 계산을 통과하고 다음 연구를 만들어내는 과정이다. 첫 번째 연구는 문장을 쟀고, 두 번째 연구는 과정을 쟀다.
2026년 6월에 공개된 시카고 대학 제임스 에번스(James Evans) 팀의 「Contemporary AI lacks the imagination to diverge or negate in science」는 현재까지 가장 규모가 큰 실증이다.
연구진은 생물학·의학·화학·사회과학 분야의 최근 프리프린트 121,640편의 저자들에게 연락했다. LLM에게 각 논문의 후속 연구 아이디어를 만들게 하고, 그 논문을 쓴 당사자에게 평가를 부탁한 것이다. 6,749명의 과학자가 25,139세트의 아이디어를 평가했다.
| 발견 | 의미 |
|---|---|
| 일반 LLM의 아이디어는 서로 비슷한 방향으로 수렴했다 | 논문은 이를 하이브마인드(hivemind)라고 불렀다 — 집단적 동질화 |
| 추론 모델은 더 넓은 공간을 탐색했다 | 그러나 — |
| 어떤 모델도 귀무가설(효과가 없다는 가설)을 자발적으로 제안하지 않았다 | 인간 과학자는 "이건 아닐 수도 있다"를 말한다. LLM은 말하지 않았다 |
| 사회과학처럼 맥락과 복수 이론이 중요한 분야에서 특히 약했다 | 정답이 하나로 수렴하지 않는 곳에서 취약 |
| LLM 심사자는 실제 전문가 판단과 약한 상관만 보였다 | "LLM이 LLM을 평가"하는 벤치마크의 한계 |
| 검색 증강·페르소나 프롬프트의 개선폭은 제한적이었다 | 프롬프트로 고칠 수 있는 문제가 아니다 |
한 가지 더. 연구진은 2010~2025년 논문 3,900만 편을 분석해, ChatGPT 등장 이후 과학 문헌에서 귀무 결과(null claims)가 억제되는 경향까지 발견했다. AI가 "효과가 없다"고 말하지 않으니, AI를 쓰는 과학도 그렇게 된다는 것이다.
이 결과는 LLM이 "아무 아이디어도 못 만든다"는 뜻이 아니다. 정확히는 —
LLM은 그럴듯한 다음 연구는 잘 제안한다. 그러나 기존 방향을 부정하거나 아무 효과가 없을 가능성을 진지하게 탐색하는 능력은 약하다.
자하비의 용어로 옮기면, LLM은 기존 공간 안의 이웃 지점은 잘 찾지만 공간을 벗어나는 방향(diverge)이나 공간을 부정하는 방향(negate)에는 약하다. 아인슈타인의 도약은 뉴턴 역학을 부정하는 것이었다.
「Generative AI lacks the human creativity to achieve scientific discovery from scratch」(Scientific Reports, 2025)는 다른 각도에서 같은 것을 봤다. 연구진은 GPT-4에게 시뮬레이션된 분자유전학 실험실을 주고 — 노벨상 수상 연구를 본뜬 과제였다 — 가설을 세우고 실험을 설계하게 했다.
자하비의 E·J·A·S 순환으로 말하면, GPT-4는 주어진 공리에서 결과를 뽑는 A → S에는 능했지만, 이상한 경험을 토대로 새로운 A를 발명하는 데는 약했다. 1913년의 아인슈타인이 Entwurf의 실패를 2년간 추적해 공리를 고친 것과 정반대다.
공정하게 말하면 이 연구는 모델 하나(GPT-4)와 단순화된 환경 하나에 기반한다. LLM의 구조적 불가능성을 증명하지는 못한다. 그러나 방향은 앞의 연구들과 일치한다.
2026년 5월의 「AI Research Agents Narrow Scientific Exploration」은 규모를 더 키웠다. 5개의 AI 연구 에이전트 프레임워크와 5개의 LLM으로, 동일한 선행 문헌에서 219,655개의 연구 아이디어를 만들었다. 그리고 이를 인간 연구자가 같은 문헌에서 실제로 쓴 후속 논문과 비교했다.
(막대는 네 발견의 방향을 시각화한 것이며 논문의 정량 수치가 아니다.)
저자들의 결론은 현재 AI 연구 에이전트가 과학의 범위를 넓히는 시스템이 아니라 기존 영역을 국소적으로 확장하는 시스템이라는 것이다. 차이가 생기더라도 새로운 연구 질문보다는 기존 방법들의 재조합인 경우가 많았다.
이 연구는 자하비의 jump를 기하학적으로 정의해 준다.
"그건 LLM 단독 이야기고, 도구와 실험 루프를 붙인 AI 과학자 에이전트는 다르지 않나?" 당연한 반문이다. 2026년 5월의 포지션 페이퍼 「Agentic AI Scientists Are Not Built For Autonomous Scientific Discovery」(Bisht, Kumar, Jablonka, Mausam, Krishnan)가 정확히 이 반문을 다룬다.
저자들은 현재 AI 과학자 시스템의 구조적 한계를 넷으로 정리한다.
②는 마냐니의 조작적 가추와 정확히 맞물린다. 손으로 만져서 얻는 지식이 텍스트에 없다면, 텍스트로 학습한 시스템은 그 지식 없이 시작한다. ④는 자하비의 "세계와의 능동적 상호작용 부재"를 벤치마크 설계의 언어로 다시 쓴 것이다.
이 논문은 자하비보다 한 걸음 더 나간다.
에이전트와 도구를 붙였더라도, 문제 선택·실패 지식·실험 피드백이 없으면 자율적 과학자가 아니다.
마지막으로, 개별 LLM의 능력이 아니라 AI가 과학 생태계 전체를 어떻게 바꾸는지 본 연구가 있다.
2026년 1월 Nature에 실린 「Artificial intelligence tools expand scientists' impact but contract science's focus」(Hao, Xu, Li, Evans)는 자연과학 논문 4,130만 편을 분석했다.
| 개인 수준 — AI 사용 연구자 | 집단 수준 — 과학 전체 |
|---|---|
| 논문 수 3.02배 | 연구 주제의 부피 4.63% 축소 |
| 인용 4.84배 | 주제 간 교류(engagement) 22% 감소 |
| 연구 리더가 되기까지 1.37년 단축 | 데이터가 풍부한 기존 분야로 집중 |
역설이 선명하다. AI는 연구 생산성을 높이면서 새로운 질문의 다양성은 줄인다. 그리고 2024년 Nature의 메세리와 크로켓(Messeri & Crockett)은 같은 현상의 인지적 측면을 짚었다 — AI 도구는 연구자에게 실제보다 더 많이 이해했다는 이해의 환상(illusions of understanding)을 주고, 과학을 특정 방법론의 단일 재배(monoculture)로 몰 수 있다. 그들의 표현으로 "더 많이 생산하고, 더 적게 이해한다(produce more but understand less)."
이 계열의 연구는 LLM이 개별적으로 도약할 수 있는지를 직접 시험하지 않는다. 그러나 더 무거운 문제를 제기한다. LLM이 과학에 대규모로 쓰일 때, 인간 과학자들의 도약 가능성까지 좁힐 수 있다. 4-2에서 본 "귀무 결과 억제"가 바로 그 징후다.
여기서 잠깐 용어를 정리해야 한다. 지금까지의 증거가 "LLM은 가추를 전혀 못 한다"를 지지하는가? 아니다.
2026년 4월의 종합 서베이 「Wiring the 'Why': A Unified Taxonomy and Survey of Abductive Reasoning in LLMs」(Salimi et al.)는 LLM의 가추를 처음으로 체계적으로 정리하면서, 가추를 두 단계로 분해한다.
현재 LLM은 여러 가추 벤치마크에서 상당한 성능을 보인다. 따라서 "LLM은 가추를 할 수 없다"는 문장은 거짓이다. 그러나 서베이는 기존 연구의 편향을 지적한다.
마냐니의 구분을 여기에 겹치면 그림이 맞아떨어진다. LLM은 준비된 설명 중 하나를 고르는 선택적 가추는 잘한다. 새로운 설명 범주와 개념을 발명하는 창조적 가추는 별개의 문제다. 4장의 실증 연구들이 측정한 것은 정확히 후자였다.
그래서 자하비의 주장은 이렇게 정교화된다.
LLM은 가추를 전혀 못 하는 것이 아니라, 열린 세계에서 새로운 설명 공간을 만드는 가추가 취약하다.
이제 반대편 증인을 부를 차례다. 자하비의 제목을 "LLM이 포함된 시스템은 절대 새로운 발견을 못 한다"로 읽으면, 반례는 이미 존재한다. 그것도 여럿.
LLM이 프로그램 후보를 생성하고 → 자동 평가기가 점수를 매기고 → 진화적 탐색이 우수한 프로그램을 골라 다시 LLM에 넣는다. 이 루프가 cap set 문제에서 수학자들이 알던 최고 구성을 넘어서는 새 구성을 찾았고, 온라인 bin packing 휴리스틱을 개선했다.
이것은 새롭고, 검증 가능한, 수학적 결과다. 의심의 여지가 없다.
같은 구조를 더 강력한 모델(Gemini)과 더 넓은 문제로 확장했다. 결과는 유명하다. 4×4 복소 행렬 곱셈을 48회의 스칼라 곱셈으로 — 1969년 슈트라센 알고리즘 이후 56년 만의 개선. 50개 이상의 공개 수학 문제에 적용했을 때 약 75%에서 기존 최고를 재발견하고 약 20%에서 개선했다. 11차원 키싱 넘버 하한(593), 구글 데이터센터 스케줄링 0.7% 회수, Gemini 학습 커널 23% 가속.
다중 에이전트가 가설을 생성하고, 토론하고, 비판하고, 토너먼트로 개선한다. 약물 재창출(급성 골수성 백혈병, in vitro 확인), 간 섬유화 치료 표적, 항생제 내성 메커니즘에서 시스템의 가설이 실제 실험으로 뒷받침됐다.
아이디어 생성 → 문헌 검색 → 코드 실행 → 실험 → 논문 작성 → 리뷰까지 워크플로 전체를 자동화했다. AI가 쓴 논문 한 편이 주요 머신러닝 학회 워크숍의 심사에서 인간 평균 채택 기준을 넘었다.
네 증인은 모두 진짜다. 그러나 1장에서 준비한 잣대를 대 보자. 연구 질문, 변수와 표현, 평가 기준은 누가 정했는가?
| 시스템 | 문제는 누가 | 표현은 누가 | 평가기는 누가 | 실패로부터 수정 | 공간을 바꿨나 |
|---|---|---|---|---|---|
| FunSearch | 사람 (cap set) | 사람 (프로그램) | 사람 (점수 함수) | 루프가 대신함 | 아니오 |
| AlphaEvolve | 사람 (50개 문제) | 사람 (코드) | 사람 (자동 검증기) | 루프가 대신함 | 아니오 |
| Co-Scientist | 사람 (연구 목표) | 부분적으로 AI | 사람 (전문가 선별) | 토론·토너먼트 | 아니오 |
| AI Scientist | 템플릿 안에서 AI | 사람 (템플릿) | 사람 (학회 관행) | 약함 | 아니오 |
| 아인슈타인 | 본인 | 본인 (힘 → 기하) | 본인 (일반 공변성) | 1913→1915 | 예 |
패턴이 보인다. FunSearch와 AlphaEvolve는 정해진 형식 공간 안에서의 진짜 발견이다. 그 형식 공간 — 어떤 문제를 풀지, 답을 프로그램으로 표현한다는 것, 무엇이 더 좋은 답인지 — 은 모두 인간이 줬다. 이 시스템들의 구조를 한 줄로 쓰면:
자하비가 논문에서 AlphaEvolve를 언급하며 "고정된 프레임워크 안의 최적화에는 탁월하지만 경사에 의존한다. 아인슈타인에게는 뉴턴 역학으로부터의 오류 신호가 없었다"고 쓴 것이 정확히 이 지점이다. 평가기가 있는 곳에서는 LLM이 도약처럼 보이는 결과를 낸다. 평가기가 없는 곳 — 뉴턴의 손실이 이미 0인 곳 — 이 문제다.
Co-Scientist는 흥미롭다. 가설의 표현은 에이전트 토론 안에서 상당 부분 스스로 정한다. 그러나 연구 목표는 사람이 줬고, 후보 선택과 실험실 검증은 인간 연구진이 했다. AI Scientist는 주제 선택까지 자동화했지만, "워크플로 전체를 자동 수행하는 것"과 "새로운 과학적 패러다임을 발명하는 것"은 다르다.
그렇다면 반례들이 보여주는 것은 무엇인가.
자하비의 처방 가운데 가장 논쟁적인 부분은 체화(embodiment) 요구다. "LLM에는 케이블을 끊을 손이 없다." 그렇다면 손이 있어야만 도약할 수 있는가?
2026년 8월 3일 — 이 글을 쓰기 3주 전 — 에 공개된 마이클 파머(Michael Farmer)의 「Abduction Without a Body? Representational Grounding and the Abduction Loop for Scientific Hypothesis Generation」은 이 요구에 가장 직접적으로 반론한다.
파머의 주장은 이렇다. 지속적으로 물리적 세계와 연결된 신체가 모든 가추에 반드시 필요한 것은 아니다. 과학자는 물리적 행동 대신 표상 변환을 통해서도 새로운 관계를 발견한다.
파머는 이것을 표상적 접지(representational grounding)라고 부르고, 위 다섯 단계를 Abduction Loop로 제안한다. 논문의 동기가 된 사례는 중력파의 '기억 효과' 전달 도식과 약한 중력렌즈의 카이저-스퀴어스(Kaiser-Squires) 복합체 사이의 구조적 동일성이었다 — 두 그림이 "같은 그림"이라는 것을 알아본 것이다.
이 반론은 2장의 너세시안과 정확히 이어진다. 아인슈타인도 결국 리만 기하라는 표상으로 옮겨 가서야 이론을 완성했다. 물리적 감각이 시작이었다면, 표상 변환이 과정이었다. 파머는 "시작도 표상에서 할 수 있다"고 말하는 것이다.
그런데 여기서 정직해야 한다. 파머의 논문이 실제로 반박하는 것과 반박하지 않는 것을 나누면:
| 파머가 반박하는 명제 | 파머가 반박하지 않는 명제 |
|---|---|
| "모든 과학적 가추에는 지속적인 물리적 신체가 반드시 필요하다" | "과학적 가추에는 어떤 형태로든 표상, 제약, 검증, 외부 피드백이 필요하다" |
| 자하비의 처방 중 '체화'라는 특정 형태 | 자하비의 진단 — LLM은 기호의 연결만 있고 그 기호가 가리키는 구조에 닿지 못한다 |
그리고 저자 스스로 명시한 한계가 있다. 제시된 사례 하나가 일반적인 AI 창의성의 증거는 아니다. 제안된 DAB-30 벤치마크의 실험 결과는 이 논문에 없다(후속 논문에서 보고 예정). 따라서 이것은 강력한 기계적 가설과 연구 프로그램이지, 자하비를 실험적으로 반박한 결과는 아니다.
그렇다고 가볍게 볼 일도 아니다. 파머의 주장이 맞다면, 자하비의 "세계 모델" 요구는 다이어그램·코드 실행·자동 정리 증명·가상 실험실로 대체 가능할 수 있다. 그리고 6장의 FunSearch가 보여준 "자동 평가기 루프"가 바로 그 표상적 접지의 초보 형태라고 볼 수도 있다. 물리적 세계가 아니라 수학적 세계가 평가기 역할을 한 것이다. 자하비도 논문 말미에 "수학·컴퓨터과학에서는 감각 경험(E)이 고차원 위상이나 형식 체계의 추상적 지형에 접지될 수 있다"고 열어 두었다.
지금까지의 증거를 한 장에 모으면, 왜 이 논쟁이 계속 엇갈리는지 보인다. 서로 다른 사람들이 서로 다른 것을 재고 있었다.
| 단계 | 질문 | 현재 증거 | 근거 |
|---|---|---|---|
| 1. 언어적 새로움 | 새로운 문장과 아이디어를 만들 수 있는가? | 가능하다 | Si et al. 2024 — 인간보다 더 새롭다고 평가 |
| 2. 제한된 가추 | 기존 도메인 안에서 설명 후보를 만들고 고를 수 있는가? | 가능하지만 불균일 | Salimi et al. — 정적·선택형 벤치마크에 치우침 |
| 3. 검증된 발견 | 사람이 문제와 평가기를 주면 새 결과를 찾을 수 있는가? | 가능하다 | FunSearch · AlphaEvolve · Co-Scientist |
| 4. 문제·표상의 발명 | 무엇이 문제인지, 어떤 변수를 쓸지 스스로 재정의할 수 있는가? | 증거가 약하다 | Battleday·Gershman의 Hard Problem — 가장 큰 공백 |
| 5. 패러다임적 도약 | 새 개념 체계와 공리를 만들고 장기간 실험으로 키울 수 있는가? | 확립된 증거 없음 | 자하비가 문제 삼는 지점 |
"LLM이 창의적인가?"라는 하나의 질문으로 묶으면 답이 갈린다.
이것은 모순된 결과가 아니라, 서로 다른 수준을 측정한 것이다. 직접 판정해 보자.
판정기에서 아인슈타인 사례를 고른 뒤 답을 하나씩 꺼 보면 흥미로운 것이 보인다. "공간을 바꿨다"를 꺼도 4단계에 머문다. "문제를 골랐다"와 "표현을 정했다"를 끄면 3단계 — FunSearch와 같은 칸 — 으로 떨어진다. 단계를 가르는 것은 결과의 놀라움이 아니라 틀을 누가 짰는가다.
자하비의 제목 「LLMs can't jump」는 포지션 페이퍼의 제목으로는 강렬하다. 그러나 증거 앞에서는 조금 더 제한해서 받아들여야 한다.
LLM은 새로운 것을 만들지 못하며, 앞으로도 과학적 발견을 할 수 없다.
이것은 현재 증거와 맞지 않는다. LLM은 새로운 연구 아이디어를 만들고(1단계), 유추와 가설 선택 문제를 풀며(2단계), 외부 평가기와 결합하면 기존 최고치를 넘어서는 검증 가능한 결과도 찾는다(3단계).
현재의 텍스트 중심 LLM은 외부 세계와의 능동적 상호작용, 장기적인 이상 현상 추적, 실패로부터의 개념 수정, 문제와 표현 체계의 자율적 재구성 없이 패러다임 수준의 과학적 가추를 안정적으로 수행하기 어렵다.
이 약한 형태의 주장은 배틀데이·거시먼, Bao et al., Ding·Li, Tang·Yang, Bisht et al.의 결과와 상당히 일치한다. 그리고 Si et al.의 실행 연구는 왜 1단계의 성공이 4·5단계의 증거가 되지 못하는지를 보여준다.
다이어그램, 코드 실행, 시뮬레이션, 자동 정리 증명, 가상 실험실도 세계와의 접지 역할을 할 수 있다. 파머의 표상적 접지와 FunSearch의 자동 평가 루프가 바로 이 가능성을 보여준다. 자하비의 진단(기호에 갇혀 있다)은 살아남고, 처방의 특정 형태(물리적 체화)는 열린 문제로 남는다.
이 글의 잣대는 논문 비평에만 쓰이지 않는다. 앞으로 "AI가 새로운 것을 발견했다"는 발표를 볼 때마다 다음 다섯 가지를 확인하면 된다. 8장의 판정기가 묻는 질문과 같다.
FunSearch는 4번까지 매우 강하지만 1~3번은 대부분 인간이 제공한다. Co-Scientist도 실험 가능한 가설을 만들지만 연구 목표와 검증 구조는 전문가가 준다. 자하비가 말하는 진정한 jump는 이 다섯 항목 중 앞부분까지 AI가 인수하는 것이다.
그리고 이 잣대는 거꾸로 지금 당장 AI를 어떻게 써야 하는지도 알려준다.
지난 글의 마지막 문장은 "도약은 순간이지만 값은 비싸다"였다. 이번 글의 마지막 문장은 조금 더 건조하다.
현재 LLM은 기존 지식 공간 안에서 새롭고 유용한 지점을 찾을 수 있다. 그러나 무엇을 공간으로 삼을지, 어떤 축을 사용할지, 언제 그 공간을 버려야 하는지를 스스로 결정하는 능력은 아직 충분히 입증되지 않았다.
이것은 자하비의 패배도, 승리도 아니다. 제목은 강했고 증거는 그보다 섬세했다. 강한 해석은 FunSearch와 AlphaEvolve 앞에서 무너지고, 약한 해석은 6,749명의 과학자와 43명의 실행자 앞에서 살아남는다. 그리고 파머의 반론은 처방의 형태를 열어 두되 진단은 건드리지 못한다.
1915년 11월, 아인슈타인은 4주 연속으로 논문을 제출했다. 그가 한 일은 뉴턴의 방정식을 더 잘 푸는 것이 아니었다. 중력이라는 단어가 가리키는 것을 힘에서 기하로 옮기는 것이었다. 공간 안의 더 좋은 점이 아니라, 공간의 축을 바꾼 것이다.
2026년의 AI는 점을 찾는 데 놀랍도록 능숙해졌다. 축을 바꾸는 일은 — 적어도 지금까지의 증거로는 — 여전히 사람의 일이다. 그리고 그 사실은 AI를 쓰는 모든 조직에게, 사람이 어디에 서 있어야 하는지를 정확히 알려준다.
| 용어 | 뜻 | 출처 |
|---|---|---|
| 쉬운 문제 / 어려운 문제 | 정의된 최적화를 푸는 것 / 무엇을 문제로 볼지 정하는 것 | Battleday & Gershman 2024 |
| 선택적 가추 / 창조적 가추 | 알려진 후보 중 고르기 / 새 후보 자체를 만들기 | Magnani 2004 |
| 조작적 가추 | 행동·조작이 가설 생성의 일부인 추론. 인식적 매개체를 사용 | Magnani 2004, 2009 |
| 기호 접지 문제 | 기호의 의미가 기호만으로 정의될 수 없다는 문제 | Harnad 1990 |
| 표상적 접지 | 물리적 신체 대신 다이어그램·수식의 구조 변환으로 접지하기 | Farmer 2026 |
| Ideation–Execution Gap | 아이디어 평가 점수와 실행 후 점수의 괴리 | Si et al. 2025 |
| 하이브마인드 | 여러 LLM의 아이디어가 비슷한 방향으로 수렴하는 현상 | Bao et al. 2026 |
| 이해의 환상 | AI 도구가 실제보다 더 이해했다는 느낌을 주는 현상 | Messeri & Crockett 2024 |
| 맥나마라 오류 | 측정 가능한 것만 중요하다고 여기는 오류 | Bisht et al. 2026 |
자하비 원문과 전편
문제 설정과 과학철학
기호 접지
실증 연구
반론과 반례
![[특집] 생각은 이제 세 개의 시스템에서 일어난다 — 시스템 3과 '인지적 항복'의 역사, 사례, 그리고 2026년](/_next/image?url=%2Fblog%2Fsurrender-sp-hero.png&w=3840&q=75&dpl=dpl_H6AnbANQC8N8ALo2uVFMN4yiRG3P)