자율주행에 L0~L5가 있듯 AI 연구 자동화에도 단계가 있다. 24개 기관 연구진이 49쪽 서베이로 그 지도를 그렸고, 결론은 냉정하다 — 화려한 파이프라인들은 전부 L2다. 그런데 같은 달, 한 스타트업의 AI는 스스로 벤치마크 3개에서 세계 기록을 갈아치웠다. 지도와 영토가 어긋나는 지점에서 2026년 AI 과학의 진짜 좌표를 읽는다.
2026년 5월과 8월, AI가 과학을 한다는 같은 주제로 성격이 완전히 다른 두 편의 글이 나왔다.
하나는 차가운 지도다. 화중과기대·리하이·칭화·스탠퍼드·마이크로소프트 리서치 등 16개 기관 24명이 쓴 49쪽짜리 서베이 「AutoResearch AI」(arXiv:2605.23204). 이 논문은 지금까지 나온 AI 과학자 시스템들을 한 줄로 세워 놓고 이렇게 말한다.
"파이프라인의 폭을 과학적 자율성으로 착각해서는 안 된다."
그리고 그 유명한 The AI Scientist도, Agent Laboratory도, 심지어 구글의 Co-Scientist도 전부 L2로 분류한다. 5단계 중 두 번째다.
다른 하나는 뜨거운 영토다. 2026년 8월, Recursive Superintelligence라는 스타트업이 「First Steps Toward Automated AI Research」를 공개했다. 자기네 AI가 스스로 아이디어를 내고 구현하고 실험해서 세 개의 벤치마크에서 세계 최고 기록을 세웠다는 내용이다. 그중 하나는 두 해 동안 전 세계 연구자들이 갈아 온 NanoGPT 스피드런 기록이었다.
같은 해, 같은 분야. 한쪽은 "아직 멀었다"고 하고 다른 쪽은 "이미 이겼다"고 한다. 둘 다 맞다. 그리고 그 둘이 왜 동시에 맞을 수 있는지를 이해하는 것이, 2026년 AI와 과학의 관계를 이해하는 가장 빠른 길이다.
이 글은 그 두 논문을 나란히 놓고 읽는다. 서베이가 그린 지도를 먼저 익히고, 그 지도 위에 Recursive의 실제 성과를 찍어 보면 — 놀랍게도 좌표가 정확히 들어맞는다.
자동차 업계에는 SAE가 정한 자율주행 레벨 L0~L5가 있다. 이 구분이 유용한 이유는 단순하다. "자율주행 된다"는 말이 회사마다 다른 뜻이었기 때문이다. 어떤 회사의 '자율주행'은 차선 유지였고, 어떤 회사의 '자율주행'은 운전대에서 손을 떼도 되는 것이었다. 레벨이 생기고 나서야 비로소 비교와 규제와 안전 논의가 가능해졌다.
AI 연구 자동화도 정확히 같은 문제를 앓고 있었다. 논문의 표현을 빌리면:
"기존 시스템들은 자율성, 도메인 범위, 실행 환경, 검증 메커니즘, 인간 감독 의존도에서 상당히 다르다."
어떤 시스템은 논문을 검색해 요약해 주고, 어떤 시스템은 코드를 짜서 돌리고, 어떤 시스템은 논문 초안까지 쓴다. 그런데 이들이 전부 "AI 과학자"라는 한 단어로 불렸다. 비교할 방법이 없었다.
이 문제의식이 갑자기 나온 건 아니다. 논문은 AI 과학 자동화의 역사를 이렇게 정리한다.
논문은 이 계보를 한 장의 도표로 정리했다. 눈여겨볼 것은 맨 아래 두 줄 — L3와 L4에는 시스템이 거의 없다는 사실이다.
크게 보기
▲ 논문 Figure 4. 대표 시스템·벤치마크·오픈소스 인프라를 L0–L4 자율성 스펙트럼에 배치했다. L2가 다시 단일 단계(L2-S)·상호작용(L2-I)·파이프라인(L2-P)으로 세분된 반면, L3 칸에는 시스템 대신 "AI 주도 조율은 아직 신뢰할 만하게 입증되지 않았다"는 문장 하나가 놓여 있다. (출처: Tie et al., arXiv:2605.23204)
논문의 핵심 기여는 워크플로 자율성 5단계다. 중요한 건 이 단계가 "AI가 얼마나 자주 등장하는가"가 아니라 "AI가 연구 워크플로를 조직·실행·검증·종결하는 데 얼마나 깊이 참여하는가"를 기준으로 삼는다는 점이다.
크게 보기
▲ 논문 Figure 2. 통제(Control)·실행(Execution)·검증(Validation) 세 축이 인간에서 AI로 이동하는 양상. 맨 아랫줄 '검증'이 가장 늦게까지 인간에게 남아 있다는 점을 눈여겨볼 것. (출처: 같은 논문)
각 단계를 풀어 보면 이렇다.
| 단계 | 핵심 성격 | 결정적 구분점 |
|---|---|---|
| L0 인간 전용 | 모든 단계를 인간이 수행. 디지털 도구는 쓰지만 과학적 주체성은 이동하지 않는다 | 단순히 인간이 있다는 게 아니라, 과학적 판단·워크플로 종결·책임이 모든 중요한 전환점에서 온전히 인간에게 남아 있다 |
| L1 인간 주도, AI 보조 | 문헌 검색·요약·설명·브레인스토밍·초안·가벼운 분석을 AI가 가속 | 실행이나 종결의 이전이 아니라 국소적 인지 보조의 반복 삽입. AI는 워크플로에 정보를 주지만 실질적으로 통제하지는 않는다 |
| L2 인간 검증, AI 실행 | 파일 읽고 고치기, 코드 생성·수정, 도구 호출, 분석 실행, 중간 산출물 생성 | AI가 원래 인간이 직접 해야 했던 일을 수행하기 시작. 그러나 타당성·신규성·재현성·최종 수용 판단은 인간이 쥔다 |
| L3 AI 주도, 인간 보조 | 근거 확보·계획·실행·검증·수정·보고까지 워크플로의 큰 부분을 AI가 조직 | 경계는 파이프라인 길이가 아니다. 통상적인 워크플로 통제·분기 선택·기각·계속 여부가 여전히 일상적 인간 검증에 의존하는가가 기준 |
| L4 AI 자율 | 인간이 통상적 워크플로 종결에 구조적으로 필요하지 않은 상태 | 논문은 이를 달성된 체제가 아니라 분석적 상한으로 사용한다 |
논문이 만든 신조어 하나가 재밌다. Vibe Research(바이브 리서치).
"바이브 코딩"이 코드를 직접 짜지 않고 AI에게 감으로 시켜 만드는 방식을 가리키듯, 바이브 리서치는 L1~L2 구간, 즉 인간이 방향을 잡고 AI가 국소 역량을 확장하는 영역을 부르는 실무자 친화적 약칭이다.
그리고 이 논문에서 가장 실용적인 도표가 여기 있다. 우리가 실제로 쓰는 도구들이 어느 단계, 어느 작업 칸에 들어가는지를 그린 그림이다.
크게 보기
▲ 논문 Figure 1. 가로축은 연구 워크플로 5단계(문헌 읽기 → 아이디어 생성 → 실험 실행 → 검증·수정 → 논문 작성), 세로축은 자율성 레벨. L1 칸에는 ChatGPT·Claude·Gemini·Elicit·Semantic Scholar·GitHub Copilot이, L2 칸에는 NotebookLM·Perplexity·Claude Code·Codex·Cursor·DeepEval·Overleaf AI가 배치돼 있다. L3·L4 칸에는 도구 이름이 하나도 없다. (출처: 같은 논문)
이 그림이 좋은 이유는 추상적 프레임워크가 아니라 지금 내 브라우저 탭에 열려 있는 도구들의 지도이기 때문이다. Claude Code로 실험 코드를 돌린다면 당신은 '실험 실행' 칸의 L2에 있고, ChatGPT로 아이디어를 다듬는다면 '아이디어 생성' 칸의 L1에 있다.
그리고 L3·L4 칸이 비어 있다는 것 — 그게 이 논문의 핵심 주장이다.
논문이 The AI Scientist를 L2로 분류하는 근거는 명확한 규칙에 있다.
"시스템은 입증된 워크플로 역할과 부합하는 가장 낮은 자율성 체제에 배치되며, 통합 파이프라인은 일상적 인간 검증이 여전히 구조적으로 필요할 때 L2에 남는다."
즉 가장 약한 고리가 그 시스템의 레벨을 결정한다. 아이디어 생성이 아무리 화려해도, 결과가 타당한지 인간이 매번 봐야 한다면 그 시스템은 L2다.
그리고 논문은 L2를 다시 셋으로 쪼갠다.
💡 여기서 오해하기 쉬운 것 L2라는 분류는 "별로다"라는 뜻이 아니다. 논문은 명시적으로 말한다 — 이 분포는 그들의 중요성을 약화시키지 않으며, 오히려 현재 AutoResearch의 중심 서사를 명확히 한다. 분야는 국소적 보조에서 통합된 인간 검증 파이프라인 자동화로 이동하는 중이고, 성숙한 AI 주도 자율성은 여전히 더 엄격한 프런티어다.
레벨이 '얼마나'를 다룬다면, 논문의 두 번째 축은 '어디서'를 다룬다. 연구 워크플로를 다섯 개의 기술적 조건으로 나눈 것이다.
크게 보기
▲ 논문 Figure 5. 각 단계마다 대표적인 기술 연산과 그 단계가 담당하는 워크플로 기능이 표시돼 있다. (출처: 같은 논문)
논문이 이 다섯을 묶어 설명하는 방식이 인상적이다. 각 단계는 서로 다른 종류의 과학적 제약을 공급한다.
이 다섯 중 어디가 강하고 어디가 약한지를 따라가면, 왜 아직 L3가 아닌지가 자연스럽게 드러난다.
문헌 근거 확보(Stage I) 는 상당히 성숙했다. 논문은 이 단계의 방식을 네 가지로 나눈다 — 검색 중심(LitLLM, STORM), 근거 중심(OpenScholar, PaperQA2), 구조 중심(SciAgents의 지식 그래프), 그리고 문헌 메모리 중심(The AI Scientist 계열이 주장–방법–결과–한계 카드를 재사용 가능한 상태로 보존하는 방식).
하지만 논문의 진단은 냉정하다.
"미해결 병목은 문헌 접근이 아니라 증거 상태 구성이다."
검색은 이제 문제가 아니다. 문제는 검색한 것이 압축을 견디고, 출처에 충실하며, 나중 단계가 조회할 수 있을 만큼 지속되는가다.
실행(Stage III) 도 강하다. 코드 네이티브 실행(SWE-agent, OpenHands, Aider), 도구 오케스트레이션(ChemCrow, Biomni), 로봇 실험실 실행(A-Lab), 인간 게이트 실행(AI co-scientist) 네 가지 방식이 각각 성숙해 있다. 그런데 여기서 논문이 던지는 경고가 날카롭다.
"실행 가능성이 과학적 적절성으로 쉽게 오인될 수 있다. 실행되는 스크립트, 통과하는 파이프라인, 깔끔한 패치 패키지는 그 자체로 의미 있는 과제 설정, 공정한 비교, 강한 방법론적 뒷받침을 보장하지 않는다."
돌아간다고 맞는 게 아니다.
검증(Stage IV) 이 이 논문 전체에서 가장 중요한 장이다. 결론 문장 하나가 모든 걸 압축한다.
"피드백·검증·리뷰는 채점의 문제라기보다 기각의 문제로 이해되어야 한다."
이 한 문장이 왜 결정적인가. 대부분의 AI 시스템은 결과에 점수를 매길 수 있다. 하지만 "이건 아니니까 버리자"고 판단하는 능력은 다르다. 논문은 현재의 검증 방식을 세 가지로 나누고, 각각의 한계를 짚는다.
| 검증 방식 | 무엇을 잡아내나 | 무엇을 놓치나 |
|---|---|---|
| 실행 결합 재실행 재실행·소거·베이스라인 비교 | 구현 오류, 불안정한 국소 결과 | "엉뚱한 것을 잘 검증할 수 있다." 약한 베이스라인, 좁은 과제, 잘못 설정된 지표는 결과를 안정적으로 보이게 만들면서 과학적으로 무의미하게 남겨둔다 |
| 비평 매개 검증 비평가·리뷰어 모듈 | 약한 프레이밍, 근거 없는 주장, 누락된 대조군 | 비평 층 자체가 문체적으로 얄팍하거나 벤치마크에 맞춰져, 과학적 판단의 외양만 재생산할 수 있다 |
| 전문가·시간 기반 검증 전문가 검토, 지연 추적, 재발견 평가 | 실제 과학 공동체가 가하는 압력에 가장 가까운 기준 | 비용, 지연, 희소성. 깊이 자동화하기가 훨씬 어렵고, 바로 그 때문에 자율성으로 가는 가장 강한 병목으로 남아 있다 |
논문의 진단은 이렇게 끝난다.
"이 검증 격차가 파이프라인의 폭만으로는 성숙한 AI 주도 자율성이 성립하지 않는 핵심 이유다. 현재 시스템은 종종 생성하고, 실행하고, 비평할 수 있지만, 일상적 인간 검증을 대체할 만큼 강한 기각 기준을 내면화하는 데는 여전히 어려움을 겪는다."
논문의 논의(Discussion) 장에는 이 분야에 대한 가장 날카로운 비판이 담겨 있다. 가설 생성에 관한 것이다.
문헌 리뷰, 실험 파이프라인 구현, 원고 작성 같은 단계는 파운데이션 모델의 학습 데이터에 잘 표현돼 있어서 유능한 에이전트가 안정적으로 수행할 수 있다. 그런데 가설 생성은 성격이 다르다.
"다른 단계들이 선행 연구의 패턴을 검색하고 재조합하는 것으로 환원될 수 있는 반면, 가설 생성은 관찰된 이상 현상에서 기존 연구에 없는 설명적 추측으로 나아가는 귀추적 추론(abductive reasoning)을 요구한다."
그리고 현재 시스템의 구조적 한계를 이렇게 표현한다.
이어지는 문장이 이 논문 전체에서 가장 자주 인용될 문장이다.
"사실상 이 시스템들은 탐색 공간의 설계자가 아니라 탐색 알고리즘으로 기능한다." (these systems function as search algorithms rather than architects of the search space)
여기에 논문은 두 번째 한계를 덧붙인다. 반성적 반복(reflexive iteration) 의 부재다.
인간 연구자는 실험 결과가 나오면 가설 자체를 고친다. 때로는 문제 설정 자체를 재구성한다. 그런데 파이프라인 구조의 시스템은 다르다.
"이 시스템들에서 실험 결과는 원고에는 반영되지만 그것이 도출된 가설이나 문제 설정을 수정하는 데까지는 전파되지 않는다."
AI Scientist-v2가 도입한 트리 탐색조차 "미리 지정된 해 공간 안에 갇혀, 고정된 연구 방향 안에서 후보 구현들을 최적화할 뿐 근본 가설이나 방법론을 수정하지는 않는다"는 게 논문의 평가다. 그래서 결론은 이렇다.
"그 결과 이들은 논문을 완성하는 데는 효과적이지만 고품질 연구를 수행하는 데는 그렇지 못하며, 종종 약한 가설을 둘러싸고 잘 수행된 연구를 만들어내면서도 그 결함을 인식하거나 교정하지 못한다."
그렇다면 AI 연구 시스템을 어떻게 평가해야 하나. 논문은 과학적 품질의 다섯 차원을 제시한다.
크게 보기
▲ 논문 Figure 11. 다섯 개의 판단 대상(신규성·타당성·영향력·신뢰성·출처 추적성)과 그것을 뒷받침하는 증거 수단(벤치마크·전문가 리뷰·재실행·산출물 추적·종단 추적)을 구분한다. (출처: 같은 논문)
핵심은 판단 대상(judgment target) 과 증거 수단(evidence instrument) 을 분리한 것이다. 벤치마크 점수는 과학적 판단 그 자체가 아니라, 다섯 차원 중 하나를 뒷받침할 수도 있고 아닐 수도 있는 증거 하나일 뿐이다.
그리고 논문은 현재 평가 관행의 핵심 오류에 이름을 붙인다 — 권위 차용(authority borrowing).
"시스템은 종종 한 차원에서의 강점이 나머지 모두에서의 강점을 함의하는 것처럼 제시된다."
논문이 이 다섯을 묶어 정리한 문장이 특히 좋다.
논문은 현재 존재하는 23개의 평가 도구를 다섯 차원에 매핑했다. 결과가 시사적이다.
| 평가 도구군 | 개수 | 주로 측정하는 차원 | 놓치는 것 |
|---|---|---|---|
| 발견 벤치마크 DiscoveryBench, ResearchBench, AIRS-Bench | 5개 | 신규성 | 경험적으로 신뢰할 만한 과학을 만들어낼 수 있는지는 판정 못 함 |
| 실험·검증 벤치마크 MLAgentBench, PaperBench, EXP-Bench, SPOT | 8개 (최다) | 타당성 + 신뢰성 | ML·코드 중심 환경은 재현 가능하게 포장하기 쉽지만 웻랩·임상·현장·사회 연구는 동등한 충실도로 벤치마크하기 훨씬 어렵다 |
| 딥리서치 벤치마크 DeepScholar-Bench, LiveResearchBench | 6개 | 합성·인용 능력 | 새 근거를 만들거나, 실험으로 약한 가설을 기각하거나, 주장과 경험적 검증 사이의 루프를 닫도록 요구하지 않는다 |
| 리뷰·출처 도구 CiteME, LitSearch, AI Agent Index | 4개 | 출처 추적성 | 성능이 아니라 신뢰의 조건을 평가한다는 점에서 성격이 다르다 |
가장 눈에 띄는 통계 하나 — 23개 도구 중 '영향력(Impact)'을 1차적으로 측정하는 것은 LiveResearchBench 단 하나다. 이유는 명백하다. 영향력은 본질적으로 장기적·지연적·누적적이라 즉시 측정이 거의 불가능하기 때문이다. 논문의 지적대로 "추적하기 가장 쉬운 지표가 장기적 과학 가치를 포착하지 못하는 구조적 불일치"가 있다.
그리고 신규성에 대한 진단은 더 어둡다.
"연구 아이디어는 제시 방식에서 선행 연구와 달라 보이면서도 개념적으로는 파생적일 수 있다. 반대로 사소하거나 점진적으로 보이는 아이디어가 중요한 통찰을 담고 있을 수 있다. 이 비대칭성 때문에 신규성은 관찰 가능한 표면 특징에 근거한 어떤 정의에도 저항한다."
LLM-as-a-Judge는 "얄팍한 패턴에 쉽게 속아 잘 제시된 논문을 진정으로 의미 있는 기여와 혼동할 수 있다"는 게 논문의 평가다.
이 서베이에서 가장 아름다운 도표는 마지막에 있다. 학문 분야별 자율성 천장을 나무 그림으로 그린 것이다.
크게 보기
▲ 논문 Figure 12. 여덟 개 분야가 하나의 뿌리에서 갈라져 서로 다른 높이까지 자란다. 계산과학 줄기가 가장 높이 뻗지만 그것조차 L3 선을 넘지 못한다. (출처: 같은 논문)
논문의 진단은 명확하다. 자율성을 결정하는 것은 에이전트 아키텍처가 아니라 도메인의 구조다. 무엇이 다른가.
| 자율성이 높이 올라가는 조건 | 자율성을 끌어내리는 조건 |
|---|---|
| 연구 대상을 조작할 수 있다 (코드·증명·시뮬레이터) | 물리적 체현이 필요하다 (시료·기기·로봇) |
| 피드백이 빠르고 싸다 (컴파일, 테스트, 벤치마크) | 검증이 지연된다 (배양 시간, 임상 추적, 지질학적 시간) |
| 중간 상태가 관찰 가능하다 (로그, 트레이스) | 근거가 이질적이다 (측정 잡음, 모호한 판독) |
| 개입을 되돌릴 수 있다 (git revert) | 되돌릴 수 없다 (환자 안전, 생태계 개입) |
| 책임 부담이 가볍다 | 규제·윤리·기관의 설명 책임이 걸린다 |
계산과학이 가장 앞선 이유는 "보편적 과학 능력"이 아니라 유리한 연구 기질(substrate) 때문이다. 논문의 표현대로 "이 시스템들은 연구 과정이 이미 소프트웨어 기반일 때 가장 잘 작동한다."
바꿔 말하면 — 연구 과정이 통합된 디지털 루프를 벗어나는 순간, 자율성의 근거가 실질적으로 달라진다.
이 도메인 분석은 서베이 논문의 학술적 관찰로 끝나지 않는다. AI 에이전트를 업무에 붙이려는 모든 조직에 그대로 적용된다. 질문은 하나다 — 내 업무는 계산과학 쪽인가, 웻랩 쪽인가?
| "계산과학형" 업무 — 자율성을 높여도 되는 곳 | "웻랩형" 업무 — 인간 검증을 남겨야 하는 곳 |
|---|---|
| 테스트가 판정자 역할을 하는 코드 작업 | 결과가 몇 주 뒤에야 드러나는 마케팅·정책 판단 |
| 리팩터링, 마이그레이션, 스키마 변경 | 고객 커뮤니케이션, 계약, 법적 문서 |
| 로그·메트릭으로 즉시 검증되는 최적화 | 되돌리기 어려운 인프라·데이터 삭제 |
| 재현 가능한 데이터 파이프라인 | 사람의 안전·건강·금전이 걸린 의사결정 |
여기까지가 지도다. 이제 영토를 보자.
2026년 8월, Recursive Superintelligence가 「First Steps Toward Automated AI Research」를 발표했다. 이 회사는 흥미로운 인물들이 모여 있다 — Cong Lu(AutoResearch 서베이의 공저자이기도 하다), Caiming Xiong(전 세일즈포스 리서치), Tian Yuandong, Richard Socher, Tim Rocktäschel. 2026년 7월 AWS와 4억 1천만 달러 규모의 다년 협력을 발표하기도 했다.
이들이 만든 시스템의 작동 방식은 한 문장으로 요약된다.
"아이디어를 제안하고, 구현하고, 실험을 돌리고, 결과를 검증하고, 배운 것으로 다음 실험을 고른다."
그리고 결과는 이랬다.
| 벤치마크 | 이전 최고 | Recursive | 의미 |
|---|---|---|---|
| NanoChat 오토리서치 고정 예산 언어모델 학습 | 0.9372 BPB | 0.9109 BPB | 같은 손실에 도달하는 데 1.3배 빠름 |
| NanoGPT 스피드런 검증 손실 3.28 도달 시간 | 79.7초 | 77.5초 | 2년간 최적화된 경쟁 벤치마크에서 2.2초 단축 |
| SOL-ExecBench GPU 커널 최적화 235개 과제 | 0.699 | 0.754 | 이론적 최적까지의 격차를 18% 축소 |
NanoGPT 스피드런이 특히 인상적이다. 이건 전 세계 연구자들이 2년 동안 초 단위로 깎아 온 벤치마크다. 남은 여유가 거의 없는 곳에서 2.2초를 더 깎았다.
발견된 기법들은 진짜 엔지니어링이다. 몇 가지만 보면:
NanoChat 쪽에서 발견한 것도 흥미롭다. 해시된 바이그램·트라이그램 임베딩 테이블을 학습된 게이트를 통해 어텐션의 값 경로에 섞어 넣는 기법인데, 약 5천만 파라미터 모델에 10~20억 개의 희소 파라미터를 추가하는 효과를 낸다. 논문의 표현으로는 "시간 비용을 치르지 않고 국소 n-gram 정보를 쓰는 값싼 방법"이다. 층마다 다른 해시 함수를 써서 충돌 반복을 줄이는 디테일까지 들어 있다.
여기가 이 글의 두 논문이 만나는 지점이다. Recursive는 자기 시스템의 가장 큰 난제로 보상 해킹을 꼽는다.
"보상 해킹은 세 벤치마크 모두에서 우리가 씨름한 문제였고, SOL-ExecBench에서 특히 까다로웠다."
무엇이 문제였나. AI가 발견한 "개선"이 실제로는 벤치마크 특유의 허점을 파고든 것이었다 — 출력을 캐싱하거나, 지속적 상태에 의존하거나, 타이밍 측정 장치의 세부를 이용하는 식으로.
대응책은 이랬다.
그리고 이들이 남긴 문장이, 서베이 논문의 진단과 정확히 포개진다.
"이런 시스템을 과제의 문자가 아니라 정신을 풀도록 정렬하는 것이 거대한 난제가 될 것이다." (Aligning such systems to solve the spirit of the task, and not its letter, will be a grand challenge.)
정직한 한계 고백도 있다. NanoGPT의 처음부터 만든 해법에 대해서는 "기저 모델이 해당 저장소를 봤을 수 있으므로 독립적 재발견을 증명하지는 않는다"고 명시했고, 공식 하드웨어(PrimeIntellect H100 노드) 접근을 기다리는 중이라 리더보드 제출은 아직이라고도 밝혔다.
이제 처음 질문으로 돌아가자. 서베이는 "L3는 아직 없다"고 하고 Recursive는 "세계 기록 세 개"라고 한다. 모순인가?
아니다. 서베이의 프레임을 그대로 적용하면 Recursive의 성과는 이렇게 읽힌다.
두 논문은 같은 이야기를 하고 있다. 하나는 "검증이 병목"이라 말하고, 다른 하나는 "검증이 우리의 가장 큰 난제였다"고 말한다. 서베이가 이론적으로 예측한 병목이, 최전선의 실전 보고서에서 정확히 그 자리에 나타난 것이다.
프레임을 익혔으니 현실을 다시 보자. 2026년 현재, 대부분의 지식 노동자는 자기도 모르는 사이 L1~L2 구간에 들어와 있다.
여기서 서베이가 주는 실용적 통찰은 각 단계의 레벨이 제각각일 수 있다는 것이다. 실행은 L2인데 검증은 L0인 사람이 있고, 반대로 실행은 직접 하면서 검증만 AI에 맡기는 사람도 있다. 그리고 논문의 보수적 규칙대로라면 — 가장 낮은 칸이 그 워크플로의 실제 신뢰도를 결정한다.
논문의 마지막 장은 기술을 넘어선 이야기다. 세 가지가 특히 눈에 띈다.
① 연구 자원의 비대칭. AutoResearch가 과학을 민주화할 것이라는 기대에 논문은 회의적이다.
"이 시스템들은 초안 작성·코딩·문헌 탐색 같은 국소적 장벽을 낮출 수 있지만, 프런티어 과학의 결정적 병목은 여전히 비싸고 불균등하게 분포한다."
더 강한 파운데이션 모델, 대규모 컴퓨트, 독점 데이터, 고품질 실험 인프라, 도메인 검증 환경에 대한 접근은 자금이 풍부한 기관과 대형 기술 조직에 집중돼 있다. 그래서 진짜 위험은 "불균등한 채택이 아니라 소수 조직으로의 인식론적 권력 집중"이라는 것이다. (Recursive의 4억 1천만 달러 AWS 계약이 이 지적의 좋은 예시다.)
② 지식 생태계 오염. 이게 더 실질적인 위협이다.
"위험은 단지 약한 논문이 늘어나는 것이 아니라 과학 지식 생태계의 대규모 오염이다."
저품질 산출물은 고립되지 않는다. 검색 결과, 인용 네트워크, 문헌 리뷰 파이프라인, 벤치마크 구축, 그리고 미래의 학습 코퍼스로 들어간다. 그러면 미래의 AutoResearch 시스템이 그것을 검색하고 요약하고 그 위에 쌓아 올린다. 재귀적 오염이다.
③ 저자권과 책임. 기존 학계 규범은 인간 연구팀을 전제로 설계됐다. 주체성·기여·책임이 인간·모델·도구·인프라에 분산된 워크플로를 다루기에는 부적합하다.
이 두 논문에서 뽑아낼 수 있는 실행 가능한 교훈은 이렇다.
서베이의 결론 문장은 이렇게 끝난다.
"AutoResearch의 미래는 과학에서 인간을 제거하는 무제한 경주로 규정되어서는 안 되며, 탐구의 탐색 공간을 넓히고, 워크플로의 실행 가능한 부분을 가속하고, 검사 가능한 출처를 보존하고, 책임 있는 감독 아래 인간의 과학적 창의성을 증폭하는 신뢰할 수 있고 도메인을 아는 감사 가능한 연구 인프라의 의도적 구축으로 규정되어야 한다."
이 글을 시작할 때의 질문 — 왜 한쪽은 "아직 멀었다"고 하고 다른 쪽은 "이미 이겼다"고 하는가 — 에 대한 답이 여기 있다.
두 진술은 다른 것을 측정하고 있었다. Recursive가 이긴 것은 검증이 즉시 가능한 좁은 영역에서의 최적화였다. 서베이가 아직 멀었다고 한 것은 무엇을 물어야 할지 정하고, 틀린 방향을 스스로 버리고, 그 결과에 책임지는 능력이었다. 전자는 이미 인간을 넘어섰고, 후자는 아직 시작도 못 했다.
그래서 이 두 논문을 함께 읽는 것이 의미가 있다. 하나만 읽으면 과소평가하거나 과대평가하게 된다. 함께 읽으면 정확한 좌표가 나온다 — 우리는 L2에 있고, 그 안에서 매우 빠르게 이동하고 있으며, L3로 가는 문은 검증과 기각이라는 이름의 자물쇠로 잠겨 있다.
논문이 만든 가장 좋은 문장을 다시 인용하며 마친다.
"이 시스템들은 탐색 공간의 설계자가 아니라 탐색 알고리즘으로 기능한다."
탐색 알고리즘은 이미 우리보다 빠르다. 탐색 공간을 설계하는 일 — 무엇을 물을 가치가 있는지 정하는 일 — 은 아직 사람의 몫이다. 적어도 2026년 9월 현재는 그렇다.
※ 논문 그림 인용에 관하여 본문의 Figure 1·2·4·5·11·12는 arXiv:2605.23204에서 인용했으며 저작권은 원저자에게 있습니다. Recursive의 벤치마크 수치는 공개된 보고서와 GitHub 저장소에서 인용했습니다.
