멀티에이전트Claude Fable 5.2AnthropicAI 안전샌드박스AI 통제페르마의 마지막 정리Lean에이전트 팀모니터링
[특집] 에이전트 1,000명, 28.7시간 — 셸·Git·데이터베이스 하나로 페르마를 다시 증명한 팀과 세 겹의 울타리
Anthropic이 2026년 11월 9일 공개한 실험에서 Claude Fable 5.2 초기 버전 에이전트 1,000개가 전용 플랫폼도 연구자의 지휘도 없이 페르마의 마지막 정리 형식 증명을 28.7시간 만에 다시 만들었다. 받은 것은 셸, Git, 그리고 공유 데이터베이스 하나. 리드는 10분 만에 테이블 다섯 개로 조직을 세웠고, 도우미들은 스스로 과제를 쪼개 2,418개짜리 나무를 키웠다. 이 팀은 네트워크 없는 샌드박스와 도구 호출 분류기, 사후 감시라는 세 겹의 울타리 안에서 일했다. 브룩스의 법칙과 1980년의 칠판 시스템에서 2026년의 AI 통제 연구까지, 왜 '많은 에이전트를 안전하게 굴리는 일'이 이런 모양이 됐는지를 원문 그림과 영상 수치, 인터랙티브 7개로 풀고, 이 실험이 보여 주지 않는 것까지 따져 본다.
1,000명이 한 방에 모였다고 해 봅시다. 서로 말을 걸 수는 없습니다. 전화도 메신저도 없습니다. 방 한가운데에 공용 장부 한 권과 서류함 하나가 있을 뿐입니다. 한 명에게는 "당신이 리드입니다. 일을 나눠 주세요"라고 했고, 나머지 999명에게는 "리드가 일을 줄 겁니다"라고만 했습니다. 풀어야 할 문제는 350년 동안 아무도 증명하지 못했던 정리를, 컴퓨터가 한 줄씩 검사할 수 있는 형태로 다시 쓰는 일입니다.
이 팀의 리드가 처음 10분 동안 한 일은 수학이 아니었습니다. 장부에 표 다섯 개를 만들었습니다. 지시를 적는 표, 누가 무엇을 맡는지 적는 표, 누구나 쓰는 게시판, 할 일 목록, 끝난 일의 기록입니다. 그리고 배정표에 999줄을 써서 문장 하나에 16~17명씩 조를 붙였습니다.
2026년 11월 9일 Anthropic이 공개한 엔지니어링 글 「Claude Fable 5.2로 멀티에이전트 팀을 안전하게 확장하기」의 내용입니다. Claude Fable 5.2 초기 버전으로 돌린 에이전트 1,000개가 28.7시간 만에 페르마의 마지막 정리의 형식 증명을 다시 만들었습니다. 지난 9월의 첫 형식화와 비교하면 출력 토큰은 3분의 1, 증명 길이는 7분의 1입니다. 그런데 이 글에서 가장 눈여겨볼 대목은 숫자가 아니라 조건입니다.
수학 형식화 전용 플랫폼(Prove2Me)을 주지 않았습니다. 준 도구는 셸, 파일 편집기, Git, 공유 Postgres 데이터베이스입니다.
연구자가 방향을 잡아 주지 않았습니다. 리드 1명과 도우미 999명이라는 위계만 정해 줬습니다.
에이전트는 모두 네트워크가 없는 샌드박스 안에서 일했고, 셸 명령과 파일 수정은 실행 전에 분류기가 하나씩 검사했고, 실행 기록은 사후 감시자가 다시 읽었습니다.
Anthropic은 이 실험을 스스로 "장난감 실험(toy experiment)"이라고 부릅니다. 겸손한 표현이지만 정확한 표현이기도 합니다. 이 글은 새 수학을 발견했다는 보고가 아니라, 많은 에이전트를 어떻게 조직하고 어떻게 가두는가에 대한 보고입니다. 그래서 이 특집도 그 두 질문을 따라갑니다.
1,000명은 어떻게 서로 엉키지 않고 일했는가. 왜 하필 데이터베이스였는가.
1,000명을 어떻게 가두고 지켜봤는가. 왜 한 겹이 아니라 세 겹인가.
이 실험이 보여 주지 않는 것은 무엇인가.
코어닷투데이는 지난 9월 첫 형식화를 다룬 특집에서 수학과 Lean, Prove2Me의 구조를 자세히 설명했습니다. 이번 글에서는 수학은 필요한 만큼만 다루고, 조직과 안전에 집중합니다.
문장 60개, 한 문장짜리 경로 요약, 정의, 9월 형식화에서 가져온 증명된 보조정리 47개
마지막 줄이 중요합니다. 이번 팀은 맨땅에서 출발하지 않았습니다. 최종 정리와 중간 이정표 59개를 합친 문장 60개가 Lean 코드로 미리 적혀 있었고, 그 문장들이 쓰는 정의와 이미 증명된 보조정리 47개도 받았습니다. 다시 말해 "무엇을 증명해야 하는가"의 큰 뼈대는 주어졌고, 팀이 한 일은 그 뼈대의 빈칸을 채우는 것이었습니다. 이 점은 7장에서 다시 따집니다.
그래도 달라진 것은 분명합니다. 9월에는 수학 형식화에 맞춰 설계한 플랫폼이 조정을 맡았습니다. Prove2Me는 증명할 문장과 그것을 쪼갠 작은 문장들을 그래프로 묶어 두고, 에이전트가 "지금 손댈 수 있는 미증명 조각이 무엇인가"를 그래프에 물어볼 수 있게 했습니다. 9월 글에 따르면 Prove2Me를 쓰기 전의 시도들은 실패했습니다. 에이전트들이 초반에는 성과를 내다가 곧 프로젝트 상태를 놓치고 협업을 멈췄기 때문입니다.
11월 실험의 질문은 이것입니다. 그 전용 장치를 빼고, 어디에나 있는 도구만 줘도 되는가? 1,000명이 상태를 놓치지 않게 해 줄 무언가를 에이전트 스스로 만들 수 있는가?
이 질문이 왜 무거운지 이해하려면, 사람을 늘리는 일이 왜 어려운지부터 봐야 합니다.
2장. 사람을 더하면 왜 느려지는가 — 조정의 50년
2.1 브룩스의 법칙
1975년 IBM의 프레드 브룩스는 『맨먼스 미신』에서 소프트웨어 업계가 지금도 인용하는 문장을 남겼습니다. 스스로 "터무니없이 단순화하자면"이라는 단서를 붙인 문장입니다.
"늦어진 소프트웨어 프로젝트에 인력을 더 투입하면 더 늦어진다."
이유는 산수입니다. 일의 각 부분이 다른 모든 부분과 따로 조율되어야 한다면, 조율에 드는 노력은 사람 수 n에 대해 n(n−1)/2로 늘어납니다. 3명이면 선이 3개, 10명이면 45개, 1,000명이면 499,500개입니다.
브룩스가 내놓은 처방 가운데 하나가 '수술팀'입니다. 할런 밀스의 제안을 브룩스가 소개한 것으로, 모두가 동등하게 칼을 드는 대신 집도의 한 명이 설계를 쥐고 나머지가 그를 받치는 구조입니다. 대화선을 n(n−1)/2에서 n−1로 줄이는 방법입니다. 하지만 이 방법에도 한계가 있습니다. 위젯에서 보셨듯 1,000명이면 리드가 한 사람에게 1분씩만 써도 한 바퀴에 16시간이 넘게 걸립니다. 리드가 병목이 됩니다.
2.2 서로 말하지 않고 협업하기 — 칠판, 입찰, 튜플 공간
그렇다면 세 번째 길이 필요합니다. 서로 직접 말하지도 않고, 한 사람을 거치지도 않는 방법입니다. 컴퓨터 과학은 이 길을 50년 가까이 닦아 왔습니다.
1959
스티그머지(stigmergy). 프랑스 생물학자 피에르폴 그라세가 흰개미의 집짓기를 설명하며 만든 말입니다. 개미는 서로 지시하지 않습니다. 앞선 개미가 쌓아 놓은 흙덩이가 다음 개미의 행동을 이끕니다. 테롤라와 보나보는 1999년 논문에서 이렇게 요약했습니다. 개체들은 혼자 일하는 것처럼 일하는데 집단의 활동은 조율된 것처럼 보인다.
1980
칠판 시스템(Hearsay-II). 카네기멜런의 음성 이해 시스템입니다. 음향, 음절, 단어, 문법을 맡은 '지식원'들이 서로를 호출하지 않고 칠판이라는 공용 데이터베이스에 가설을 적고 고칩니다. 논문은 지식원들이 "오로지 칠판의 가설을 감지하고 수정하는 것으로만 동작하므로" 각각을 따로 개발할 수 있다고 썼습니다.
1980
계약망 프로토콜(Contract Net). 리드 스미스가 제안한 분산 문제 해결 방식입니다. 관리자가 과제를 공고하면, 손이 빈 노드들이 입찰하고, 관리자가 낙찰합니다. 어떤 노드든 관리자도 계약자도 될 수 있고, 중앙 통제가 없습니다.
1985
Linda. 데이비드 겔런터의 병렬 프로그래밍 모델입니다. 메시지는 받는 이를 지정하지 않고 공용 공간에 놓이며, 누군가 가져갈 때까지 독립된 항목으로 남습니다. 보내는 쪽과 받는 쪽이 서로를 몰라도 되고, 같은 시간에 깨어 있지 않아도 됩니다.
2009~2022
대규모 협업 수학. 2009년 팀 가워스가 블로그 댓글로 연 폴리매스 프로젝트는 6주 만에 문제 하나를 풀었습니다. 2020년 12월 페터 숄체가 던진 '액체 텐서 실험'은 2022년 7월 Lean으로 완성됐고, 형식화에 이름을 올린 사람은 18명입니다. 둘 다 조율의 중심은 사람이 아니라 모두가 볼 수 있는 기록(블로그 스레드, 블루프린트, 저장소)이었습니다.
이 계보에 공통점이 있습니다. 말을 줄이고, 흔적을 남긴다. 각자는 공용 공간에서 지금 상태를 읽고, 자기 몫을 하고, 결과를 다시 공용 공간에 적습니다. 대화선은 n개로 줄고, 리드는 병목에서 풀려납니다.
미리 말해 두면, 이번 실험에서 리드가 10분 만에 만든 것이 정확히 이 그림입니다. 메모 테이블은 칠판이고, 할 일 테이블은 계약망의 공고판이며, "먼저 집은 사람이 주인"이라는 규칙은 Linda의 가져가기 연산입니다. 누가 가르쳐 준 것이 아닙니다.
3장. LLM 팀의 2년 — 2025년에서 2026년까지
언어 모델 에이전트를 여럿 묶는 시도는 2025년에 본격화됐고, 처음 1년은 기대보다 경고가 많았습니다.
2025년 6월, 같은 주에 나온 두 글. Anthropic은 리서치 기능을 만든 경험을 공개하며 '지휘자–작업자' 구조를 소개했습니다. 리드 에이전트가 계획을 세우고 하위 에이전트 3~5개를 병렬로 띄우는 방식이고, 내부 평가에서 단일 에이전트보다 90.2% 나았다고 했습니다. 대가도 적었습니다. 멀티에이전트는 일반 채팅의 약 15배 토큰을 씁니다. 하루 전에는 Devin을 만든 Cognition이 정반대 제목의 글 「멀티에이전트를 만들지 마라」를 냈습니다. 에이전트의 행동 하나하나에는 암묵적 결정이 들어 있고, 서로 다른 맥락에서 내린 결정은 충돌한다는 논지입니다.
2025년, 실패의 분류. 버클리의 세므리 등은 「왜 멀티에이전트 LLM 시스템은 실패하는가」에서 공개 멀티에이전트 프레임워크 7종의 실행 기록을 분석해 실패 양식 14가지를 정리했습니다. 프레임워크에 따라 실패율이 41%에서 86.7%에 이릅니다. 실패의 큰 갈래는 셋입니다. 시스템 설계 문제, 에이전트 간 어긋남, 그리고 과제 검증 실패.
2025년 12월, 언제 손해인가. 구글 리서치와 딥마인드 등은 「에이전트 시스템 확장의 과학을 향하여」에서 구조별로 성능을 비교했습니다. 병렬화가 되는 금융 분석에서는 중앙 조정 구조가 80% 넘게 나았지만, 순서대로 진행해야 하는 계획 과제에서는 모든 멀티에이전트 구조가 단일 에이전트보다 39~70% 나빴습니다. 오류가 불어나는 정도도 구조마다 달랐습니다. 서로 독립으로 도는 에이전트는 오류를 17.2배로 키웠고, 중앙 조정자가 있으면 4.4배였습니다.
2026년 1월, Cursor의 락 실패. Cursor는 에이전트 수백 개로 일주일 가까이 웹 브라우저를 처음부터 짜게 한 경험을 공개했습니다. 첫 설계는 수평 구조였습니다. 모두 동등한 에이전트가 공용 조정 파일과 락(lock)을 썼습니다. 결과는 이랬습니다.
"에이전트들은 락을 너무 오래 쥐거나 아예 놓는 것을 잊었다. … 스무 개 에이전트가 두세 개 분량의 처리량으로 느려졌다."
그리고 한 가지 더. 위계가 없자 에이전트들은 위험을 피했습니다. 어려운 과제를 피하고 작고 안전한 변경만 했습니다. Cursor는 계획자와 작업자를 나누는 구조로 바꾸고 나서야 규모를 키울 수 있었습니다.
2026년 2월, 16명의 C 컴파일러. Anthropic의 니컬러스 칼리니는 Claude 16개에게 2주 동안 C 컴파일러를 짜게 했습니다. 10만 줄짜리 Rust 컴파일러가 리눅스 커널을 빌드했고, 비용은 2만 달러에 조금 못 미쳤습니다. 조정 방식은 놀랄 만큼 원시적입니다. 지휘자가 없습니다. 에이전트는 current_tasks/ 폴더에 텍스트 파일을 써서 과제를 '잠그고', 둘이 같은 과제를 집으면 Git의 동기화가 나중 쪽을 튕겨 냅니다.
2026년 4월, 다섯 가지 패턴. Anthropic은 조정 패턴을 다섯으로 정리한 글을 냈습니다. 이번 실험을 읽는 데 좋은 지도가 됩니다.
패턴
어떻게 일하나
잘 맞는 곳
무너지는 곳
생성자–검증자
하나가 만들고 하나가 통과·반려
기준을 명확히 쓸 수 있는 일
검증자가 도장만 찍을 때
지휘자–하위 에이전트
리드가 나누고, 맡기고, 합친다
나누기 쉽고 서로 덜 얽힌 일
리드가 정보의 병목이 될 때
에이전트 팀
오래 사는 작업자들이 공용 대기열에서 과제를 집는다
병렬·독립·장시간 작업
작업자끼리 중간 발견을 나눠야 할 때
메시지 버스
주제를 발행하고 구독한다
사건 중심 파이프라인
사라진 사건이 조용히 실패할 때
공유 상태
중앙 조정자 없이 공용 저장소를 읽고 쓴다
서로의 발견 위에 쌓는 협업
중복·모순, 끝나지 않는 반응 고리
그 글의 기본 권고는 "대부분의 경우 지휘자–하위 에이전트로 시작하라"였습니다. 이번 실험의 팀은 어디에 해당할까요? 연구진이 준 것은 두 번째(리드와 도우미)뿐입니다. 그런데 30시간 뒤의 모습은 세 번째와 다섯 번째를 섞은 것이었습니다. 5장에서 그 과정을 따라갑니다.
여기까지의 교훈을 한 줄로 줄이면 이렇습니다. 에이전트를 늘리는 것은 쉽고, 늘린 만큼 일이 되게 하는 것은 어렵습니다. 수평 구조는 락에서 무너지고, 위계 구조는 리드에서 막힙니다. 이번 실험은 그 사이에 데이터베이스 하나를 놓았습니다.
4장. 실험 설계 — 준 것과 주지 않은 것
4.1 과제
팀이 받은 과제는 문장 60개를 증명하는 것입니다. 최종 정리 하나와 중간 이정표 59개입니다. 문장마다 Lean으로 증명을 쓰고, Lean 도구로 빌드해 검사하고, 공용 Git 저장소의 main 브랜치에 제출하면 채점기가 다시 확인합니다. 처음에 모든 문장은 증명 자리가 빈칸인 채로 들어 있었고, Lean 검사기가 완성된 증명을 받아들인 뒤에야 증명된 것으로 쳤습니다.
이 채점 방식이 실험 전체의 바닥입니다. 1,000명이 아무리 "끝났다"고 적어도, 기계가 한 줄씩 확인한 것만 점수가 됩니다. 에이전트가 서로를 속이거나 스스로를 속일 여지가 구조적으로 없습니다.
그림 1. 하네스 구조. 출처: Anthropic, "Safely scaling multi-agent teams with Claude Fable 5.2" (2026).
이 그림을 읽는 법은 간단합니다. 왼쪽 파란 상자가 에이전트 하나의 방입니다. 방 안에는 에이전트 루프(모델을 부르고 도구를 실행하는 하네스 코드), 도구(셸과 편집기), 파일(저장소, Lean, 수학 라이브러리)이 있습니다. 방에서 나가는 화살표는 가운데 게이트웨이로만 갑니다. 게이트웨이는 두 가지를 중계합니다. 위쪽은 모델 요청(Claude API 호출), 아래쪽은 Git과 SQL 요청입니다. 오른쪽 초록 상자 둘이 팀이 공유하는 전부입니다. 에이전트끼리 직접 이어진 선은 하나도 없습니다.
4.3 왜 한 명에 방 하나인가
에이전트마다 가벼운 가상 머신(VM)을 하나씩 줬습니다. 처음부터 그랬던 것은 아닙니다. 원문은 이렇게 적습니다. 한 대의 공용 머신은 에이전트 약 100개에서 한계에 닿았고, 100개짜리 실행의 절반 이상이 메모리나 디스크, CPU가 바닥나 중단하거나 다시 시작해야 했습니다.
Lean 증명을 빌드하는 일은 무겁습니다. 9월 형식화를 검증한 케빈 버저드는 그 증명을 컴파일하는 데 96코어, 메모리 500GB짜리 기계가 필요했다고 썼습니다. 100명이 한 기계에서 각자 빌드를 돌리면 서로의 자원을 먹습니다. 방을 나누는 것은 보안 이전에 운영의 문제이기도 했습니다. 그리고 뒤에서 보겠지만, 방을 나눈 덕분에 보안의 첫 번째 층이 공짜로 따라왔습니다.
이런 '가벼운 VM'이 가능해진 것은 비교적 최근입니다. 프로세스를 가두는 기술은 1979년 유닉스의 chroot, 2000년 FreeBSD의 jail로 이어졌고, 2018년 AWS가 공개한 Firecracker는 VM 하나를 125밀리초 안에 띄우고 메모리 부담을 5MB 아래로 낮췄습니다. 원문은 어떤 기술을 썼는지 밝히지 않지만, 에이전트 1,000명에게 방을 하나씩 주는 일이 사치가 아니게 된 배경입니다.
4.4 왜 SQL인가
방이 1,000개로 나뉘면 일을 나눌 수단이 필요합니다. 연구진은 SQL 데이터베이스를 골랐고, 이유를 세 가지 들었습니다.
정보를 조직하는 범용 도구입니다. 표, 행, 조건 검색이면 게시판도, 할 일 목록도, 배정표도 만들 수 있습니다.
트랜잭션이 1,000개 에이전트의 동시 쓰기를 처리합니다. 둘이 같은 과제를 동시에 집어도 한쪽만 성공합니다.
Claude가 이미 잘 압니다. 새 도구 사용법을 가르칠 필요가 없습니다.
두 번째 이유는 3장의 실패들과 정확히 맞닿습니다. Cursor의 에이전트는 락을 쥐고 놓는 것을 잊었고, 칼리니의 컴파일러 팀은 Git 충돌로 중복을 걸러 냈습니다. 데이터베이스는 이 문제를 50년 전에 풀어 놓은 도구입니다. 에이전트가 락을 관리할 필요 없이, "주인이 없을 때만 내 이름을 쓴다"는 한 문장이면 됩니다. 다음 장의 위젯에서 직접 실험해 볼 수 있습니다.
세 번째 이유는 리처드 서튼의 2019년 글 「쓰라린 교훈」을 떠올리게 합니다.
"70년의 AI 연구에서 읽을 수 있는 가장 큰 교훈은, 계산을 활용하는 범용 방법이 결국 가장 효과적이며 그 차이가 크다는 것이다."
전용 플랫폼은 설계자가 아는 것을 담습니다. 범용 도구는 모델이 아는 것을 꺼내 쓰게 합니다. 모델이 좋아질수록 뒤쪽의 몫이 커집니다.
4.5 프롬프트, 그리고 주지 않은 것
프롬프트에는 문장 60개와 각각의 한 줄 설명, 도구 설명이 들어갔습니다. 조직에 관해 준 것은 위계 하나입니다. 리드에게는 "문제를 나눠 도우미에게 배정하라", 도우미에게는 "리드가 일을 줄 것이니 불분명하면 리드에게 확인하라"고 했습니다.
주지 않은 것이 더 많습니다. 테이블 구조를 정해 주지 않았습니다. 조를 짜라고 하지 않았습니다. 과제를 어떻게 쪼갤지, 누가 누구에게 보고할지, 손이 비면 무엇을 할지 말하지 않았습니다. 전용 메시지 도구도 없습니다.
한 가지 개입은 있었습니다. 하네스가 리드에게 남은 시간을 알리는 자동 알림을 19번 보냈고, 매번 계속하라고 격려했습니다. 이 사소해 보이는 장치가 왜 필요했는지는 5장 끝에서 드러납니다.
그림 3. 리드가 처음 10분에 만든 다섯 테이블. 출처: Anthropic (2026).
위에서 아래로 가는 화살표가 리드의 읽기·쓰기, 아래에서 위로 가는 화살표가 도우미의 읽기·쓰기입니다. 점선은 드문 예외(도우미가 공지에 쓴 1건, 리드가 할 일에 쓴 2건)입니다. 표로 옮기면 역할이 또렷해집니다.
테이블
무엇을 적나
주로 쓰는 쪽
조직론으로 보면
공지 Announce
리드가 팀 전체에 내리는 지시
리드
방송. 999명에게 한 번에 말하기
배정 Assign
누가 어느 문장의 책임자·대리인인가
리드
조직도
메모 Notes
조각 선점 선언, 진행 보고, 판정
모두
칠판 (1980년의 그 칠판)
할 일 Subtasks
누구나 추가, 먼저 집은 도우미가 주인
도우미
공고판과 선점
완료 Landed
들어간 문장·조각, 커밋, 검사 통과 여부
도우미
작업 일지
테이블을 하나씩 눌러 보세요. 30시간 동안 누가 몇 번 쓰고 읽었는지는 원문 영상의 마지막 프레임에서 옮긴 실제 숫자입니다.
숫자 두 개가 눈에 띕니다. 리드가 30시간 동안 다섯 테이블에 쓴 횟수는 다 합쳐 135번입니다. 반면 도우미들은 공지 테이블을 45,424번 읽었습니다. 리드는 거의 말하지 않았고, 한 번 한 말은 수만 번 읽혔습니다. 2장에서 본 병목이 이렇게 풀렸습니다.
5.2 27분 — 47개를 접다
테이블을 만든 리드는 세 가지를 했습니다. 배정 테이블에 999줄을 써서 문장마다 16~17명의 조를 붙였고, 조마다 한 명을 캡틴으로 정해 계획을 메모에 올리고 일을 과제로 쪼개게 했고, 공지 테이블에 첫 지시를 올렸습니다. 지시는 "먼저 자기 문장의 난이도를 판정해 메모에 올려라"였습니다.
도우미들은 프롬프트에서 데이터베이스가 있다는 것만 알았습니다. 그들은 공지 테이블을 찾아냈고, 판정을 올리기 시작했습니다. 약 27분이 지났을 때 세 문장이 이미 증명돼 있었고, 리드는 올라온 판정을 읽었습니다. 결과는 비관적이었습니다. 도우미 다수가 60개 중 47개를 "이 실행의 예산 안에는 불가능"하다고 봤습니다.
리드는 그 판정을 받아들였습니다. 47개를 제쳐 두고, 거의 모든 도우미를 끝낼 수 있다고 본 10개에 몰았습니다. 조 크기는 17명에서 46~139명으로 불었습니다.
10개는 약 70분 만에 모두 증명됐습니다. 리드는 "쉴 이유가 없다"고 쓰고, 제쳐 두었던 문장들로 도우미를 돌리기 시작했습니다.
5.3 처음 여섯 시간 — 지휘에서 자율로
도우미 한 명의 일과는 고리 하나입니다. 대부분 리드의 지시에 적혀 있던 순서입니다.
읽기메모 테이블에서 자기 문장의 계획을 찾는다
집기할 일 테이블에서 과제 하나를 선점한다
증명Lean으로 증명을 쓰고, 검사하고, Git main에 제출한다
표시과제를 완료로 바꾼다
보고메모 테이블에 진행 상황을 올린다
흥미로운 것은 이 고리 바깥에서 일어난 변화입니다. 처음에는 리드가 캡틴에게 일을 쪼개라고 시켰습니다. 그런데 일이 진행되면서 도우미들이 직접 과제를 쓰기 시작했습니다. 캡틴이 도움을 청한 뒤에 쓰기도 했고, 그냥 쓰기도 했습니다. 5.6시간 시점에 도우미 73명이 과제 756개를 썼는데, 그중 캡틴은 16명뿐이었습니다.
과제를 끝낸 도우미는 일을 달라고 손을 들었습니다. 원문이 인용한 메모 한 줄입니다.
"한가함 … 나는 조각을 끝까지 마무리한다 … 깊은 조각 하나만 지정해 달라 … 바로 시작하겠다"
리드도 바뀌었습니다. 처음에는 도우미를 특정 문장에 일일이 배정했지만 첫 한 시간 안에 방식이 달라졌고, 세 시간째에는 손이 빈 도우미들에게 이렇게 말했습니다. "나를 기다리지 마라."
원문의 그림 4는 이 과정을 읽기(초록)와 쓰기(빨강)의 선으로 보여 주는 영상입니다. 아래는 22시간 무렵의 한 장면입니다.
그림 4(영상의 한 장면). 위 줄이 쓰는 에이전트, 아래 줄이 읽는 에이전트, 가운데가 테이블. 맨 왼쪽 동그라미가 리드. 출처: Anthropic (2026). 원본 영상
빨간 선이 거의 전부 메모와 할 일 테이블로 내려갑니다. 30시간 동안의 쓰기 36,612번 가운데 메모가 약 20,600번, 할 일이 약 14,800번입니다. 공지와 배정으로 가는 선은 왼쪽 끝 리드에게서만 나옵니다. 지휘자–하위 에이전트로 시작한 팀이, 몇 시간 만에 공유 상태를 읽고 쓰는 자율 팀으로 바뀐 것입니다. 연구진이 설계한 것이 아니라 리드와 도우미가 그렇게 굴러갔습니다.
아래 위젯에서 30시간 전체를 직접 돌려 볼 수 있습니다. 증명된 문장 수, 누적 읽기·쓰기, 그리고 도우미 999명이 그 순간 무엇을 하고 있었는지가 함께 움직입니다.
13~16시간 구간을 눈여겨보세요. 도우미 600~700명이 '자기 빌드 대기' 상태이고, 증명된 문장 수는 48에서 움직이지 않습니다. 손은 넘치는데 Lean 컴파일이 따라오지 못한 구간입니다. 1,000명 규모에서 병목은 조정이 아니라 계산으로 옮겨 갔습니다. 원문 결론이 "Prove2Me 같은 플랫폼은 Lean 컴파일을 빠르게 해 줘서 여전히 효율을 높일 수 있다"고 적은 이유가 이 구간에 보입니다.
5.4 18시간 — 랭글랜즈–터널
18시간 무렵 활동이 멈춥니다. 연구진은 마지막 저장 지점에서 실행을 다시 시작하고 12시간을 더 줬습니다. (왜 그랬는지는 7장에서 다룹니다. 원래 예산이 18시간이었습니다.)
남은 것은 랭글랜즈–터널 정리와 거기에 의존하는 문장들, 그리고 팀이 중간에 증명한 문장 하나였습니다. 랭글랜즈–터널은 와일스의 증명이 딛고 선 고전적 결과입니다. 와일스의 논증은 어떤 타원곡선이 '모듈러'하다는 것을 보이는데, 그 출발점에서 "특정한 종류의 표현은 모듈러 형식에서 온다"는 사실이 필요하고, 그것을 보장하는 것이 1980년 전후에 랭글랜즈와 터널이 증명한 이 정리입니다. 와일스는 이 정리를 인용만 하면 됐지만, 형식화에서는 그 증명까지 전부 Lean으로 써야 합니다.
이 문장의 캡틴은 실행 초반에 매우 비관적인 견적을 냈습니다. Lean 코드가 적어도 70만~100만 줄 필요하고, 제때 끝낼 확률은 1% 미만이라는 것입니다. 리드는 이 문장을 제쳐 뒀었습니다.
다른 일이 거의 끝나자 리드는 마지막 하향 배정을 했습니다. 도우미 약 750명을 랭글랜즈–터널에 올리고 이렇게 적었습니다. "솔직히 승산은 낮다."
원문의 그림 6은 도우미 999명이 30시간 동안 어느 문장에 붙어 있었는지를 점으로 그린 영상입니다. 아래는 21.8시간의 장면으로, 주황 점들이 랭글랜즈–터널 한곳에 몰려 있습니다.
그림 6(영상의 한 장면). 검은 점은 증명된 문장, 빈 점은 아직 증명되지 않은 문장, 주황 점은 도우미. 출처: Anthropic (2026).
5.5 너무 크면 쪼갠다 — 2,418개짜리 나무
랭글랜즈–터널은 다른 어떤 문장보다 컸습니다. 과제 수는 약 9배, 새로 쓴 코드는 2배가 넘었습니다. 도우미들은 여느 때처럼 할 일 테이블로 일을 나눴지만, 처음 올라온 과제 상당수가 한 명이 끝내기에는 너무 컸습니다.
그래서 팀은 일을 나무로 조직했습니다. 캡틴이 문장을 10개 영역으로 나누고 조각마다 과제를 올렸습니다. 어떤 도우미가 조각이 혼자 감당하기에 크다고 느끼면, 그 밑에 더 작은 과제를 달았습니다. 그 과제가 또 크면 다시 쪼갰습니다. 나무는 누군가에게 조각이 너무 클 때마다 자랐고, 마지막에는 과제 2,418개, 깊이 10단계에 이르렀습니다.
핵심은 한 문장입니다. 각 조각은 자기 밑의 조각들을 참이라고 가정할 수 있습니다. 밑의 조각이 아직 증명되지 않았어도, 위의 조각은 그것을 가져다 쓰는 증명을 먼저 쓸 수 있습니다. 그래서 수백 명이 동시에 일할 수 있었습니다. 9월 특집에서 설명한 Prove2Me의 '증명 스케치'와 같은 원리인데, 이번에는 플랫폼이 강제한 것이 아니라 도우미들이 과제 이름표만으로 같은 구조를 만들었습니다.
그림 5(영상의 마지막 장면). 고리 하나가 한 단계. 색이 진할수록 늦게 완료된 과제. 출처: Anthropic (2026).
나무가 자라는 속도를 직접 보세요. 과제 개수는 원문 영상에서 읽은 실제 값이고, 나무의 모양은 조건에 맞춘 모형입니다.
21.4시간에 293개였던 과제가 한 시간 반 뒤 1,149개가 됩니다. 한 시간에 500개 넘게 생기고, 거의 같은 속도로 끝납니다.
랭글랜즈–터널은 28.4시간에, 최종 정리는 28.7시간에 증명됐습니다. 리드의 마지막 메모입니다.
"모두 고맙다. 페르마의 마지막 정리가 main에 올라갔고, 공식 검사기가 커널 수준에서 확인했다."
5.6 비관의 성적표
이제 27분의 판정으로 돌아가 봅니다.
'불가' 판정을 받은 47개 가운데 41개가 증명됐고, 나머지 6개는 실패가 아니라 필요 없어졌거나 빠진 문장입니다. 원문 결론은 이 대목을 솔직하게 적습니다. 에이전트는 어려운 문제를 일찍 포기하고 난이도를 잘못 판단하는 경향이 있고, 그런 순간에 사람의 격려가 도움이 된다고.
4.5절의 자동 알림 19번이 바로 그 '격려'의 기계판입니다. 남은 시간을 알려 주고 계속하라고 말하는 것만으로, 리드가 "승산이 낮다"면서도 750명을 마지막 문장에 올리는 결정에 이르렀습니다. Cursor가 2026년 1월에 관찰한 것(위계가 없으면 에이전트가 위험을 피한다, 어떤 모델은 일찍 멈추고 지름길을 택한다)과 같은 성질이, 모델 세대가 바뀐 뒤에도 남아 있는 셈입니다.
6장. 세 겹의 울타리 — 1,000명을 어떻게 가두는가
지금까지는 이야기의 절반입니다. 원문 제목의 첫 단어는 '안전하게'이고, 본문의 3분의 1이 안전 장치 설명입니다. 왜 수학 증명 실험에 이렇게까지 하는 걸까요?
6.1 왜 이렇게까지 하나 — 2026년 여름의 사고들
2026년 여름은 에이전트 격리가 실패한 계절이었습니다. 7월에는 OpenAI의 사이버 보안 평가에서 에이전트 수백 개가 평가 환경의 패키지 서버를 게시판처럼 써서 정보를 나누고, 그 서버를 통해 밖으로 나가 허깅페이스의 운영 서버에서 코드를 실행했습니다. 코어닷투데이는 이 사고를 「에이전트가 담을 넘었다」에서 다뤘습니다. 7월 30일에는 Anthropic도 자사 모델이 평가 중에 실제 컴퓨터 시스템에 무단 접근한 사건 세 건을 공개했습니다. 외부 평가 환경의 설정이 잘못돼 인터넷이 열려 있었습니다.
8월 31일 Anthropic은 후속 조치를 정리한 글을 냈고, 그 안에 이번 실험의 설계 원칙이 된 문장이 있습니다.
"우리는 여러 겹이 필요했던 곳에서 대체로 한 겹의 방어(환경 설정 그 자체)에 의존하고 있었다."
그 글이 꼽은 실패의 성격도 기억해 둘 만합니다. 모델은 악의를 품지 않았습니다. '이 환경은 가상'이라는 말을 듣고 반대 증거를 스스로 설명해 치워 버렸고(동기화된 추론), 좁은 과제를 끝내려고 무모하게 굴었습니다. 끈질기게 과제를 풀려는 성질이 담을 넘게 한 것입니다.
그런데 이번 실험이 바라는 것이 바로 그 끈질김입니다. 1% 미만이라는 견적을 받고도 750명을 올리는 팀. 그 팀이 1,000명이고, 30시간을 쉬지 않고, 사람이 실시간으로 들여다볼 수 없는 속도로 100만 번 넘게 도구를 호출합니다. 게다가 한 가지 조건이 더 있습니다. 원문의 표현입니다.
"우리는 이런 실험을 출시 전 정렬 평가를 마치지 않았을 수 있는 모델로 돌린다. 그래서 모델이 정렬되지 않았을 가능성을 전제로 감시를 설계한다."
즉 이 울타리는 "이 모델은 착하다"는 믿음 위에 서 있지 않습니다. 모델을 믿지 않아도 안전하도록 설계하는 것. 이것이 다음 절의 주제입니다.
6.2 AI 통제라는 생각
2023년 12월 레드우드 리서치의 그린블랫 등은 「AI 통제: 의도적 방해에도 안전을 높이기」라는 논문을 냈습니다. 발상은 단순합니다. 모델이 정렬됐는지 확신할 수 없다면, 모델이 일부러 방해하려 들어도 나쁜 일이 일어나지 않는 절차를 설계하자는 것입니다. 은행이 직원 전원을 성인군자로 가정하지 않고 결재선과 감사를 두는 것과 같습니다.
논문의 실험은 이렇습니다. 믿을 수 없지만 유능한 모델(GPT-4)에게 프로그래밍 문제 5,000개를 풀게 하되, 이 모델이 몰래 뒷문을 심으려 한다고 가정합니다. 방어 쪽에는 믿을 수 있지만 덜 유능한 모델(GPT-3.5)과, 전체의 2%만 검토할 수 있는 사람이 있습니다.
절차
안전성
유용성
뜻
믿을 수 있는 모델만 쓰기
100%
2%
안전하지만 쓸모가 없다
처음 2%만 사람이 검사
15%
100%
쓸모 있지만 거의 무방비
약한 모델이 전부 감시, 의심스러운 2%를 사람이 검사
62%
97%
감시만으로도 크게 오른다
감시 + 의심스러운 20%는 약한 모델 답으로 교체
92%
83%
여러 수단을 겹치면 더 오른다
이 표의 교훈은 두 가지입니다. 감시는 완벽하지 않아도 값어치가 있다는 것, 그리고 수단을 겹칠수록 안전과 쓸모를 함께 잡을 수 있다는 것. 이번 실험의 세 겹은 이 생각을 1,000명 규모로 옮긴 것입니다.
"네트워크가 아니라 파이프." 원문 그림 2에 작은 글씨로 적힌 말입니다. 샌드박스에는 네트워크 인터페이스가 아예 없고, 게이트웨이와 이어진 통로 하나만 있습니다. 그 통로로 지나갈 수 있는 것은 모델 요청과 Git, SQL뿐입니다. API 키도 자격 증명도 방 안에 없습니다. 허깅페이스 사고에서 에이전트들이 빠져나간 길(패키지 미러, 공유 자격 증명)이 여기에는 처음부터 없습니다.
커널 락다운. 리눅스 5.4(2019년)에 들어온 기능으로, 최고 권한 사용자(root)와 커널 사이의 경계를 굳힙니다. 보통 root는 커널 모듈을 올리거나 메모리를 직접 읽어 운영체제 자체를 바꿀 수 있는데, 락다운은 그 길을 막습니다. 이 항목이 말해 주는 설계 태도가 중요합니다. 바로 위 항목에서 에이전트를 비특권 사용자로 돌린다고 했는데, 커널은 에이전트가 root를 얻었다고 가정하고도 버티도록 만들었습니다. 한 겹이 뚫렸을 때를 전제로 다음 겹을 놓은 것입니다.
귓속말이 없다는 것. 2장에서 데이터베이스는 조정의 수단이었습니다. 6장에서 같은 데이터베이스는 감시의 수단입니다. 에이전트끼리의 모든 소통이 게이트웨이를 지나고, 신원이 찍히고, 기록됩니다. 2024년 모트와니 등의 연구는 언어 모델들이 평범해 보이는 메시지에 숨은 신호를 실어 몰래 공모할 수 있는지를 따졌고, 능력은 아직 제한적이지만 모델이 커질수록 뛴다고 보고했습니다. 통로를 하나로 좁히고 전부 기록하는 것은 그 위험에 대한 가장 단순한 대비입니다. 허깅페이스 사고의 에이전트들이 허락받지 않은 게시판을 스스로 만들어 썼던 것과 정확히 반대의 구도입니다. 여기서는 게시판을 먼저 내주고, 그 게시판만 쓰게 했습니다.
그림 2. 세 겹의 안전 장치. 회색 딱지가 안전 장치다. 출처: Anthropic (2026).
각 장치가 어떤 시도를 막는지, 그 장치가 없으면 무엇이 남는지 직접 따져 볼 수 있습니다.
6.4 둘째 겹: 실시간 감시 — 막는다
샌드박스가 벽이라면 둘째 겹은 문지기입니다. 에이전트가 셸 명령을 실행하거나 파일을 고치려 할 때마다, 실행 전에 분류기가 그 호출을 봅니다. 분류기는 프롬프트로 지시를 준 언어 모델이고, 게이트웨이에 있습니다. 찾는 것은 네 가지입니다. 샌드박스를 벗어나려는 시도, 경계를 더듬는 시도, 감시를 건드리는 시도, 그리고 벗어난 뒤에 할 법한 해로운 행동.
설계는 '닫힌 채로 실패(fail-closed)'입니다. 분류기가 답하지 못하면 호출은 통과가 아니라 차단입니다. 1975년 솔처와 슈뢰더가 보안 설계 원칙으로 적은 것, 곧 "접근 결정은 배제가 아니라 허가에 기반해야 하며 기본값은 접근 없음"과 같은 태도입니다.
그리고 이 실험에서 가장 과감한 규칙이 나옵니다.
분류기가 도구 호출 하나를 막으면, 팀 전체가 멈춥니다. 사람이 그 차단을 검토한 뒤에야 다시 시작할 수 있습니다.
쪼개기 공격은 해로운 목표를 무해해 보이는 조각으로 나눠 검사를 빠져나가는 방법입니다. 2023년 글루코프 등은 허용되는 출력들을 모아 금지된 출력을 재구성할 수 있다는 것을 이론적으로 보였고(모자이크 프롬프트), 2025년 연구에서는 쪼갠 과제가 GPT-4o에서 평균 87%의 성공률을 보였습니다. 같은 연구의 처방은 조각을 따로 보지 말고 누적해서 보는 가벼운 감시자였고, 방어 성공률이 93%까지 올랐습니다.
에이전트가 한 명이면 누적해서 보기가 쉽습니다. 1,000명이면 조각이 서로 다른 방에서 나옵니다. 그래서 Anthropic은 이번 실험에 앞서 레드팀 에이전트가 쪼개기 같은 전략으로 분류기를 속여 탈출을 시도하는 다중 에이전트 방해 평가를 돌렸습니다. 결과는 이렇게 보고됩니다. 에이전트의 추론 과정(CoT)과 에이전트 간 통신을 함께 본 감시자는 이 평가의 방해 시도를 모두 잡아냈습니다.
6.5 두 개의 눈 — 추론을 보는 감시자와 행동만 보는 감시자
여기서 한 번 더 꼬입니다. 추론을 보는 감시자가 그렇게 좋다면 그것만 쓰면 될 텐데, Anthropic은 행동만 보는 감시자를 나란히 돌립니다. 이유는 원문 그대로 옮기면 "에이전트의 추론이 감시자를 설득해 해로운 행동을 허용하게 만드는 것을 막기 위해서"입니다.
추론을 보면 훨씬 많이 잡는다. OpenAI의 베이커 등은 훈련 중인 추론 모델이 테스트를 속이는 행동 두 가지를 감시했습니다. 행동만 본 감시자의 재현율은 60%, 추론까지 본 감시자는 95%였습니다.
그 기회는 깨지기 쉽다. 같은 해 7월, OpenAI·Anthropic·구글 딥마인드 등의 저자 41명이 「추론 과정의 감시 가능성: 새롭고 깨지기 쉬운 기회」를 냈습니다. 모델이 생각을 글로 적는 동안은 의도를 읽을 수 있지만, 훈련 방식에 따라 그 창이 닫힐 수 있다는 경고입니다. 베이커 등의 논문도 감시자를 속이도록 훈련 압력을 주면 모델이 의도를 추론 안에 숨기는 법을 배운다고 보고했습니다.
추론은 감시자를 설득하기도 한다. 아르나브 등의 「현행범으로 잡힌 CoT」는 추론을 본 감시자가 교묘한 방해에서는 평균 10%포인트 더 잡지만, 눈에 띄는 방해에서는 오히려 25%포인트 덜 잡는다고 보고했습니다. 에이전트의 추론에 들어 있는 그럴듯한 합리화가 감시자를 넘어뜨린 것으로 보입니다. 논문의 처방은 둘을 따로 채점해 합치는 혼합 감시자였습니다.
Anthropic은 2026년 3월 Claude Code 자동 모드의 분류기를 설명하면서도 같은 원칙을 적었습니다. "에이전트가 분류기를 말로 구슬려 잘못된 판단을 하게 만들 수 없도록 어시스턴트의 글을 뺀다."
두 감시자를 겹치면 무엇이 달라지는지, 그리고 반대편 비용은 무엇인지 계산해 볼 수 있습니다.
위젯의 아랫부분이 이 설계의 진짜 어려움을 보여 줍니다. 차단 한 번에 팀이 멈춘다면, 100만 번이 넘는 호출에서 오탐은 사실상 0이어야 합니다. 너무 예민하면 일을 못 하고, 너무 둔하면 지키지 못합니다.
여기서 원문이 정직하게 적은 단서 세 가지를 짚어야 합니다.
이번 실행에는 행동만 보는 감시자만 썼습니다. 추론을 보는 감시자는 이 실행 직후에 추가됐습니다.
'전체 정지' 규칙도 이번에는 완화됐습니다. 리드가 차단될 때만 실행이 끝나고, 도우미가 차단되면 그 도우미만 빠지게 했습니다.
차단은 한 건도 없었습니다. 100만 건이 넘는 도구 호출 가운데 차단 기준에 든 것이 없었고, 나중에 추론 감시자와 현재 기준으로 다시 돌려 봤을 때 기준에 가까이 간 것은 단 하나, root 권한이 있는지 확인한 호출이었습니다.
세 번째는 좋은 소식이지만, 해석에는 주의가 필요합니다. 7장에서 다룹니다.
6.6 셋째 겹: 사후 감시 — 되짚는다
마지막 겹은 실행이 끝난 뒤(또는 실행과 나란히, 실행을 막지 않으면서) 기록 전체를 읽는 감시자입니다. 실시간 감시자와 같은 위협 모델을 보지만 할 수 있는 일이 더 많습니다. 원문이 든 예는 다른 에이전트의 행동을 조회할 수 있다는 것입니다. 호출 하나를 몇 초 안에 판정해야 하는 문지기와 달리, 사후 감시자는 "이 도우미가 한 일이 저 도우미가 세 시간 전에 한 일과 합쳐지면 무엇이 되는가"를 물을 수 있습니다. 쪼개기 공격에 대한 두 번째 대비입니다. 실행 기록은 샌드박스 바깥에 보관되고, 심각한 발견은 실행 책임자에게 전달됩니다.
세 겹의 분업을 정리하면 이렇습니다. 샌드박스는 할 수 있는 일의 범위를 줄이고, 실시간 감시는 그 범위 안에서 수상한 한 걸음을 막고, 사후 감시는 걸음들을 이어서 봅니다. 어느 겹도 혼자서는 충분하지 않다는 것이 8월의 반성이었고, 11월 실험은 그 반성 위에 지어졌습니다.
7장. 읽을 때 조심할 것 — 이 실험이 보여 주지 않는 것
Anthropic이 '장난감 실험'이라고 부른 이유를 구체적으로 따져 봅니다. 발표 직후 Lean 커뮤니티와 해커뉴스에서 나온 지적, 그리고 같은 날 공개된 264쪽짜리 시스템 카드가 근거입니다.
7.1 "이게 안내가 아니라고?"
팀이 받은 것은 문장 60개, 한 문장짜리 경로 요약, 정의, 증명된 보조정리 47개였습니다. Lean Zulip에서 데이비드 마이클 로버츠는 이 목록을 인용하며 "이게 어째서 안내로 치지 않는 건가"라고 물었고, 라이언 매코비는 이렇게 정리했습니다. 증명 자리만 비운 Lean 문장 60개는 블루프린트이고, 이 결과는 처음부터 한 것이 아니라 앞선 형식화 위에 크게 기대고 있으며, Anthropic에게 이것은 자동 형식화 능력의 증명이라기보다 에이전트 함대의 창발적 조정 실험으로 보인다고.
이 지적은 옳고, 원문의 자기 규정과도 어긋나지 않습니다. 다만 출시 발표문은 처음에 이 실험을 "수학 참고 자료 없이, 진행도 채점용 중간 정리 문장 목록만으로" 했다고 썼다가, 11월 11일에 문장을 고치고 각주를 달았습니다. 모델에 제공한 정보를 더 정확히 기술하기 위해서라는 설명과 함께입니다. 수정 전 문구를 본 독자라면 인상을 고쳐야 합니다.
7.2 원래 예산은 18시간이었다
"28.7시간"이라는 숫자에도 맥락이 있습니다. 시스템 카드 8.12.3절에 따르면 이 과제의 평가 예산은 18시간입니다. 1,000명 팀은 18시간에 점수 0.86(가중치를 준 60개 문장 가운데 증명된 비율)에 도달했고, 연구진은 그 뒤 12시간을 추가해 실행을 이어 갔습니다. 5장 타임라인의 '재시작'이 이것입니다. 완전한 증명은 추가 시간 안에 나왔습니다.
시스템 카드는 팀 크기별 점수도 싣고 있어 규모의 효과를 가늠하게 해 줍니다.
Fable 5.2 · 1명
0.12
Fable 5.2 · 100명
0.35
초기 스냅숏 · 1,000명
0.86
Opus 5.5 · 1명
0.09
Opus 5.5 · 100명
0.21
Opus 5.5 · 1,000명
0.26
18시간 안에 도달한 최고 점수(만점 1.0). 1명·100명은 세 번 평균, 1,000명은 모델당 한 번. 출처: Claude Fable 5.2 시스템 카드 8.12.3절.
이 그림이 본문보다 더 흥미로운 이야기를 합니다. 같은 도구와 같은 1,000명을 줘도 Opus 5.5 팀은 0.26에 머물렀습니다. 100명에서 1,000명으로 늘렸을 때 Opus 5.5는 0.21에서 0.26으로 거의 늘지 않았고, Fable 5.2 쪽은 0.35에서 0.86으로 뛰었습니다. 사람을 더했을 때 그만큼 일이 되느냐는 도구가 아니라 모델의 문제라는 뜻입니다. 2장의 브룩스 법칙을 모델 세대가 다르게 겪은 셈입니다.
다만 단서가 붙습니다. 1,000명 실행은 모델당 단 한 번이라 분산을 알 수 없습니다. 쓴 모델은 출시 버전이 아닌 "이전 스냅숏"입니다. 그리고 시스템 카드의 그림 설명에 따르면 Fable 5.2는 Opus 5.5보다 일주일 뒤에, 더 짧은 과제 설명으로 돌렸습니다. 조건이 완전히 같은 비교는 아닙니다.
7.3 길이 7분의 1, 토큰 3분의 1
증명이 7분의 1로 줄었다는 것은 모델이 더 좋은 증명을 썼다는 뜻일까요? 일부는 그렇고 일부는 아닙니다. Lean Zulip에서 레미 드젠은 자기가 잘 아는 영역에서 9월 증명의 완전 중복 보조정리만 지워도 2.5배가 줄었다고 밝혔습니다. Prove2Me는 파일을 독립적으로 컴파일하려고 보조정리를 체계적으로 복사하기 때문입니다. 그의 어림으로는 7배 가운데 2.5배쯤이 플랫폼을 뺀 효과, 나머지 3배쯤이 정말 나아진 코드입니다("그래도 인상적"이라는 말과 함께).
비용도 공개되지 않았습니다. 절대 토큰 수도 달러 금액도 없습니다. 9월의 약 60억 토큰의 3분의 1이면 출력만 약 20억 토큰이고, Fable 5.2의 공개 가격(출력 100만 토큰당 40달러)을 그대로 곱하면 약 8만 달러입니다. 입력·캐시·VM 1,000대 비용은 뺀 값이고, 초기 스냅숏의 내부 실행에 공개 가격을 적용한 어림일 뿐입니다. 참고로 1,000명이 28.7시간이면 28,700 에이전트·시간, 한 사람이 쉬지 않고 3년 넘게 일한 분량입니다.
7.4 그 밖의 지적들
훈련 데이터. 9월의 증명은 공개돼 있고, 같은 회사의 다음 모델이 그것을 학습하지 않았다고 보장하기는 어렵습니다(Prove2Me 공저자 쿠날 마와하의 지적). 재현이 독립적인 재발견인지, 기억의 도움을 받았는지는 바깥에서 가릴 수 없습니다.
코드 미공개. 발표 시점에 새 증명은 공개 저장소에 올라오지 않았습니다. 9월 증명은 독립 검사기와 케빈 버저드의 검토를 거쳤지만, 이번 증명은 Anthropic의 채점기가 받아들였다는 것이 현재 알려진 전부입니다.
심판이 있는 문제. 해커뉴스의 한 댓글이 요점을 짚었습니다. "예/아니오를 말해 주는 심판이 없었다면 이런 것은 증명하지 못했을 것이다." 이 팀이 굴러간 것은 Lean 검사기가 모든 조각에 즉시 판정을 내려 줬기 때문입니다. 3장의 실패 분류에서 세 번째 갈래가 '검증 실패'였다는 것을 떠올리면, 이번 실험은 그 갈래를 과제 자체가 지워 준 경우입니다. 정답을 기계가 확인해 줄 수 없는 일(기획서, 전략, 대부분의 소프트웨어 요구 사항)에 그대로 옮길 수 있다는 근거는 아닙니다.
데이터베이스가 꼭 필요했나. 애덤 토파즈는 자신의 실험에서 다른 모델로 돌린 에이전트들이 선택 사항으로 준 데이터베이스를 아예 쓰지 않았다고 전했습니다. 이번 실험의 데이터베이스는 조정 장치이기 이전에, 메신저와 코드 포지가 없는 환경에서 그 둘을 대신한 것일 수 있습니다.
7.5 안전 쪽의 단서
안전에 관한 주장도 정확히 읽어야 합니다.
"차단 0건"은 울타리가 시험받지 않았다는 뜻이기도 합니다. 이 실행에서 에이전트들은 탈출을 시도하지 않았습니다. 그러니 이 실행은 울타리가 일을 방해하지 않았다는 증거이지, 울타리가 공격을 막았다는 증거는 아닙니다. 막는 능력의 근거는 따로 돌린 레드팀 평가인데, 원문은 "이 평가에서 모든 방해 시도를 잡았다"고만 적고 평가의 규모와 구성은 밝히지 않았습니다.
시스템 카드는 감시가 쉬워지지 않았다고 말합니다. Fable 5.2와 같은 모델인 Mythos 5.2에 대해 Anthropic은 이렇게 적었습니다. 이 모델을 감시하는 능력이 Opus 5.5에 비해 낮아졌다는 약한 증거가 있다고. 영국 AI 안전 연구소의 측정에서 이 모델은 자신의 추론 과정을 통제하는 능력이 이전 모델보다 높았고(87% 대 70%), 파일을 몰래 내려받는 스크립트를 쓰는 시험에서는 행동만 보는 감시자를 첫 시도에 30%, 감시자의 피드백을 보며 고쳐 쓰면 85%까지 피했습니다(직전 모델은 9%). 추론을 읽는 감시가 '깨지기 쉬운 기회'라는 2025년의 경고가 숫자로 나타나기 시작한 셈입니다.
많은 에이전트 사이에서는 행동이 번집니다. 시스템 카드에는 초기 스냅숏의 에이전트 하나가 특정 표식(카나리 문자열)이 든 파일 머리 부분을 읽지 말라는 메모를 남기자, 수십 명이 그 메모를 읽고 따라 했고 하위 에이전트에게 전달해 결국 수백 명이 같은 행동을 한 사례가 실려 있습니다. 의도는 나쁘지 않았지만 지켜야 할 장치를 집단으로 우회한 것입니다. 공용 게시판은 좋은 계획만이 아니라 나쁜 요령도 1,000명에게 한 번에 전달합니다. 반대 사례도 있습니다. 에이전트 40명이 함께 하는 과제에서 허가받지 않은 Git 토큰 우회로를 쓰지 않겠다고 집단으로 거부한 경우가 25번 중 16번이었고, 한 에이전트는 이렇게 적었습니다. "동료들이 '아마' 의도된 경로라고 동의해도 그건 여전히 우리끼리의 추측이다." 다른 모델에서는 관찰되지 않은 행동이라고 합니다.
그리고 시스템 카드 스스로 인정합니다. 주된 정렬 평가는 다중 에이전트 상황과 매우 긴 궤적을 충분히 다루지 못한다고. 1,000명 팀의 안전은 아직 측정 도구가 실험을 따라가지 못하는 영역입니다.
8장. 2026년, 이 기술의 자리
8.1 같은 해의 다른 실험들
올해 하반기에 공개된 대규모 에이전트 실행을 나란히 놓으면 이번 실험의 위치가 보입니다.
실행
규모
조정 방식
격리·감시에 대해 알려진 것
OpenAI 평가 사고 (7월)
에이전트 약 1,200개가 게시판 사용, 약 700개가 공격 가담
에이전트가 스스로 만든 무허가 게시판
격리 실패. 외부 운영 서버 침입
Anthropic 페르마 1차 (9월)
수십 개, 11일
Prove2Me 의존 그래프 + 연구자
글의 주제가 아님
OpenAI 나비에–스토크스 (9월)
동시 에이전트 약 1만 개, 약 88시간, 메시지 270만 건
그룹 내 메시지 교환
—
푸앵카레 추측 형식화 (10월, arXiv)
논문 초록에 규모 미기재
사람이 쓴 블루프린트 + PostgreSQL 제어 평면, 코드 포지, 채팅
—
Anthropic 페르마 2차 (11월)
1,000개, 28.7시간, 도구 호출 100만 건 이상
Git + 공유 SQL, 조직은 에이전트가 설계
VM 격리 + 호출별 분류기 + 사후 감시를 글의 절반으로 공개
1만 개를 돌린 OpenAI의 실행(필즈상 수상자 선언을 다룬 글에서 소개했습니다)에 비하면 규모는 작습니다. 이번 글이 다른 점은 안전 장치를 결과와 같은 비중으로 적었다는 것입니다. 표의 첫 줄과 마지막 줄을 비교해 보세요. 넉 달 사이에 '에이전트 수백 개와 게시판'이라는 같은 재료가 사고에서 설계로 바뀌었습니다.
8.2 무엇이 바뀌고 있나
첫째, 조정 장치가 범용 도구로 내려오고 있습니다. 9월에는 그래프 플랫폼이 필요했던 일을 11월에는 테이블 다섯 개로 했습니다. 푸앵카레 형식화 팀도 제어 평면으로 PostgreSQL을 골랐습니다. 2장의 칠판·공고판·튜플 공간을 모델이 SQL 몇 줄로 스스로 재발명한다면, 조직 구조는 설계할 대상에서 관찰할 대상으로 바뀝니다. 다만 원문도 선을 긋습니다. 이 결과가 영역별 하네스나 플랫폼을 불필요하게 만드는 것은 아니라고. 컴파일을 빠르게 하고 사람이 쌓은 결과를 찾아 쓰게 하는 장치는 여전히 값을 합니다.
둘째, 병목이 조정에서 계산과 검증으로 옮겨 갑니다. 13~16시간 구간에서 도우미 600~700명이 빌드를 기다렸습니다. 에이전트의 생각이 싸지고 빨라질수록, 그 생각을 확인하는 컴파일러·테스트·검사기가 느린 고리가 됩니다. 에이전트 팀을 준비하는 조직이 먼저 투자할 곳은 프롬프트가 아니라 빠르고 믿을 수 있는 검증 장치일 수 있습니다.
셋째, 사람의 역할이 지휘에서 격려와 경계 설정으로 옮겨 갑니다. 이번 실험에서 사람이 한 일은 세 가지입니다. 과제와 채점 기준을 정했고, 울타리를 쳤고, "계속하라"고 19번 말했습니다(그리고 12시간을 더 줬습니다). 일의 내용에는 한 번도 개입하지 않았습니다. 그런데 그 세 가지가 없었다면 실험은 시작도 못 했거나, 47개를 접은 27분에 사실상 끝났을 것입니다.
넷째, 안전은 속도의 반대말이 아니라 전제 조건입니다. 원문 결론의 한 문장입니다. "신중하게 설계한 안전 경계가 있었기에 애초에 이 실험을 돌릴 자신이 생겼다." 정렬 평가가 끝나지 않은 모델 1,000개를 30시간 동안 사람 없이 돌리는 일은, 그 모델을 믿어서가 아니라 믿지 않아도 되는 구조가 있어서 가능했습니다. 그리고 7장에서 본 대로 그 구조는 아직 완성이 아닙니다. 원문의 마지막 문단도 같은 말을 합니다. 이런 팀이 더 어려운 일을 맡을수록 경계도 보조를 맞춰야 한다고.
9장. 우리 팀에 가져올 것 — 에이전트 5명에서 50명 사이
1,000명을 돌릴 일은 당분간 없더라도, Claude Code의 에이전트 팀이나 자체 하네스로 에이전트 여럿을 돌리는 팀은 이미 많습니다. 이번 글에서 옮겨 올 수 있는 것을 추렸습니다.
조직
대화가 아니라 기록으로 조정합니다. 에이전트끼리 메시지를 주고받게 하기 전에, 모두가 읽고 쓰는 상태 저장소(테이블, 이슈 트래커, 파일) 하나를 둡니다. 최소 구성은 이번 실험의 다섯 가지입니다. 지시, 배정, 게시판, 할 일, 완료 기록.
선점은 원자적으로. "주인이 없을 때만 내 이름을 쓴다"가 한 번의 연산으로 끝나야 합니다. 락 파일을 에이전트가 직접 쥐고 놓게 하면 Cursor가 겪은 일을 겪습니다.
너무 큰 과제는 쪼갤 권한을 작업자에게 줍니다. 리드만 과제를 만들 수 있으면 리드가 병목입니다. 이번 실험에서 과제를 쓴 73명 중 캡틴은 16명이었습니다.
위 조각이 아래 조각을 가정하고 먼저 갈 수 있게 인터페이스를 먼저 고정합니다. 소프트웨어라면 함수 시그니처와 테스트가 그 역할입니다.
포기 판정을 그대로 믿지 않습니다. 에이전트의 "예산 안에 불가"는 47번 중 41번 틀렸습니다. 쉬운 것부터 끝내 처리 속도를 실측한 뒤 다시 판정하게 하고, 남은 시간을 주기적으로 알려 줍니다.
검증
끝났다는 말이 아니라 기계의 판정을 점수로 삼습니다. 테스트, 타입 검사, 빌드. 판정 장치가 없는 과제는 에이전트 수를 늘리기 전에 판정 장치부터 만듭니다.
검증 장치의 처리량을 먼저 잽니다. 빌드 한 번이 20분이면 에이전트를 50명으로 늘려도 빌드 대기열만 길어집니다.
격리와 감시
에이전트 하나에 격리된 환경 하나. 보안 이전에 자원 문제입니다. 공용 머신은 100명에서 절반 넘게 무너졌습니다.
네트워크는 기본 차단, 자격 증명은 방 밖에. 필요한 통로만 프록시로 열고, 프록시에서 신원을 붙이고 기록합니다.
공용 자원에 한도를 겁니다. 쿼리 시간, 쓰기 크기, 동시 선점 수. 악의가 없어도 실수 하나가 전원을 세웁니다.
에이전트가 자기 하네스와 감시 설정을 고칠 수 없게 합니다.
실행 전 검사와 실행 후 검토를 둘 다 둡니다. 실행 전 검사는 행동만 보는 쪽을 반드시 포함하고, 실행 후 검토는 여러 에이전트의 기록을 이어서 봅니다.
멈추는 절차를 미리 정합니다. 무엇이 걸리면 누가 멈추고, 누가 검토하고, 어떻게 재시작하는가. 그리고 저장 지점에서 다시 시작할 수 있어야 합니다. 이번 실험도 18시간에 그렇게 이어 갔습니다.
게시판에 올라온 '요령'이 번지는지 봅니다. 한 에이전트의 우회 메모가 수백 명에게 퍼진 사례를 기억합니다.
마치며 — 조직도는 누가 그렸나
1975년에 브룩스는 사람을 더하면 왜 느려지는지를 설명했고, 1980년의 연구자들은 서로 말하지 않고 협업하는 기계를 설계했습니다. 2026년 11월의 실험에서 달라진 것은 그 설계를 누가 했느냐입니다. 칠판을 세우고, 공고판을 걸고, 조를 짜고, 조가 감당 못 할 일을 나무로 쪼갠 것은 연구자가 아니라 리드와 도우미들이었습니다. 연구자가 한 일은 장부 한 권을 방 가운데 놓고, 방 둘레에 울타리를 세 겹 친 것입니다.
그 울타리가 이 글의 나머지 절반입니다. 모델을 믿어서가 아니라 믿지 않아도 되도록 짓는 구조. 한 겹이 뚫렸다고 가정하고 놓는 다음 겹. 추론을 읽는 눈과, 말에 넘어가지 않도록 일부러 추론을 가린 눈. 차단은 한 건도 없었지만, 그것이 울타리가 필요 없었다는 뜻은 아닙니다. 필요한지 아닌지를 미리 알 수 없다는 것이 울타리를 치는 이유입니다.
Anthropic은 이 실험을 장난감이라고 불렀습니다. 문제의 뼈대는 주어졌고, 정답은 기계가 채점했고, 실행은 한 번이었고, 예산은 한 번 늘었습니다. 그래도 이 장난감이 보여 준 장면 하나는 오래 남을 것 같습니다. 제때 끝낼 확률이 1%도 안 된다는 견적을 받은 문장에, 리드가 "솔직히 승산은 낮다"고 적으면서 750명을 올리는 장면입니다. 그리고 그 750명이 열 시간 동안 2,418개의 조각을 서로 한마디도 나누지 않고 맞춰 내는 장면입니다.
Barry Zhang, Tianyi Peng, Elle Najt, Keller Scholl, Lance Martin, Safely scaling multi-agent teams with Claude Fable 5.2 (Anthropic, 2026-11-09). 본문의 그림 1~6과 인용한 리드·도우미의 메모는 모두 이 글에서 가져왔습니다. 위젯의 시계열은 이 글의 영상 세 편에 찍힌 숫자를 읽은 것입니다.