1만 프레임을 잊지 않는 법 — LingBot-Map과 기하 컨텍스트 어텐션

크게 보기

당신이 지금 앉아 있는 방을 눈을 감고 떠올려 보세요.

문은 어디에 있고, 창문은 어느 쪽이고, 뒤로 두 걸음 물러나면 무엇에 부딪히는지 — 당신은 답할 수 있습니다. 그런데 당신이 기억하고 있는 건 이 방의 사진 수만 장이 아닙니다. 오늘 이 방에서 눈이 받아들인 프레임은 수십만 장이지만, 머릿속에 남은 것은 놀랍도록 적습니다. 문 하나, 창문 하나, 대략적인 거리감 몇 개.

이건 결함이 아니라 설계입니다. 인간의 공간 인지는 모든 관측을 보관하지 않습니다. 꼭 필요한 단서만 골라 남기고, 나머지는 버립니다. 그래서 우리는 30년을 살아온 동네를 머릿속에 넣고 다닐 수 있습니다.

크게 보기

기계는 이걸 못 했습니다. 2026년 초까지 카메라 영상으로 3차원 공간을 실시간 복원하는 모델들은 두 갈래로 갈라져 있었습니다. 하나는 다 버리는 쪽 — 최근 몇 프레임만 보고 나머지는 잊어서, 5분쯤 걸어가면 자기가 어디서 출발했는지 모르게 됩니다. 다른 하나는 다 들고 가는 쪽 — 프레임 하나마다 1,000개씩 토큰을 캐시에 쌓아서, 3,000 프레임쯤 되면 GPU 메모리가 터집니다.

2026년 4월 15일, arXiv에 올라온 한 논문이 이 이분법을 깼습니다. 제목은 Geometric Context Transformer for Streaming 3D Reconstruction, 모델 이름은 LingBot-Map. 앤트그룹(Ant Group)의 임바디드 AI 자회사 Robbyant가 아파치 2.0 라이선스로 코드와 가중치를 모두 공개했습니다.

이 모델이 낸 숫자 하나만 먼저 보겠습니다.

표에 적힌 숫자는 절대 궤적 오차(ATE) — 모델이 추정한 카메라 경로가 실제 경로에서 평균 몇 미터 벗어났는지입니다. 시퀀스가 12배 길어졌을 때 경쟁 모델들은 오차가 1.3~1.8배로 뛰었고, LingBot-Map은 0.69미터 늘었습니다.

그리고 이 논문의 저자들이 공개한 데모 중 가장 인상적인 것은 이것입니다 — 25,000 프레임, 13분간의 실내 워크스루를 단일 좌표계 점군 하나로 복원한 결과.

크게 보기

여러 방과 복도를 13분간 걸어다닌 영상 한 편이 하나의 평면도가 되었습니다. 파란 선이 추정된 카메라 궤적입니다. 출처: Robbyant/lingbot-map (Apache-2.0)

이 글은 그 안을 끝까지 들여다봅니다. 왜 이 문제가 어려운지, 40년 동안 어떤 시도들이 있었는지, 아키텍처가 정확히 어떻게 생겼는지 — 논문뿐 아니라 1만 3천 줄의 소스 코드까지 읽고 정리했습니다. 그리고 2026년의 지금, 이 기술이 어디에 앉아 있는지까지.

1부. 이 문제가 왜 어려운가

문제를 한 줄로 정의하면

카메라가 영상을 찍으며 어딘가로 움직입니다. 프레임 하나가 도착할 때마다 두 가지를 답해야 합니다.

미래 프레임은 절대 볼 수 없습니다. 이 한 가지 제약이 문제 전체의 성격을 바꿉니다. 그리고 이 제약 아래에서 세 가지 함정이 순서대로 나타납니다.

함정 ① 사진 한 장으로는 크기를 알 수 없다

카메라 한 대로 찍은 사진에는 근본적인 정보 결손이 있습니다. 스케일 모호성(scale ambiguity) 입니다.

크게 보기

체육관 크기의 거실과 인형의 집 크기의 거실은, 카메라를 적당히 놓으면 완전히 똑같은 사진을 만듭니다. 사진에서 3차원을 복원할 때 "2미터"인지 "2센티미터"인지는 원리적으로 결정되지 않습니다. 실수 배율 하나가 자유롭게 남습니다.

오프라인 모델들(DUSt3R, VGGT)은 이걸 편법으로 해결했습니다. 전체 프레임을 다 받은 다음 복원된 점군 전체의 평균 거리를 1로 맞춰버립니다. 하지만 스트리밍에서는 "전체"가 없습니다. 첫 프레임을 처리하는 순간에는 앞으로 어떤 장면이 올지 전혀 모릅니다.

그래서 스케일을 어딘가에 못 박아야 합니다. 이게 뒤에 나올 앵커 컨텍스트의 존재 이유입니다.

함정 ② 오차는 반드시 누적된다

프레임마다 카메라의 움직임을 추정합니다. 각 추정은 조금씩 틀립니다 — 0.1도, 1센티미터. 문제는 이 오차들이 곱해지며 이어진다는 것입니다. 회전 오차 0.1도는 10미터 앞에서 1.7센티미터, 100미터 앞에서 17센티미터의 위치 오차가 됩니다.

이 현상을 표류(drift) 라고 부릅니다. 그리고 표류의 시각적 증상은 아주 특징적입니다.

크게 보기

같은 건물을 두 번 지나갔는데, 두 번째로 본 건물이 첫 번째와 다른 위치에 그려집니다. 벽이 두 겹으로 겹치고, 방 하나가 두 개가 되고, 결국 점군 전체가 형체를 잃습니다. 논문의 정성 비교 그림에서 TTT3R과 Wint3R이 복잡한 다중 건물 장면에서 "공간적 일관성을 완전히 상실했다"고 표현한 것이 바로 이 상태입니다.

함정 ③ 기억을 다 들고 가면 계산이 터진다

이건 언어 모델을 다뤄본 사람에게 익숙한 문제입니다. 트랜스포머는 과거를 KV 캐시에 저장해 재계산을 피합니다. 그런데 3D 재구성에서 프레임 하나가 만드는 토큰 수는 언어와 비교가 안 됩니다.

518×378 해상도, 패치 크기 14픽셀이면 프레임 하나가 37×27 = 999개의 이미지 토큰을 만듭니다. 문장 하나가 아니라, 프레임 하나가 그렇습니다.

그래서 스트리밍 3D 재구성의 진짜 문제는 정확도가 아니라 선택적 컨텍스트 관리(selective context management) 입니다. 장기 일관성을 위한 풍부한 기하 정보와, 효율적 추론을 위한 압축된 상태 — 이 둘을 동시에 만족시켜야 합니다.

논문의 서론이 이 딜레마를 한 문장으로 정리합니다.

"스트리밍 상태는 단순히 얼마나 많이 가 아니라 무엇이 가장 중요한지 를 선택적으로 보존해야 한다. 그리고 그 선택은 기하학적 사전 지식에 근거하면서도, 데이터로부터 종단간 학습되어야 한다."

2부. 40년의 계보 — 이 아이디어는 어디서 왔나

LingBot-Map은 갑자기 나타난 것이 아닙니다. 이 논문의 설계 원리는 1980년대 사진측량과 2000년대 로보틱스에서 그대로 가져온 것입니다. 계보를 훑고 가야 GCA가 왜 저렇게 생겼는지 이해됩니다.

결정적인 유산: SLAM의 삼분할

위 타임라인에서 반드시 짚어야 할 노드는 SLAM입니다. Simultaneous Localization and Mapping — 로봇이 움직이면서 동시에 자기 위치를 알아내고 지도를 만드는 문제.

수십 년에 걸쳐 다듬어진 SLAM 시스템(ORB-SLAM3 같은)은 예외 없이 세 종류의 공간 컨텍스트를 따로따로 관리합니다.

이 삼분할은 우연이 아닙니다. 세 가지가 서로 다른 문제를 풀기 때문에 합칠 수 없습니다. 기준 프레임은 좌표계를, 지역 창은 정합 정확도를, 전역 지도는 장기 일관성을 담당합니다.

그런데 고전 SLAM에는 결정적 한계가 있었습니다. "어떤 프레임을 남길지"를 사람이 손으로 정한 임계값으로 결정한다는 것. 특징점이 몇 개 이하면 버리고, 이동량이 얼마 이상이면 키프레임으로 삼고 — 이런 규칙들은 새로운 장면에서 무너집니다. 어두운 계단, 텍스처 없는 흰 벽, 반복 패턴의 타일 바닥.

LingBot-Map이 한 일은 정확히 이것입니다.

SLAM의 삼분할 구조는 그대로 가져오고, 그 안의 손으로 만든 규칙을 어텐션으로 갈아끼운다.

논문은 이 어텐션을 GCA(Geometric Context Attention, 기하 컨텍스트 어텐션) 라고 부릅니다. 그리고 GCA를 몸통으로 삼은 트랜스포머 전체를 GCT(Geometric Context Transformer) 라고 부릅니다.

직계 부모: VGGT

계보에서 하나 더 짚을 노드는 VGGT입니다. 2025년 CVPR 최우수 논문. LingBot-Map의 아키텍처적 부모입니다.

VGGT가 증명한 것은 충격적으로 단순한 명제였습니다 — 기하 문제를 회귀 문제로 바꿔도 된다. 카메라 파라미터를 몰라도, 특징점 매칭을 안 해도, 번들 조정을 안 돌려도, 사진 수백 장을 트랜스포머에 밀어 넣으면 포즈와 깊이와 점 지도가 몇 초 안에 나옵니다.

그 핵심 구조가 교대 어텐션(alternating attention) 입니다. 프레임 내부만 보는 층과 프레임 사이를 잇는 층을 24번 번갈아 쌓습니다. 모든 토큰이 모든 토큰을 보는 전역 어텐션을 쓰면 계산량이 폭발하기 때문에, 축을 나눠 번갈아 처리하는 것입니다.

LingBot-Map은 이 골격을 거의 그대로 물려받았습니다 — DINOv2 백본, 카메라 토큰, 레지스터 토큰, DPT 깊이 헤드, 9차원 포즈 인코딩, 24블록 교대 구조. 바꾼 것은 딱 하나, "프레임 사이를 잇는 층"의 어텐션 마스크입니다. 그 한 곳을 바꾸기 위해 이 논문 전체가 존재합니다.

3부. 기존 스트리밍 방법들이 실패한 세 가지 방식

VGGT를 스트리밍으로 옮기려는 시도는 2025년에 여러 갈래로 터져 나왔습니다. 각각 다르게 실패했고, 그 실패의 지도가 GCA의 설계도가 되었습니다.

세 번째 줄이 특히 중요합니다. SLAM 백엔드를 붙인 하이브리드는 구조는 맞았습니다. 키프레임을 고르고 포즈 그래프를 관리하는 것은 정확히 옳은 방향입니다. 문제는 그 선택이 학습된 것이 아니라는 점이었습니다.

4부. 아키텍처 — GCA를 뼈까지 발라내기

여기가 이 글의 본체입니다. 천천히 갑니다.

4-1. 세 개의 기억

GCA는 하나의 어텐션 층 안에서 세 종류의 컨텍스트를 동시에 유지합니다. SLAM의 삼분할과 일대일로 대응합니다.

크게 보기

하나씩 보겠습니다.

4-2. 앵커 컨텍스트 — 좌표계를 못 박는 대못

시퀀스가 시작될 때 맨 앞의 $n$개 프레임($n \ll N$)을 앵커 프레임으로 지정합니다. 이 프레임들에게는 특별 대우를 합니다.

4번이 조용하지만 결정적입니다. 수식으로는 이렇습니다.

$s = \frac{1}{|\bar{X}^{\text{anchor}}|} \sum_{x \in \bar{X}^{\text{anchor}}} \| x \|_2$

이게 왜 중요할까요. 모델에게 "절대 스케일"을 예측하라고 요구하면 불가능한 것을 요구하는 셈입니다(함정 ①). 그런데 "앵커 프레임 기준의 상대 스케일" 을 예측하라고 하면, 이건 결정 가능한 문제가 됩니다. 앵커가 자를 들고 서 있으니까요.

코드에서 앵커 프레임의 개수는 num_scale_frames(기본 8개)이고, 추론 시 1단계에서 이들을 한 덩어리로 묶어 한 번에 처리합니다.

어블레이션에서 앵커 초기화만 추가했을 때 AUC@3이 9.80 → 13.63으로 올랐고, ATE는 8.59 → 7.88로 떨어졌습니다. 논문의 해석이 흥미롭습니다 — AUC@3(가장 엄격한 국소 포즈 정확도)이 오른 것은 앵커가 전역 일관성만 개선한 게 아니라 프레임 하나하나의 등록 정확도까지 끌어올렸다는 뜻입니다. 기준점이 명확하니 새 프레임을 붙이는 일 자체가 쉬워집니다.

4-3. 포즈 참조 윈도우 — 새 프레임을 붙이는 접착면

앵커만으로는 부족합니다. 100미터 걸어온 뒤에 첫 프레임과 지금 프레임은 겹치는 픽셀이 하나도 없습니다. 새 프레임을 정확히 등록하려면 시각적으로 겹치는 최근 관측이 필요합니다.

그래서 최근 $k$개 프레임의 이미지 토큰을 전부 유지합니다. 이게 포즈 참조 윈도우입니다. 코드 기본값은 kv_cache_sliding_window = 64, 논문 실험 기본값도 $k = 64$입니다.

학습할 때 재미있는 장치를 씁니다. $k$를 16에서 64 사이에서 매번 무작위로 뽑습니다. 다양한 수용 영역을 경험시켜서, 추론 시 창 크기를 바꿔도 무너지지 않게 만드는 것입니다. 실무적으로 이게 중요한 이유는 뒤에서 나옵니다.

그리고 이 창 안의 프레임들끼리는 상대 포즈 손실로 직접 감독합니다(4-10에서 자세히).

4-4. 궤적 메모리 — 이 논문의 심장

앵커(과거의 시작점)와 윈도우(최근)가 있습니다. 그럼 그 사이의 수천 프레임은 어떻게 하죠?

버리면 표류합니다. 다 들고 가면 터집니다. GCA의 답은 이렇습니다.

이미지 토큰만 버리고, 프레임당 컨텍스트 토큰 6개는 끝까지 들고 간다.

이 6개가 정확히 무엇인지가 핵심입니다. 코드를 보면 명확합니다.

여기서 감탄할 지점은 이 6개가 원래부터 그 자리에 있었다는 것입니다. VGGT도 카메라 토큰과 레지스터 토큰을 씁니다. 이 논문은 새 압축 모듈을 발명하지 않았습니다. 트랜스포머가 이미 프레임 요약을 모아두던 자리를 그대로 "기억 슬롯"으로 재해석했을 뿐입니다.

그래서 학습 단계 전환이 매끄러웠습니다. GCA의 Q·K·V 투영은 전역 어텐션과 파라미터 형태가 완전히 같아서, 1단계 오프라인 모델의 가중치가 그대로 옮겨집니다.

그리고 하나 더 — 남겨진 6개 토큰에는 비디오 RoPE로 시간 좌표를 심습니다. 이게 없으면 궤적 메모리는 "어떤 기하가 있었다"는 것만 알고 "그게 언제였는지"를 모릅니다. 어블레이션에서 이 하나가 ATE를 7.46 → 5.98로 떨어뜨렸습니다. 단일 요소 중 가장 큰 개선폭이었습니다.

4-5. 네 가지 어텐션 마스크

지금까지의 이야기를 하나의 그림으로 보면 전부 이해됩니다. 논문 Figure 3을 인터랙티브로 재현했습니다. 버튼을 눌러 네 가지를 비교해 보세요.

GCA 마스크를 골라 슬라이더를 오른쪽 끝까지 밀어보면 구조가 선명해집니다. 왼쪽 두 열(앵커)은 항상 통짜로 켜져 있고, 대각선 근처(윈도우)도 통짜로 켜져 있고, 그 사이는 얇은 띠만 남습니다. 그 얇은 띠들이 궤적 메모리입니다.

4-6. 복잡도 — 80배라는 숫자의 정체

이제 계산해 봅시다. $T$ 프레임 시퀀스에서 현재 프레임이 참조하는 총 토큰 수는:

$\underbrace{n \cdot (M + 6)}_{\text{앵커}} + \underbrace{k \cdot (M + 6)}_{\text{윈도우}} + \underbrace{(T - n - k) \cdot 6}_{\text{궤적 메모리}} \;=\; (n+k) \cdot M + 6T$

$n$과 $k$는 고정 상수입니다. 그래서 첫 항은 상수고, 둘째 항만 프레임당 6씩 늘어납니다.

인과 어텐션은 $T \cdot (M+6) = MT + 6T$입니다. 뒤쪽 항은 GCA와 똑같고, 거기에 $MT$가 더 붙습니다. 프레임 하나가 추가될 때 늘어나는 양을 비교하면:

논문은 $M \approx 500$을 기준으로 "약 80배 감소"라고 썼습니다. 실제 518×378 설정($M = 999$)에서는 167배입니다. 직접 만져보세요.

슬라이더를 10,000 프레임에 놓으면 논문의 주장이 눈에 보입니다. 인과 어텐션은 약 1,000만 토큰, GCA는 약 13만 토큰. 논문 표현대로 "거의 상수에 가까운 프레임당 메모리와 계산량" 입니다.

4-7. 전체 파이프라인

이제 프레임 하나가 도착해서 포즈와 깊이가 나올 때까지의 경로 전체를 조립해 보겠습니다. 블록을 눌러보세요.

숫자로 정리하면 이렇습니다.

마지막 줄에 주의할 만한 디테일이 있습니다. 몸통은 bf16으로 돌리지만 카메라·깊이 헤드는 fp32로 강제합니다. 포즈는 작은 수치 오차가 궤적 끝에서 미터 단위로 증폭되는 양이라, 여기서 정밀도를 아끼면 손해가 큽니다.

4-8. 9개 숫자로 카메라를 표현하는 법 — 그리고 방향의 문제

카메라 헤드는 프레임당 9개 숫자를 뱉습니다. 코드에서 pose_encoding_type = "absT_quaR_FoV"입니다.

내장 파라미터(초점거리)까지 예측한다는 점을 주목하세요. 카메라 캘리브레이션 정보가 없어도 됩니다. 아무 휴대폰으로 찍은 영상, 심지어 생성 모델이 만들어낸 영상도 그냥 넣으면 됩니다.

그런데 여기서 LingBot-Map이 VGGT와 의식적으로 갈라진 지점이 있습니다. 논문 4.1절의 한 문장입니다.

"VGGT와 달리, 우리는 world-to-camera 대신 camera-to-world 변환으로 네트워크를 감독한다."

왜 이게 중요할까요. world-to-camera(w2c) 표현에서 이동 벡터는 $t = -R \cdot c$ 형태입니다. 회전 $R$과 카메라 중심 $c$가 곱셈으로 얽혀 있습니다. 회전을 0.5도 틀리면 이동 벡터가 그 회전에 곱해져서 위치 오차가 증폭됩니다. 그리고 긴 시퀀스에서는 이 증폭이 프레임마다 쌓입니다.

camera-to-world(c2w)로 바꾸면 이동 성분이 곧 카메라 중심 좌표 그 자체입니다. 회전과 위치가 분리됩니다. 이 논문이 초장문 시퀀스를 다루려면 반드시 건드려야 했던 부분이고, 실제로 코드 전반에서 closed_form_inverse_se3()로 c2w ↔ w2c를 명시적으로 왕복하는 것을 볼 수 있습니다.

그리고 카메라 헤드는 한 번에 답을 맞추지 않습니다. 반복 정제(iterative refinement) 구조입니다.

--camera_num_iterations 1로 줄이면 정제 3번을 건너뛰어 속도가 오르고, 이 헤드의 KV 캐시가 4분의 1로 줄어듭니다. 정확도를 조금 내주고 지연을 사는 노브입니다.

4-9. 비디오 RoPE — 궤적 메모리에 시계를 달아주기

궤적 메모리 토큰은 "이런 기하가 있었다"는 정보를 담고 있습니다. 그런데 언제 봤는지를 모르면 반쪽입니다. 10초 전에 지나간 벽인지 10분 전에 지나간 벽인지, 카메라가 그 방향으로 가고 있는지 오는 중인지 — 이걸 알아야 표류를 되잡을 수 있습니다.

그래서 3차원 RoPE를 씁니다. 어텐션 헤드 차원 64를 시간·높이·너비 세 축으로 쪼개 각각 독립적인 회전 위치 인코딩을 넣습니다. 코드에서는 fhw_dim = [20, 22, 22]로 나눕니다 — 시간축에 20차원, 높이·너비에 각각 22차원.

total_frames_processed를 모델이 계속 세고 있다는 점이 포인트입니다. 프레임 한 장만 넣어도 그 프레임이 전체 궤적에서 몇 번째인지를 위치 인코딩이 알고 있습니다.

이 하나가 ATE를 1.48미터 줄였습니다. 궤적 메모리 자체가 준 개선(0.42미터)보다 3배 이상 큽니다. 논문의 해석대로, 시간 순서는 궤적 메모리가 제 성능을 내기 위한 마지막 조각이었습니다.

4-10. 손실 함수 — 회전이 특히 예민하다

학습 목표는 세 항의 합입니다.

$\mathcal{L} = \lambda_{\text{depth}} \mathcal{L}_{\text{depth}} + \lambda_{\text{abs}} \mathcal{L}_{\text{abs-pose}} + \lambda_{\text{rel}} \mathcal{L}_{\text{rel-pose}}$

앞의 두 항은 VGGT를 따릅니다. 깊이 손실은 예측한 불확실성 $\Sigma$로 가중된 L1 + 그래디언트 매칭이고, 절대 포즈 손실은 정답 포즈와의 거리입니다.

세 번째 항이 이 논문이 추가한 것입니다. 포즈 참조 윈도우 안의 모든 프레임 쌍에 대해 상대 포즈를 감독합니다.

$\mathcal{L}_{\text{rel-pose}} = \frac{1}{k(k-1)} \sum_{i \neq j} \left( \mathcal{L}_{\text{rot}}(i,j) + \lambda_{\text{trans}} \mathcal{L}_{\text{trans}}(i,j) \right)$

$\mathcal{L}_{\text{rot}}$은 측지 회전 오차(두 회전 사이의 최단 각), $\mathcal{L}_{\text{trans}}$는 L1 이동 오차입니다. 창 안의 프레임은 모두 이미 관측된 프레임이므로 이 손실은 인과성을 깨지 않습니다.

절대 손실과 상대 손실은 서로 보완적입니다.

효과가 얼마나 클까요. 어블레이션에서 이 손실을 빼면 회전 오차(RPE-rot)가 2.26 → 5.35로 2.4배 악화됩니다. 반면 이동 오차는 1.48 → 1.67로 소폭만 나빠집니다.

이 비대칭이 시사하는 것: 회전 추정은 국소 쌍별 감독의 결핍에 특히 취약합니다. 그리고 4-8절에서 봤듯이 회전 오차는 이동 오차로 증폭됩니다. c2w 감독과 상대 포즈 손실은 같은 병을 두 방향에서 치료하는 처방인 셈입니다.

5부. 학습 — GPU 3만 7천 시간

아키텍처가 좋아도 학습이 안 되면 끝입니다. 그리고 이 모델의 학습은 정말 어려웠습니다.

왜 어려운가: 긴 시퀀스를 바로 학습시키면 초기 프레임의 포즈 오차가 궤적 전체로 전파되어 손실 지형이 불안정해집니다. 수백 뷰짜리 샘플로 처음부터 최적화하는 건 사실상 불가능합니다.

그래서 2단계 커리큘럼을 씁니다.

1단계에서 일부러 GCA를 쓰지 않는 것이 영리합니다. 1단계 데이터에는 순서 없는 다중뷰 컬렉션(CO3D, Objaverse, MegaDepth)과 순서 있는 비디오가 섞여 있습니다. 전역 어텐션은 시간 구조를 강제하지 않으므로 양쪽 데이터를 다 활용할 수 있습니다.

폴드백 비디오 샘플러

2단계의 데이터 샘플링 방식에 재미있는 트릭이 있습니다.

"미래로만 흐르는 영상"만 학습하면 모델이 시간 방향에 관한 지름길을 배웁니다. 되돌아 걷는 영상, 뒤로 후진하는 차 — 실제 로봇은 그런 걸 합니다.

데이터

29개 데이터셋. 실내·실외·객체 중심·합성·실촬을 모두 덮습니다. 2단계에서는 긴 궤적 데이터셋의 샘플링 비중을 확 올립니다.

게임 엔진 데이터가 30% 이상이라는 점을 눈여겨볼 만합니다. TartanAir·TartanGround·MatrixCity·내부 게임 데이터셋 — 모두 합성입니다. 이유는 명확합니다. 실제 세계에서 1만 프레임짜리 궤적의 픽셀 단위 정답 깊이와 밀리미터급 정답 포즈를 얻을 방법이 사실상 없습니다. 라이다를 매달고 캠퍼스를 돌아도 Oxford Spires 규모가 한계입니다. 긴 궤적 학습은 시뮬레이션 없이는 불가능합니다.

그리고 이건 뒤에서 다룰 월드 모델과의 순환 관계로 이어집니다.

데이터 증강의 미묘한 설계

색상 증강에 흥미로운 장치가 하나 있습니다.

• 확률 0.9로 색상 지터(밝기·대비·채도 ±0.5, 색조 ±0.1)
• 확률 0.3으로 공동 지터(co-jittering) — 한 장면의 모든 프레임에 동일한 색 변환
• 나머지 0.7은 프레임마다 독립적인 변환

왜 둘을 섞을까요. 공동 지터는 "프레임들이 비슷한 색감을 공유할 때 모델이 색 단서로 지름길을 타는 것"을 막습니다 — 기하로 풀라고 강제하는 것입니다. 독립 지터는 프레임 간 노출·화이트밸런스가 튀는 실제 촬영 조건에 대한 강건성을 만듭니다. 정반대 목적의 증강을 확률로 섞어 둘 다 얻습니다.

6부. 추론 시스템 — 코드를 읽어야 보이는 것

논문의 3.4절과 4.4절은 짧습니다. 하지만 이 부분이 20 FPS를 만든 곳이고, 실제로 모델을 돌려볼 사람에게는 가장 실용적인 부분입니다. 코드를 열어봤습니다.

6-1. 왜 페이지로 쪼개는가

GCA가 프레임당 컨텍스트를 작게 유지하는 건 맞습니다. 그런데 슬라이딩 윈도우와 궤적 축출 로직이 캐시를 계속 갱신해야 합니다 — 새 항목을 붙이고 오래된 걸 버립니다.

캐시를 하나의 연속된 텐서로 두면 이게 재앙입니다. 프레임을 버릴 때마다 torch.cat으로 전체를 다시 복사해야 합니다. 프레임당 7만 토큰 × 96KiB를 매번 복사하면, 어텐션 계산보다 메모리 복사가 더 오래 걸립니다.

해법은 LLM 서빙에서 이미 검증된 것이었습니다 — PagedAttention (Kwon et al., vLLM, 2023). 캐시를 고정 크기 페이지로 쪼개고, 페이지 테이블(어떤 페이지가 어떤 순서로 보이는지)만 갈아끼웁니다. 복사가 사라집니다.

크게 보기

6-2. 두 개의 스트림

LingBot-Map의 구현은 여기서 한 걸음 더 갑니다. 캐시를 성격이 다른 두 스트림으로 나눕니다. 코드의 주석이 이걸 명료하게 적어놨습니다.

page_size를 999 그대로 쓰는 이유도 코드에 적혀 있습니다. FlashInfer의 FA2 커널은 2의 거듭제곱이 아닌 페이지 크기를 지원합니다. 999를 1024로 올려버리면 페이지마다 25개 슬롯이 0으로 낭비됩니다. 정확히 999로 맞춰 낭비를 없앴습니다. (H100의 FA3 커널을 쓰려면 2의 거듭제곱이 필수라, fa3=True일 때만 1024로 올립니다.)

그리고 페이지 테이블을 만들 때의 순서에도 계산이 있습니다.

이게 정말 깔끔한 트릭입니다. 컨텍스트 토큰은 6개씩 쌓이니 페이지가 딱 맞게 채워지는 일이 드뭅니다. 만약 컨텍스트 페이지가 중간에 있으면 "여기는 절반만 유효함"을 알려주는 커스텀 마스크가 필요해집니다. 맨 뒤로 밀어버리면 그 문제가 사라집니다.

직접 프레임을 흘려보내며 페이지 풀이 어떻게 움직이는지 보세요.

6-3. plan은 한 번, run은 24번

FlashInfer의 어텐션 호출은 두 단계입니다. plan()으로 페이지 구조를 알려주고, run()으로 실제 커널을 돌립니다. plan()은 CPU에서 인덱스 배열을 만드는 일이라 공짜가 아닙니다.

여기서 구현이 영리한 관찰을 씁니다 — 24개 블록의 페이지 구조는 완전히 동일합니다. 같은 프레임 스텝에서는 어떤 블록이든 같은 페이지 ID가 같은 위치에 있습니다. 그러니:

프레임 하나당 plan()이 24회에서 1회로 줄어듭니다. 여기에 torch.compile로 norm1 + qkv 선형 + q/k 정규화 + RoPE + 포맷 변환을 하나의 CUDA 그래프로 묶고(attn_pre), FFN 잔차 분기도 통째로 묶습니다(ffn_residual).

결과: 동일 조건의 PyTorch 연속 캐시 구현이 10.5 FPS일 때, FlashInfer 페이지 구현은 20 FPS.

FlashInfer가 없는 환경에서는 --use_sdpa로 PyTorch 기본 어텐션 경로로 폴백합니다. 참고로 저장소 뉴스에 2026년 6월 28일 SDPA KV 캐시 버그 수정이 올라와 있습니다 — 긴 시퀀스에서 SDPA 백엔드 성능이 개선되었지만, 저자들은 여전히 FlashInfer를 권합니다.

6-4. 키프레임 선택 — 프레임을 버리는 기술

이 모델은 320뷰까지만 학습되었습니다. 비디오 RoPE도 그 범위에서 학습됐습니다. 그러면 3,000 프레임 영상은 어떻게 할까요?

키프레임만 캐시에 남깁니다. 여기서 중요한 것: 키프레임이 아닌 프레임도 예측은 정상적으로 나옵니다. 캐시에만 쌓이지 않습니다.

논문이 제시한 방식은 광학 흐름 기반입니다.

코드에서 이 함수는 _compute_flow_magnitude()입니다. 실제 광학 흐름 네트워크를 돌리는 게 아니라 자기가 예측한 깊이와 포즈로 흐름을 계산한다는 점이 요령입니다. 추가 모델이 필요 없습니다.

그리고 여기서 구현 난제가 하나 생깁니다. 비키프레임은 캐시를 읽어서 어텐션은 해야 하는데, 자기 K/V는 남기면 안 됩니다. 문제는 FlashInfer의 페이지 어텐션이 캐시에서만 읽을 수 있다는 것입니다. 현재 프레임의 K/V를 캐시 밖에 두고 참조할 방법이 없습니다.

해결책이 아주 실용적입니다.

"쓴 다음 지운다." 데이터베이스의 트랜잭션 롤백과 같은 패턴입니다. rollback_last_frame()은 append_frame()의 세 가지 부작용(페이지 할당, 컨텍스트 토큰 쓰기, 카운터 증가)을 정확히 역순으로 되돌립니다.

참고로 저장소 뉴스에 2026년 4월 24일 FlashInfer KV 캐시 버그 수정이 있습니다 — keyframe_interval > 1일 때 비키프레임이 조용히 캐시에 남던 버그였고, 수정 후 320프레임 이상에서 포즈·재구성 품질이 개선됐다고 적혀 있습니다. 이 롤백 로직이 얼마나 미묘한지 보여주는 흔적입니다.

실무에서는 demo.py가 간격을 자동으로 잡아줍니다.

캐시에 남는 프레임 수를 학습 상한인 320 이하로 유지하는 것, 그게 전부입니다.

6-5. 두 가지 추론 모드

VO 모드의 창 이어붙이기가 어떻게 작동하는지 봅시다.

크게 보기

각 창은 자기만의 좌표계와 스케일을 가집니다(창 시작마다 앵커 프레임으로 새로 못 박으니까요). 그래서 이어붙이려면 닮음 변환(similarity transform) 을 구해야 합니다 — 스케일 $s$, 회전 $R$, 이동 $t$의 7자유도. 이걸 Sim(3) 군이라고 부릅니다.

코드의 _pairwise_alignment()가 하는 일:

그런 다음 이 변환을 창 전체의 예측에 적용합니다. 포즈의 회전과 중심, 깊이(스케일만), 월드 점(전부) — 각각 다른 방식으로 변환됩니다.

당신의 영상은 어떤 모드로 돌려야 할까요. 직접 계산해 보세요.

플래너에서 window_size 128을 넣었을 때 창 하나가 128프레임이 아니라 훨씬 많은 프레임을 덮는 것을 보셨을 겁니다. README가 이걸 명시적으로 경고합니다.

window_size는 실제 프레임 수가 아니라 KV 캐시 슬롯 수를 셉니다. 앞의 8개 슬롯은 앵커 프레임이고, 남은 120개 슬롯이 키프레임을 담습니다. keyframe_interval = 13이면 창 하나가 8 + 120 × 13 = 1,568 실제 프레임을 덮습니다.

이런 종류의 함정은 논문에는 절대 안 적히고 README에만 있습니다.

7부. 결과 읽기 — 무엇이 진짜 인상적인가

7-1. Oxford Spires — 가장 잔인한 시험

Oxford Spires는 옥스퍼드 캠퍼스를 라이다-관성 SLAM으로 정답 궤적을 만든 데이터셋입니다. 왜 잔인한가:

• 실외 안뜰에서 어두운 계단으로 급전환
• 오랜 시간이 지난 뒤 같은 장소 재방문
• 하나의 궤적 안에서 스케일이 크게 변함

즉 국소 포즈 정확도와 장거리 전역 일관성을 동시에 요구합니다. GCA가 겨냥한 바로 그 지점입니다.

320 프레임 (희소 설정) — 이 길이는 모든 방법이 돌아가므로 공정 비교가 됩니다.

이 표에서 놓치면 안 되는 세 가지를 짚겠습니다.

① 스트리밍 모델이 오프라인 모델을 이겼습니다. 이건 원래 일어나면 안 되는 일입니다. 오프라인 모델은 미래를 볼 수 있고, 스트리밍 모델은 못 봅니다. 정보량 자체가 다릅니다. 그런데 AUC@15에서 61.64 대 49.84(DA3)입니다.

왜 이런 일이 벌어졌을까요. 논문의 진단이 예리합니다.

"기존 오프라인 방법은 연속 프레임이 서로 가깝고 대체로 같은 국소 영역을 보는, 뷰포인트 수가 적은 데이터셋으로 학습되었다. Oxford Spires의 복잡한 장면 전환과 큰 시점 변화를 만나면 학습된 사전 지식이 전이되지 않는다."

즉 오프라인 모델은 원리적 우위를 가졌지만 그 우위를 쓸 수 있는 훈련을 받지 않았습니다. 반면 LingBot-Map은 24→320뷰 커리큘럼으로 긴 궤적을 정면으로 학습했습니다. 정보 접근권보다 훈련 분포가 결정적이었다는 이야기입니다.

② 최적화 기반 방법도 이겼습니다. ViPE는 반복 번들 조정으로 재투영 오차를 명시적으로 최소화합니다. 즉 목적 함수를 직접 푸는 방법입니다. 그런데 AUC@15 61.64 대 45.35. 순전파 한 번으로 그렇습니다.

단, 정직하게 짚어야 할 것이 있습니다. RPE-trans(국소 이동 오차)에서는 ViPE가 0.43으로 LingBot-Map의 1.01보다 좋습니다. DROID-SLAM(1.02)과 MegaSAM(0.76)도 이 지표에서는 경쟁력이 있습니다. 최적화 방법의 강점은 여전히 프레임 대 프레임의 미세 정확도입니다. LingBot-Map이 압도하는 것은 전역 궤적 일관성(ATE)과 회전(RPE-rot 3.70)입니다.

③ 스트리밍 모델들 간 격차는 자릿수 수준입니다. 최고 경쟁 스트리밍 모델 CUT3R의 AUC@15는 5.98입니다. 61.64 대 5.98 — 10배가 넘습니다.

크게 보기

저장소의 벤치마크 파이프라인이 자동 생성하는 궤적 비교 도표. 회색 점선(ref)과 파란 실선(est)이 거의 겹칩니다. 출처: Robbyant/lingbot-map (Apache-2.0)

7-2. 3,840 프레임 — 길이가 진실을 드러낸다

글 맨 앞에서 봤던 표가 여기입니다. 12배 긴 시퀀스에서 무엇이 남는지.

여기서 흥미로운 것은 속도까지 함께 보는 것입니다.

CUT3R과 TTT3R이 더 빠릅니다 — 순환 상태 방식은 컨텍스트가 상수니까 당연합니다. 하지만 오차가 4~5배입니다. LingBot-Map은 20 FPS라는 실시간 문턱을 넘긴 채로 최고 정확도를 냈습니다. 이 조합이 요점입니다.

7-3. 일반화 — 방 하나부터 도시까지

Oxford Spires에서만 잘하는 특수병기가 아님을 보이기 위해 세 벤치마크를 더 돌렸습니다.

Tanks & Temples에서 AUC@30이 92.80(2위 Stream3R 81.33)이고 ATE는 3.8배 낮습니다. 7-Scenes는 궤적이 짧아서 대부분의 방법이 어느 정도는 되는 영역인데, 여기서도 1위입니다. 이 데이터셋의 난점은 길이가 아니라 텍스처 없는 벽, 반복 구조, 심한 모션블러입니다.

재구성 품질(F1)도 함께 보겠습니다. 포즈가 정확해야 점군이 겹치므로, 포즈 개선이 그대로 넘어옵니다.

작은 참고: 논문 본문 6.3절은 ETH3D F1을 98.98이라고 서술하는데 표 5의 값은 86.79입니다. 표를 기준으로 읽었습니다. ETH3D ATE도 본문은 0.22, 표는 0.43입니다. 프리프린트 단계의 서술 오류로 보이며, 어느 쪽이든 1위 순위는 바뀌지 않습니다.

NRGBD에서 개선폭이 가장 큽니다(+7.30). 이 데이터셋은 세밀한 기하가 있는 어수선한 실내인데, 포즈가 표류하면 같은 표면이 다른 위치로 투영되어 표면이 두 겹으로 겹치거나 흐려집니다. 표류에 강한 것이 곧 재구성 충실도로 이어집니다.

7-4. 어블레이션 — 각 부품이 얼마나 기여했나

세 번째 줄(상대 손실을 뺀 조합)이 반례 대조군입니다. RPE-rot이 2.26 → 5.35로 튀고 ATE도 뒷걸음질칩니다.

그리고 어블레이션 실험 하나당 약 3,840 GPU 시간이 들었다는 것도 적어둘 만합니다. 이 표 한 장이 약 2만 GPU 시간입니다.

7-5. 가장 반직관적인 결과

논문에서 가장 흥미로운 표는 마지막입니다. 포즈 참조 윈도우(64) vs 전체 인과 어텐션을 비교했습니다.

속도 1.7배, 메모리 2.7배 절감은 예상된 결과입니다. 그런데 정확도도 더 좋습니다. 과거의 이미지 토큰을 다 들고 있는 쪽이 더 나빴습니다.

왜일까요. 논문의 설명:

"모든 과거 이미지 토큰을 유지하면 멀고 덜 관련된 프레임에서 잡음이 유입되어 어텐션 계산을 혼란시킬 수 있다."

정보가 많은 것이 항상 좋은 게 아닙니다. 100미터 전에 지나간 벽의 픽셀 특징 999개는 지금 프레임을 등록하는 데 도움이 안 되면서, 소프트맥스의 확률 질량을 나눠 가집니다. GCA는 이미지 토큰은 버리고 기하 요약(컨텍스트 토큰)만 남겨서 필요한 신호만 통과시키는 필터 역할까지 합니다.

단 하나 예외가 있습니다. RPE-rot에서는 전체 어텐션이 1.71로 더 좋습니다. 밀도 높은 과거 토큰이 국소 회전 단서를 조금 더 풍부하게 준다는 뜻입니다. 저자들도 이걸 인정하고 "효율성 이득과 전역 일관성 개선에 비하면 미미하다"고 씁니다. 모든 지표에서 이기지는 않았다는 것을 명시한 정직한 표입니다.

8부. 2026년, 이 기술이 앉아 있는 자리

이건 논문 하나가 아니라 스택의 한 층이다

LingBot-Map은 독립 연구가 아닙니다. 이 모델의 이름을 다시 보세요 — LingBot-Map. 형제들이 있습니다.

Robbyant는 앤트그룹 산하 임바디드 AI 회사입니다. 노인 돌봄, 의료 보조, 가사 같은 영역에서 "사람의 일상을 이해하고 향상시키는 로봇 동반자"를 목표로 한다고 밝히고 있습니다. 그리고 2026년 상반기에 LingBot 시리즈를 연달아 오픈소스로 냈습니다.

크게 보기

이 배치를 보면 LingBot-Map의 위치가 선명해집니다. VLA가 "무엇을 할지"를 결정하려면 "여기가 어디인지"를 알아야 합니다. 그리고 그 "어디"는 한 프레임의 깊이가 아니라, 30분 전에 지나온 거실을 포함하는 지속적 지도여야 합니다.

논문 결론부가 이걸 직접 말합니다.

"정확한 실시간 밀집 3D 재구성을 가능하게 함으로써, LingBot-Map은 자율 항법, 증강현실, 그리고 무엇보다도 물리 세계와 상호작용하기 위해 지속적이고 즉각적인 공간 이해가 필요한 임바디드 AI 시스템으로 문을 연다."

왜 지금 이게 중요해졌나

2026년 AI 산업의 지형에서 세 흐름이 이 기술과 맞물립니다.

②가 특히 재미있습니다. 저장소의 워크드 예제 중 하나가 LingBot-World가 생성한 영상을 LingBot-Map으로 재구성하는 것입니다.

이게 왜 중요할까요. 논문의 학습 데이터가 게임 엔진 합성 데이터에 30% 이상 의존한다는 걸 5부에서 봤습니다. 재구성 모델은 합성 데이터로 학습되고, 생성 모델은 재구성 모델로 검증되고, 그렇게 검증된 생성 모델이 다시 학습 데이터를 만듭니다. 시뮬레이션과 측정이 서로를 부트스트랩하는 고리가 닫히고 있습니다.

논문 Figure 2에도 "월드 모델이 생성한 카툰 영상"을 재구성한 결과가 실려 있습니다. 만화풍 영상에서 기하가 복원된다는 것은, 이 모델이 사실적 텍스처에 의존하지 않고 구조를 보고 있다는 증거이기도 합니다.

크게 보기

출처: Robbyant/lingbot-map (Apache-2.0)

정직하게, 아직 안 되는 것들

논문의 한계 절이 짧지만 정확합니다.

한계 ③의 마지막 문장은 README에만 있는 실전 정보입니다.

"우리 방법은 기본적으로 상태 리셋을 수행하지 않으므로, 최대 추론 범위는 학습 시 데이터셋에서 본 최장 거리로 제한됩니다. 그 거리를 넘어가면 상태 리셋이 필요해집니다. 포즈 붕괴가 관찰되면 윈도우 모드로 전환하세요."

논문 본문의 "10배(약 3,000 프레임)까지 안정적"이라는 표현과 짝을 지어 읽어야 합니다. 무한히 되는 게 아닙니다.

그래서 어디에 쓸 수 있나

9부. 직접 돌려보기

아파치 2.0입니다. 상업적 사용도 됩니다. 가중치는 Hugging Face와 ModelScope에 올라와 있습니다.

설치

conda create -n lingbot-map python=3.10 -y
conda activate lingbot-map

# PyTorch 2.8.0 + CUDA 12.8 권장 (Kaolin 프리빌드 휠이 이 조합에만 있다)
pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128
pip install -e .

# FlashInfer — 페이지 KV 캐시. 순수 파이썬 패키지로 첫 사용 시 CUDA 커널을 JIT 컴파일한다
pip install --index-url https://pypi.org/simple flashinfer-python

# 시각화 (viser 뷰어)
pip install -e ".[vis]"

첫 실행

python demo.py --model_path /path/to/lingbot-map.pt \
    --image_folder example/courthouse --mask_sky

브라우저에서 http://localhost:8080을 열면 viser 기반 3D 뷰어가 뜹니다. 저장소에 예제 장면 3개가 들어 있습니다 — courthouse, university, 그리고 루프 클로저 궤적을 담은 loop.

체크포인트 세 종류

자주 부딪히는 벽

렌더링 파이프라인

viser 뷰어가 못 버티는 길이는 오프라인 렌더러로 갑니다. demo_render/batch_demo.py가 영상 하나를 받아 추론 + 점군 플라이스루 MP4 생성까지 한 명령으로 처리합니다. 가상 카메라 경로는 YAML로 설계합니다.

camera:
  fov: 60.0
  transition: 30          # 인접 세그먼트 간 블렌딩 프레임 수
  segments:
    - mode: follow        # 궤적을 뒤에서 따라가는 추적 카메라
      frames: [0, 1500]
      back_offset: 0.3    # 뒤로 얼마나 (장면 스케일의 비율)
      up_offset: 0.08
      look_offset: 0.4
      smooth_window: 30
    - mode: birdeye       # 위로 솟아 전체를 보여주는 리빌 샷
      frames: [1500, 1800]
      reveal_height_mult: 2.5
    - mode: follow        # 다시 추적 카메라로
      frames: [1800, -1]

follow / birdeye / static / pivot 네 가지 모드를 세그먼트로 이어 붙입니다. 다만 함정이 하나 있습니다 — --config로 YAML을 로드한 상태에서 세그먼트 관련 CLI 플래그를 하나라도 주면, YAML의 segments가 통째로 버려지고 플래그로 재구성됩니다. YAML로만 가려면 그 플래그들을 아예 건드리지 마세요.

벤치마크 재현

2026년 5월 25일 평가 벤치마크가 공개됐습니다. benchmark/ 아래에 9개 데이터셋(KITTI, Oxford Spires, VBR, Droid-W, TUM-D, 7-Scenes, ETH3D, Tanks and Temples, NRGBD)용 파이프라인이 들어 있고, 데이터셋 설정은 YAML, 결과는 HTML 리포트로 나옵니다. Oxford Spires는 preprocess/oxford.py로 먼저 전처리해야 합니다.

에필로그 — 무엇을 버릴지 아는 것

이 논문의 기술적 기여를 한 줄로 줄이면 "어텐션 마스크를 세 조각으로 나눴다"입니다. 새로운 층도, 새로운 손실도, 새로운 정규화도 아닙니다. 어떤 토큰이 어떤 토큰을 볼 수 있는지의 패턴을 바꾼 것이 전부입니다.

그런데 그 마스크를 그리기 위해 필요했던 것은 세 가지였습니다.

그리고 결국 남는 교훈은 7-5절의 그 반직관적인 표입니다. 모든 과거를 들고 있는 쪽이 더 나빴습니다. 버릴 것을 버렸을 때 빨라지기만 한 게 아니라, 정확해졌습니다.

글 맨 처음의 질문으로 돌아가겠습니다. 우리가 방을 기억하는 방식은 문 하나, 창문 하나, 거리감 몇 개였습니다. 그건 저장 용량의 한계가 만든 타협이 아니라, 무엇이 중요한지 아는 능력이었습니다.

기계가 이제 그걸 배우기 시작했습니다.

참고 자료

논문과 코드

• Chen, Gao, Chen, Cheng, Sun, Hu, Xue, Zhu, Shen, Yao, Xu. Geometric Context Transformer for Streaming 3D Reconstruction. arXiv:2604.14141, 2026년 4월.
• Robbyant/lingbot-map — 소스 코드, 벤치마크, 데모 (Apache-2.0)
• robbyant/lingbot-map — 체크포인트
• 프로젝트 웹사이트

직계 선행 연구

• Wang et al. VGGT: Visual Geometry Grounded Transformer. CVPR 2025 최우수 논문.
• Wang et al. DUSt3R: Geometric 3D Vision Made Easy. CVPR 2024.
• Oquab et al. DINOv2: Learning Robust Visual Features without Supervision. 2023.
• Ranftl et al. Vision Transformers for Dense Prediction (DPT). ICCV 2021.
• Kwon et al. Efficient Memory Management for LLM Serving with PagedAttention (vLLM). SOSP 2023.
• Darcet et al. Vision Transformers Need Registers. ICLR 2024.

비교 대상 스트리밍 모델

• CUT3R (Wang et al.), TTT3R (Chen et al., ICLR 2026), Stream3R (Lan et al., ICLR 2026), Wint3R (Li et al., ICLR 2026), StreamVGGT, InfiniteVGGT, Spann3R, SLAM3R

Robbyant / LingBot 시리즈

• Robbyant Open-Sources LingBot-World — 2026년 1월
• LingBot-World 2.0: Hour-Long Real-Time Generation — 2026년 7월
• LingBot-VA 2.0 for Embodied AI — 2026년 7월