2026년 5월, Thinking Machines Lab이 '인터랙션 모델'을 공개했다. 200ms 마이크로턴, 인코더 없는 조기 융합, 그리고 2,760억 파라미터. 왜 지금까지의 AI는 대화를 못했는지, 무엇이 바뀌었는지, 그리고 이 변화가 2026년 우리에게 무엇을 의미하는지 — 논문과 계보를 따라 끝까지 파헤친다.
사람 둘이 대화할 때, 한 사람이 말을 마치고 다른 사람이 입을 열기까지 걸리는 시간은 평균 0.2초입니다.
이 숫자는 놀랍도록 완고합니다. 2009년 네덜란드 막스플랑크 연구소의 타냐 스타이버스(Tanya Stivers) 팀은 세계 5개 대륙 10개 언어를 대상으로 질문과 대답 사이의 간격을 측정했습니다. 덴마크어, 일본어, 이탈리아어, 라오어, 멕시코 첼탈어, 나미비아 쿵산어까지. 문화도 어순도 다 다른데, 모든 언어의 분포가 0~200ms 구간에서 봉우리를 이뤘습니다.
왜 하필 0.2초일까요? 여기에 기막힌 반전이 있습니다. 인지심리학 연구에 따르면 사람이 단어 하나를 계획해서 발음하기까지는 최소 600ms가 걸립니다. 즉 상대가 말을 마친 뒤에 대답을 준비하기 시작하면 0.2초 안에 입을 열 수 없습니다. 우리는 상대가 아직 말하는 도중에 이미 그 문장이 어디서 끝날지 예측하고, 대답을 만들어 놓고, 발사 버튼 위에 손가락을 올려둔 채 기다리고 있는 겁니다.
듣기와 말하기 준비가 동시에 돌아가고 있다는 뜻입니다.
그런데 지금까지 우리가 만든 AI는 그렇지 않았습니다. AI는 당신이 말을 끝낼 때까지 아무것도 하지 않고, 자기가 말을 시작하면 당신이 뭘 하는지 보지 않습니다. 그래서 ChatGPT 음성 모드와 대화하다 보면 어딘가 어색합니다. 잠깐 생각하려고 뜸을 들이면 냉큼 끼어들고, 급히 정정하려 하면 하던 말을 뚝 끊고, 그리고 무엇보다 — 당신이 커피를 마시는 3초 동안 아무 일도 일어나지 않습니다.
2026년 5월 11일, Thinking Machines Lab이 이 문제를 정면으로 겨냥한 연구 프리뷰를 공개했습니다. 이름은 인터랙션 모델(Interaction Models). 발표 직후 해커뉴스와 AI 커뮤니티가 며칠간 시끄러웠고, 지금도 논쟁이 이어지고 있습니다.
이 글은 그 발표를 처음부터 끝까지 뜯어봅니다. 왜 이런 개념이 나와야 했는지, 어떤 연구들이 이 자리까지 길을 놓았는지, 아키텍처가 정확히 어떻게 생겼는지, 그리고 2026년의 우리에게 이것이 무슨 의미인지.
지난 3년간 AI 업계의 진보는 하나의 자로 측정되었습니다. 얼마나 오래 혼자 일할 수 있는가.
이 자를 가장 선명하게 만든 것은 METR의 연구였습니다. METR은 "50% 시간 지평(time horizon)"이라는 지표를 제안했습니다 — 사람 전문가가 N분 걸리는 작업을 AI가 50% 확률로 혼자 끝낼 수 있을 때, 그 N이 모델의 시간 지평입니다.
METR은 이 지평이 약 7개월마다 두 배가 된다고 보고했습니다(2024년부터는 4개월로 가속되었다는 관측도 있습니다). 이 그래프는 업계의 나침반이 되었습니다. 모든 랩이 "더 오래 혼자 버티는 모델"을 향해 달렸습니다.
그 결과 만들어진 것이 오늘날의 에이전트 하네스입니다. 작업을 던져 놓고 자리를 뜨면, 몇 시간 뒤 PR이 하나 올라와 있는 세계.
문제는 이 최적화가 무언가를 조용히 밀어냈다는 겁니다. Thinking Machines는 이를 지적하기 위해 어느 프론티어 모델의 모델 카드를 인용합니다. 회사 이름을 밝히지 않은 이 인용문은 이렇게 말합니다.
"중요한 점은, 대화식으로, 동기적으로, '키보드에 손을 올린 채' 사용하는 패턴에서는 이 모델의 이점이 덜 분명했다는 것이다. 이렇게 쓸 때 일부 사용자는 [우리 모델을] 너무 느리다고 느꼈고 그만큼의 가치를 얻지 못했다. 자율적이고 장시간 돌아가는 에이전트 하네스가 이 모델의 코딩 능력을 더 잘 끌어냈다."
한 문장으로 요약하면 이렇습니다. "우리 모델은 당신이 자리를 비켜줄 때 제일 잘합니다."
이건 이상한 결론입니다. 실제 업무를 떠올려 보세요. 요구사항을 처음부터 완벽하게 명세하고 자리를 뜰 수 있는 일이 몇이나 됩니까? 대부분의 일은 하다가 방향이 바뀌고, 중간에 "아 그거 말고", "이 부분만 다시"가 붙습니다. 좋은 결과는 대개 과정에 사람이 붙어 있을 때 나옵니다.
Thinking Machines의 진단은 날카롭습니다.
여기서 Thinking Machines는 예상 밖의 각주들을 답니다. 컴퓨터 과학 논문이 아니라 사회학과 경제학 문헌입니다.
허버트 클라크와 수전 브레넌은 1991년 논문 「Grounding in Communication」에서 대화의 질을 좌우하는 조건들을 정리했습니다. 그중 셋이 인터랙션 모델의 설계 원칙과 정확히 겹칩니다.
| 조건 | 뜻 | AI에서의 의미 |
|---|---|---|
| 공존성 copresence | 서로가 상대가 다루고 있는 대상을 같이 볼 수 있다 | 모델이 내 화면·내 손·내 표정을 본다 |
| 동시성 contemporality | 정보가 생산되는 즉시 받고, 즉시 반응한다 | 200ms마다 갱신되는 인식 |
| 동시 산출 simultaneity | 받는 것과 내보내는 것이 동시에 일어난다 | 말하면서 듣기 (전이중) |
프리드리히 하이에크는 1945년 「사회에서의 지식의 사용」에서 이렇게 썼습니다. "조금만 생각해 보면 알 수 있듯, 조직화되지 않은 매우 중요한 지식의 몸통이 있다 — 특정한 시간과 장소의 상황에 대한 지식이다."
제임스 스콧은 『국가처럼 보기』에서 그리스어 메티스(metis)를 끌어옵니다. 실천적 경험에서 오는, 명시적으로 적어낼 수 없는 지혜. "불확실성이 너무 커서 (경험에서 나온) 직관을 믿고 더듬어 나가야 하는 복잡한 과업에 가장 적합한 추론 방식."
이 인용들이 말하는 바는 하나입니다. 당신 머릿속의 가장 값진 지식은 프롬프트로 적을 수 없는 종류입니다. 그 코드를 왜 그렇게 짰는지, 이 고객이 왜 예민한지, 지금 이 그래프가 왜 미심쩍은지 — 이런 것들은 말하다가, 화면을 보다가, "아 잠깐만" 하면서 튀어나옵니다.
그리고 마지막 한 방.
"중요한 이견을 이메일로 해결하려 애쓰는 장면을 떠올려 보세요."
지금까지 우리가 AI와 일해온 방식이 정확히 그것이었습니다.
인터랙션 모델은 하늘에서 떨어지지 않았습니다. 아래 타임라인을 눌러 가며 계보를 따라가 보세요.
먼저 용어부터. 반이중(half-duplex)과 전이중(full-duplex)은 원래 통신공학 용어입니다.
무전기는 반이중입니다. 한 번에 한 방향으로만 신호가 흐르니, 말을 마쳤다는 걸 상대에게 알려줘야 합니다. 그래서 "오버(over)"라고 외치는 겁니다. 전화는 전이중입니다. 양쪽이 동시에 말할 수 있고, 그래서 끼어들 수 있고, 맞장구를 칠 수 있습니다.
지난 15년간 우리가 만든 음성 AI는 거의 전부 무전기였습니다. 다만 "오버"를 사용자가 말하는 대신, 기계가 침묵을 재서 짐작했습니다.
Siri부터 대부분의 콜센터 봇까지, 구조는 동일합니다.
이 구조의 문제는 세 겹입니다.
첫째, 지연이 누적됩니다. 각 단계가 100~500ms씩 먹으면 총 1~2초가 됩니다. 인간의 예산 0.2초의 다섯 배에서 열 배입니다.
둘째, 정보가 소실됩니다. 사용자가 짜증 섞인 목소리로 "괜찮아요"라고 말했을 때, 텍스트로 남는 건 "괜찮아요" 세 글자뿐입니다.
셋째, 그리고 이것이 결정적인데 — VAD는 모델보다 훨씬 멍청합니다. VAD가 판단하는 건 오직 하나, "지금 소리가 나는가". 그런데 대화에서 침묵은 두 가지를 뜻합니다.
한국어 화자라면 이 문제가 더 뼈아프게 다가올 겁니다. "그러니까… 음… 제 말은요…" — 이 문장에서 침묵은 턴의 종료가 아니라 턴을 붙잡고 있다는 신호입니다. 반면 듣는 사람은 상대 말 위에 "네네", "아 그쵸", "음—" 같은 짧은 소리를 겹쳐 냅니다. 이건 끼어들기가 아니라 "계속하세요"라는 신호입니다. 대화 분석에서는 이를 백채널(backchannel)이라 부릅니다.
VAD 기반 시스템에게 이 둘은 구별 불가능합니다. 아래 시뮬레이터로 직접 확인해 보세요. 어느 쪽으로 손잡이를 돌려도 손해라는 것이 핵심입니다.
2024년 5월 GPT-4o가 등장하면서 판이 바뀌는 듯했습니다. ASR과 TTS를 거치지 않고 모델이 직접 소리를 듣고 소리를 냅니다. 평균 응답 320ms라는 숫자가 화제였습니다.
하지만 내부적으로는 여전히 턴 기반이었습니다. 모델은 여전히 "사용자 턴 → 모델 턴"의 교대 시퀀스를 봤고, 언제 말을 시작할지는 모델 바깥의 하네스가 정했습니다. 파이프라인이 짧아졌을 뿐, 무전기라는 사실은 그대로였습니다.
그동안 학계에서는 다른 길이 열리고 있었습니다.
dGSLM (2022, Meta AI). 2채널 전화 통화 2,000시간을 텍스트 라벨 하나 없이 학습시켰습니다. 두 개의 타워가 교차 어텐션으로 서로를 듣습니다. 결과물은 자연스러운 턴 교대, 겹쳐 말하기, 그리고 웃음까지 생성했습니다. "턴테이킹은 규칙으로 짜 넣는 것이 아니라 배울 수 있는 것"임을 처음 증명한 연구입니다.
Moshi (2024, Kyutai). 최초의 실시간 전이중 음성 LLM. 사용자 스트림과 모델 스트림을 항상 동시에 예측합니다. 화자 턴이라는 개념 자체를 모델에 넣지 않았습니다. 두 가지 핵심 부품이 있습니다.
| 부품 | 하는 일 | 왜 필요한가 |
|---|---|---|
| Mimi 코덱 | 소리를 스트리밍 가능한 이산 토큰으로 압축 | 트랜스포머가 다룰 수 있는 '토큰'이 필요하다 |
| 내적 독백 Inner Monologue | 소리를 만들기 전에 텍스트를 먼저 세운다 | 음성만으로 학습하면 언어 능력이 급락한다. 텍스트를 뼈대로 세우면 지식이 소리로 새지 않는다 |
이론 지연 160ms, 실측 200ms. 훌륭한 성과였지만 한계가 명확했습니다. 7B급 모델이라 지식과 추론이 약했습니다. 빠르지만 아는 게 없는 대화 상대였던 겁니다.
이후 PersonaPlex, Nemotron VoiceChat, Seeduplex 등이 뒤를 이었지만 사정은 비슷했습니다. 여기서 업계는 익숙한 벽에 부딪힙니다.
2025년, 이 트레이드오프를 우회하려는 시도가 나옵니다.
KAME (Sakana AI, 2025.10). 즉답형 음성-대-음성 모델을 앞에 두고, 그 뒤에서 강력한 LLM을 동시에 돌립니다. LLM의 텍스트 답변을 실시간으로 앞단 모델에 주입해 발화를 유도합니다. 결과는 인상적이었습니다 — MT-Bench 점수가 Moshi의 2.05에서 6.43으로 뛰면서도 응답 지연은 거의 0을 유지했습니다(캐스케이드 방식 Unmute는 7.70점이지만 지연 2.1초).
MoshiRAG, Qwen-Omni의 Thinker-Talker 구조도 비슷한 발상입니다.
인터랙션 모델의 "백그라운드 모델"은 바로 이 계보의 직계 후손입니다. 다만 Thinking Machines는 여기에 훨씬 큰 승부수를 걸었습니다.
Thinking Machines의 논지는 리처드 서튼의 「쓰라린 교훈(The Bitter Lesson)」(2019)에 기대고 있습니다. 서튼의 주장은 이렇습니다.
사람이 손으로 짜 넣은 도메인 지식은 단기적으로 성능을 올리지만, 장기적으로는 계산량과 데이터로 밀어붙이는 일반적 방법에 반드시 추월당한다.
체스에서, 바둑에서, 음성 인식에서, 컴퓨터 비전에서 이 패턴은 반복됐습니다. 전문가가 설계한 특징 추출기는 언제나 결국 end-to-end 학습에 자리를 내줬습니다.
Thinking Machines의 관찰은 이겁니다. 지금 우리가 하고 있는 것이 바로 그 손으로 짜 넣기입니다.
VAD, 턴 감지기, 대화 관리기, 백채널 규칙, 끼어들기 처리 — 이 모든 부품은 모델 바깥에 있고, 모델보다 훨씬 덜 똑똑합니다. 모델을 아무리 키워도 이 부품들은 그대로입니다. 모델은 GPT-5가 되었는데 턴 감지기는 여전히 소리 크기를 재고 있습니다.
상호작용성이 지능과 함께 스케일하려면, 그것은 모델의 일부여야 한다.
이 접근에서는 모델을 키우면 더 똑똑해지는 동시에 더 나은 협업자가 된다.
이 문장이 발표문 전체의 핵심입니다. 그리고 여기서 파생되는 결론이 재밌습니다. 오늘날 특별한 하네스가 필요한 모든 상호작용 방식이, 모델이 원래 할 수 있는 일의 특수한 경우가 됩니다.
기존 시스템에서 이것들은 각각 별도의 제품이었습니다. 인터랙션 모델에서는 전부 같은 능력의 다른 표현입니다.
이제 본론입니다. 이 모델이 정확히 어떻게 생겼는지 부품 단위로 뜯어봅시다.
전체 시스템은 두 개의 모델로 구성됩니다.
카페 비유가 잘 맞습니다. 인터랙션 모델은 카운터의 바리스타입니다. 손님과 계속 눈을 맞추고, 주문을 받고, 잡담을 하고, 절대 자리를 뜨지 않습니다. 백그라운드 모델은 주방의 셰프입니다. 시간이 걸리는 일을 맡아 처리하고, 다 되면 내보냅니다.
여기서 두 가지 설계 디테일이 중요합니다.
첫째, 넘기는 것은 "질의"가 아니라 "맥락 꾸러미"입니다. 인터랙션 모델이 백그라운드 모델에게 위임할 때, 독립적인 질문 하나를 던지는 게 아니라 대화 전체를 넘깁니다. 그래야 백그라운드 모델이 "이 사람이 아까 예산 얘기를 했었지"를 알 수 있습니다.
둘째, 결과는 스트리밍으로 돌아오고, 끼워 넣는 타이밍은 인터랙션 모델이 정합니다. 답이 준비됐다고 사용자 말허리를 자르지 않습니다. 사용자가 지금 뭘 하고 있는지 보고 적절한 순간에 짜 넣습니다. 이게 없으면 "갑작스러운 화제 전환"이 되고, 대화는 망가집니다.
이 분업의 효용은 한 문장으로 요약됩니다.
생각하지 않는 모델의 응답 지연으로, 생각하는 모델의 지능을 쓴다.
덧붙이면, 인터랙션 모델 자체도 바보가 아닙니다. 백그라운드 없이 혼자서도 상호작용 벤치마크와 지능 벤치마크 양쪽에서 경쟁력이 있다고 밝히고 있습니다.
이제 인터랙션 모델 내부입니다. 첫 번째이자 가장 중요한 설계 결정.
기존 모델은 세상을 하나의 실로 경험합니다. 입력과 출력이 하나의 순서 있는 토큰열로 납작하게 눌립니다.
[입력1][출력1][입력2][출력2][입력3][출력3]…
이 표현에는 시간이 없습니다. 사용자가 3초 동안 침묵했든 0.1초 동안 침묵했든 토큰열은 똑같습니다. 겹쳐 말하기는 표현할 방법조차 없습니다.
인터랙션 모델은 대신 200ms짜리 마이크로턴을 씁니다. 매 200ms마다:
그리고 다시 반복. 초당 다섯 번.
인간의 지각은 입력 스트림과 출력 스트림을 동시에 흐르는 두 줄기로 유지합니다. 모델은 그것을 하나의 인터리빙된 토큰열로 받습니다 — 입력0, 출력0, 입력1, 출력1, 입력2, 출력2… 이 미세한 교차가 만들어내는 차이가 결정적입니다.
인위적인 턴 경계 — 모델이 지켜야 할 "이제 네 차례" 신호가 없다
외부 턴 감지기 — 모델보다 멍청한 부품이 대화의 흐름을 결정하지 않는다
잃어버린 시간 정보 — 침묵, 겹침, 끼어들기가 모두 컨텍스트에 남는다
왜 하필 200ms일까요? 발표문은 명시하지 않지만, 이 숫자가 우연일 리 없습니다. 인간 턴 교대의 최빈 간격이 0~200ms이고, Moshi의 실측 지연도 200ms였습니다. 200ms는 "인간이 지연을 지연으로 느끼기 시작하는 문턱"입니다. 그보다 짧게 쪼개면 계산 비용만 오르고, 길게 잡으면 대화가 어색해집니다.
두 번째 설계 결정은 더 급진적입니다. 아래 해부도에서 블록을 눌러 각 부품을 확인해 보세요.
일반적인 옴니모달 모델은 이렇게 만듭니다.
| 일반적인 방식 | 인터랙션 모델 |
|---|---|
| 오디오 → Whisper류 인코더 → 토큰 | 오디오 → dMel → 가벼운 임베딩 층 |
| 이미지 → CLIP/SigLIP 인코더 → 토큰 | 이미지 → 40×40 패치 → hMLP |
| 출력 → 별도 TTS 모델 → 소리 | 출력 → 플로우 헤드 → 멜 → 소리 |
| 인코더/디코더를 따로 학습 | 전부 트랜스포머와 함께 처음부터 공동 학습 |
각 부품을 하나씩 풀어봅시다.
멜 필터뱅크부터. 소리를 컴퓨터에 넣으려면 파형을 그대로 쓸 수 없습니다(초당 16,000개 숫자니까요). 그래서 짧은 구간마다 주파수 성분을 뽑아 사람 귀의 민감도 곡선(멜 척도)에 맞춰 몇십 개 대역으로 요약합니다. 이것이 로그 멜 필터뱅크이고, 음성 처리의 100년 된 기본기입니다.
문제는 이 값들이 연속적인 실수라는 점입니다. 트랜스포머는 이산 토큰을 좋아합니다. 그래서 보통은 VQ-VAE류 신경망 코덱(EnCodec, SoundStream, Mimi)을 따로 학습시켜 소리를 이산 토큰으로 압축합니다.
dMel(Bai et al. 2024, Apple)의 제안은 허무할 만큼 단순합니다. 그냥 각 멜 채널의 값을 세기 구간(bin)으로 잘라라.
실시간 시스템에서 "학습이 필요 없다"와 "스트리밍이 자연스럽다"는 엄청난 미덕입니다. 200ms 청크마다 코덱 인코더를 통과시킬 여유가 없기 때문입니다.
이미지 쪽도 같은 철학입니다. 프레임을 40×40 픽셀 조각으로 자르고, hMLP stem(Touvron et al. 2022)이라는 가벼운 앞단에 통과시킵니다. hMLP는 패치를 계층적으로, 겹치지 않게 처리하는 단순한 다층 퍼셉트론입니다. 컨볼루션 stem보다 단순하면서 성능은 비슷합니다.
거대한 비전 인코더를 앞에 두지 않는 이유는 둘입니다. (1) 인코더가 "보기로 정해둔 것"만 볼 수 있게 됩니다. 사전학습된 비전 인코더는 이미지 분류나 캡셔닝에 유용한 특징을 뽑도록 훈련됐지, "사용자가 방금 눈살을 찌푸렸다"를 잡도록 훈련되지 않았습니다. (2) 매 프레임마다 인코더 통과 지연이 붙습니다.
출력 쪽입니다. 별도의 TTS 모델을 붙이지 않고, 플로우 매칭(Lipman et al. 2022) 헤드가 트랜스포머 출력에서 곧장 멜 스펙트로그램을 만듭니다.
플로우 매칭을 한 문단으로 설명하면 이렇습니다. 확산 모델은 노이즈에서 데이터로 가는 길을 수십~수백 걸음에 나눠 걷습니다. 플로우 매칭은 그 경로를 곧게 펴서 훨씬 적은 걸음으로 지나갑니다. 노이즈에서 데이터로 향하는 "흐름"(벡터장)을 직접 회귀로 학습하기 때문입니다. 200ms 예산 안에서 소리를 만들어야 하는 상황에서 이 차이는 결정적입니다.
TTS를 쓰지 않는다는 것의 진짜 의미는 지연 절감이 아닙니다. 억양, 웃음, 망설임, 속삭임, 짜증이 텍스트를 거치며 증발하지 않는다는 뜻입니다.
세 갈래에서 온 벡터들은 같은 공간에 그냥 던져집니다(bag of embeddings). 200ms 분량의 텍스트·소리·화면이 한 덩어리가 되어 트랜스포머로 들어갑니다.
모달리티별 전용 처리기를 두고 나중에 결과를 합치는 늦은 융합(late fusion)과의 차이는 큽니다. 조기 융합에서 모델은 처음부터 "입이 움직이는 화면 + 그 소리"를 하나의 사건으로 봅니다. 화면 속 사람의 입 모양과 들리는 소리가 어긋나는 것 같은 미묘한 신호를 잡을 수 있는 건 이 때문입니다.
그리고 중요한 디테일: 세 입력 중 아무 부분집합이나 들어올 수 있습니다. 사용자가 가만히 있는 200ms에는 '조용함'이 입력으로 들어옵니다.
여기서부터는 시스템 엔지니어링 영역인데, 사실 이 부분이 이 발표에서 가장 실무적입니다.
문제는 이렇습니다. 기존 LLM 추론 라이브러리는 200ms짜리 잦은 소형 prefill에 최적화되어 있지 않습니다. 보통 LLM 서빙은 "긴 프롬프트 한 번 처리 → 토큰 여러 개 생성"을 가정합니다. 그런데 인터랙션 모델은 초당 다섯 번씩 작은 prefill과 decode를 반복하고, 매번 엄격한 지연 예산을 맞춰야 합니다. 턴마다 붙는 오버헤드(메모리 재할당, 메타데이터 계산)가 통째로 낭비가 됩니다.
해법: 스트리밍 세션(streaming sessions).
매번 새 요청처럼 처리하는 대신, GPU 메모리 안에 살아 있는 시퀀스에 계속 이어 붙입니다. 메모리 재할당과 메타데이터 재계산이 사라집니다. Thinking Machines는 이 기능의 한 버전을 SGLang에 업스트림했습니다.
커널 최적화도 있습니다. 특히 재밌는 게 MoE 커널 이야기입니다. 보통 MoE 층은 grouped GEMM(행렬-행렬 곱을 전문가별로 묶어서)을 씁니다. 배치가 클 때 효율적이기 때문입니다. 그런데 실시간 양방향 서빙에서는 배치가 작습니다. 그래서 Thinking Machines는 gather + GEMV(행렬-벡터 곱) 전략을 씁니다. PyTorch와 Cursor의 선행 작업을 따른 선택입니다.
"똑같은 연산도 지연을 최적화할 때와 처리량을 최적화할 때 전혀 다른 커널을 써야 한다."
실시간 AI를 만들려는 팀이라면 이 한 줄이 이 발표에서 가장 값진 부분일 수 있습니다.
이 대목은 Thinking Machines의 첫 공개 연구와 곧장 이어집니다.
2025년 9월, TML은 "temperature=0인데도 왜 LLM은 같은 답을 안 내놓는가"를 파헤쳤습니다. 통념은 "부동소수점 연산이 결합법칙을 안 지키는데 GPU 스케줄링이 비결정적이라서"였습니다. TML의 진단은 달랐습니다.
진짜 원인은 배치 크기 의존성이다. 서버 부하에 따라 내 요청이 묶이는 배치 크기가 달라지고, 배치 크기가 달라지면 커널 내부의 리덕션 트리 구조가 달라지고, 그러면 덧셈 순서가 달라지고, 결과가 달라진다.
처방은 배치 불변 커널(batch-invariant kernels)이었습니다. 배치 크기와 무관하게 언제나 같은 리덕션 순서를 쓰도록 커널을 다시 짜는 겁니다.
인터랙션 모델에서 이 작업이 되돌아옵니다. 학습 시 계산과 추론 시 계산이 비트 단위로 일치하면 학습이 안정되고, 무엇보다 이 복잡한 시스템의 디버깅이 가능해집니다. 오버헤드는 end-to-end 5% 미만이라고 보고합니다. 두 가지 커널이 특히 까다로웠습니다.
| 커널 | 문제 | 해법 |
|---|---|---|
| All-reduce / Reduce-scatter | GPU 간 통신에서 합산 순서가 병렬화 전략에 따라 달라진다 | NVLS 기반 저지연 통신 커널. Blackwell에서 결정적이며, 시퀀스 병렬과 텐서 병렬 사이에서도 비트 단위 일치 |
| 어텐션 | Split-KV 때문에 prefill과 decode의 누적 순서가 달라진다 | 분할 방식을 양쪽에서 동일하게 고정. 예를 들어 4096 토큰씩 좌측 정렬로 SM에 나눠 주면 둘 다 효율적이면서 순서가 같다 |
발표문의 각주에 웃긴 대목이 있습니다. "재밌게도, 한동안은 배치 불변 커널을 쓰는 쪽이 end-to-end로 오히려 더 빨랐다. 커스텀 통신 커널이 배치 불변일 뿐 아니라 지연도 훨씬 낮았기 때문이다."
실시간 상호작용은 안전성 문제를 다르게 압박합니다. TML은 두 축에 집중했다고 밝힙니다.
모달리티에 맞는 거절. 텍스트로 쓰면 자연스러운 거절 문장도, 소리 내어 읽으면 딱딱하고 어색합니다. 그래서 TTS 모델로 거절 및 과잉 거절(over-refusal) 학습 데이터를 생성하고, 거절 경계를 "자연스러운 말투이되 단호함은 잃지 않는" 쪽으로 조정했습니다.
장시간 대화 견고성. 음성 대 음성 대화가 길게 이어지면 가드레일이 서서히 무너지는 경향이 있습니다. 자동 레드팀 하네스로 다중 턴 거절 데이터를 만들어, 텍스트 기반 모델의 거절 행동과 행동적 동등성을 유지하도록 훈련했습니다.
TML의 핵심 주장은 이겁니다. TML-interaction-small은 지능과 상호작용성을 동시에 갖춘 최초의 모델이다.
두 개의 자를 씁니다.
| 벤치마크 | 무엇을 재나 | 어떻게 재나 |
|---|---|---|
| FD-bench (Full-Duplex-Bench) | 상호작용 품질 | 미리 녹음된 오디오를 주고 "정해진 순간에 반응하는가"를 본다. 사용자 끼어들기, 백채널, 옆 사람과의 대화, 배경 발화 등 시나리오별로 채점 |
| Audio MultiChallenge | 지능·지시 따르기 | 다중 턴 대화에서 지시를 얼마나 정확히 지키는지. Scale AI가 공표하는 표준 지표 |
결과에서 두 숫자가 특히 눈에 띕니다.
FD-bench V1.5 평균 — 상호작용 품질
기존 모델들이 39~54 구간에 몰려 있는 반면 TML은 77.8로 혼자 떨어져 있습니다. 흔히 보는 "2~3점 차 SOTA"가 아닙니다.
그리고 턴테이킹 지연 0.40초. GPT-realtime-2.0(minimal)의 1.18초, Qwen 3.5 Omni의 2.14초와 비교하면 확연합니다. 인간의 0.2초에는 못 미치지만, 처음으로 같은 자릿수에 들어왔습니다.
지능 쪽은 어떨까요? Audio MultiChallenge APR 43.4%. 사고 모드를 켠 GPT-realtime-2.0 xhigh(48.5%)보다는 낮지만, 모든 즉답형 모델보다 높습니다. 즉 "생각하지 않는 모델 중 가장 똑똑하면서, 모든 모델 중 가장 잘 대화한다"는 위치입니다.
여기가 이 발표에서 가장 흥미로운 부분입니다. TML은 이렇게 씁니다. "위의 기존 상호작용 벤치마크들은 우리가 목격한 질적 도약을 충분히 담아내지 못한다."
그래서 새로운 자를 만들었습니다.
TimeSpeak — 사용자가 지정한 시각에 스스로 입을 열 수 있는가. "숨쉬기 연습을 할 거예요. 제가 그만하라고 할 때까지 4초마다 들이쉬고 내쉬라고 알려주세요."
CueSpeak — 사용자가 말하는 도중에, 정확히 그 순간 겹쳐서 끼어드는가. "제가 다른 언어를 섞어 쓸 때마다 원래 언어의 올바른 단어를 알려주세요." 데이터셋은 모델이 사용자와 동시에 말해야만 만점이 나오도록 설계되었습니다.
시각 쪽은 세 가지입니다. RepCount-A(영상 속 반복 동작을 실시간으로 세기), ProactiveVideoQA(답이 화면에 등장하는 순간에 답하기), Charades(행동이 시작될 때 "시작", 끝날 때 "정지"라고 말하기).
결과를 보면 숫자가 이상합니다.
| 벤치마크 | TML-interaction-small | GPT-realtime-2.0 (minimal) |
|---|---|---|
| TimeSpeak · macro-acc | 64.7 | 4.3 |
| CueSpeak · macro-acc | 81.7 | 2.9 |
| RepCount-A · off-by-one | 35.4 | 1.3 |
| ProactiveVideoQA · PAUC | 33.5 | 25.0 (무응답 베이스라인) |
| Charades · mIoU | 32.4 | 0 |
ProactiveVideoQA의 25.0점은 "아무 말도 안 했을 때 받는 점수"입니다. GPT-realtime-2.0은 정확히 그 점수를 받았습니다. Charades의 0점도 오타가 아닙니다.
무슨 일이 벌어진 걸까요? TML의 설명이 정확합니다.
"'제가 푸시업을 몇 개 하는지 세어 주세요'라고 요청하면, 그런 시스템은 '알겠습니다!'라고 답한 뒤 침묵합니다 — 영영 오지 않을 오디오 신호를 기다리면서."
기존 상용 실시간 API는 오디오 전용 대화 관리 하네스로 턴을 감지합니다. 말이 들어와야 반응합니다. 화면이 바뀌는 것은 "내 차례가 왔다"는 신호로 셈해지지 않습니다. 그래서 지시를 완벽히 알아듣고, 성실히 대답하고, 그리고 아무것도 하지 않습니다.
이 점수 차이는 "조금 더 잘한다"가 아니라 "애초에 그 축이 없다"에 가깝습니다.
TML은 정직하게 덧붙입니다. 사고 모드를 켠 상위 모델들도 마찬가지로 못했다고. 그리고 이 영역의 벤치마크를 만들어 달라며 연구 그랜트를 열겠다고 밝혔습니다.
발표문에는 8개 남짓의 데모 영상이 붙어 있습니다. 대충 이런 것들입니다.
해커뉴스에서 가장 많은 공감을 받은 반응은 예상 밖의 장면이었습니다. 사용자가 커피를 한 모금 마시는 동안, 모델이 아무것도 하지 않고 그냥 기다리는 장면.
말하는 것보다 어려운 것은 말하지 않는 것입니다.
이 능력들이 무엇을 가능하게 하는지, 코어닷이 실제로 마주쳐 온 현장들에 대입해 봅니다.
| 영역 | 지금까지 막혔던 지점 | 인터랙션 모델이 여는 것 |
|---|---|---|
| 의료 | 앰비언트 스크라이브는 진료가 끝난 뒤 요약을 만든다. 진료 중에는 끼어들 수 없다 | 진료 흐름을 끊지 않으면서 "방금 그 약, 환자 알레르기 기록과 충돌합니다"를 그 순간에 짚는다 |
| 제조·안전 | CCTV 기반 안전 감시는 사후 알림이다 | 작업자가 위험 구역에 손을 넣는 순간 목소리로 경고. 시각 신호가 발화 트리거가 된다 |
| 교육 | 발음 교정은 문장을 다 말한 뒤에야 피드백이 온다 | 틀린 그 단어에 바로 겹쳐서 정정. CueSpeak이 정확히 이 시나리오다 |
| 접근성 | 시각장애인용 화면 낭독은 요청해야 답한다 | 주변 상황이 바뀌는 순간 스스로 알려준다. 시각적 능동성이 곧 접근성이다 |
| 콜센터 | 고객이 뜸을 들이면 봇이 끼어들어 화를 돋운다 | 맞장구를 치며 기다린다. 한국어 백채널 문화와의 궁합이 특히 크다 |
| 페어 프로그래밍 | 코드를 붙여 넣고 물어봐야 한다 | 화면을 보다가 "거기 널 체크 빠졌어요"를 타이핑 중에 말한다 |
| 현장 지원 | 설비 앞에서 매뉴얼을 찾아야 한다 | 카메라로 설비를 보면서 "그 밸브 말고 왼쪽"이라고 손을 잡아 준다 |
공통점이 보입니다. 전부 "사람이 하고 있는 일을 멈추지 않고" 도움이 끼어드는 시나리오입니다. 턴 기반 인터페이스에서는 도움을 받으려면 하던 일을 멈춰야 했습니다.
한 가지 짚어둘 것이 있습니다. 한국어는 이 기술의 난이도가 특별히 높은 언어입니다.
한국어는 서술어가 문장 끝에 옵니다. 그래서 문장이 어디서 끝날지를 예측하기가 영어보다 어렵습니다. "제가 어제 그 파일을 보내려고 했는데…"에서 "했는데"까지 와야 이게 종결인지 연결인지 갈립니다. 게다가 종결어미 하나로 문장의 태도가 뒤집힙니다("했어요" vs "했는데요" vs "했거든요").
여기에 백채널 밀도가 높습니다. 한국어 화자는 상대 말 위에 "네", "예예", "아—", "그쵸"를 영어권보다 자주 얹습니다. VAD 기반 시스템에서 이건 끊임없는 오탐 신호입니다.
인터랙션 모델의 접근이 옳다면, 이런 언어별 특수성은 규칙으로 짜 넣는 대상이 아니라 데이터로 배우는 대상이 됩니다. 반대로 말하면, 한국어 대화 데이터가 충분치 않으면 이 능력은 한국어에서 그만큼 늦게 도착할 겁니다.
훌륭한 발표이지만, 회의론도 만만치 않습니다. 공정하게 정리해 봅니다.
가장 흔한 반론입니다. 실제로 전이중 능력 자체는 새롭지 않습니다. Moshi, PersonaPlex, Nemotron-VoiceChat이 이미 있습니다. 추론을 백그라운드 모델에 위임하는 것도 KAME이 먼저 했습니다.
엔지니어 션 괴데케(Sean Goedecke)는 자신의 분석에서 이렇게 정리합니다. 진짜 성과는 규모라고.
"DeepSeek V4-Flash 크기의 전이중 모델을 만들 수 있다는 건 꽤 인상적이다."
Moshi가 7B라면 TML-interaction-small은 총 276B(활성 12B)입니다. 대략 40배입니다. 전이중 구조를 프론티어급 크기로 끌어올리면서 200ms 예산을 지켰다는 것 — 이것이 실제 기여라는 평가입니다. 그리고 이건 결코 작은 일이 아닙니다. 하이퍼파라미터 튜닝, 데이터 레시피, 데이터 수집, 커스텀 커널, RL·평가 인프라가 전부 새로 필요한 작업입니다.
표를 자세히 보면 별표(*)가 붙은 칸들이 있습니다. FD-bench V3와 BigBench Audio입니다. 발표문 각주에 이렇게 적혀 있습니다. "추론이나 툴 호출이 필요한 벤치마크는 백그라운드 에이전트를 켠 상태의 결과입니다."
BigBench Audio에서 인터랙션 모델 단독은 75.7점, 백그라운드를 켜면 96.5점입니다. 그런데 사고 모드를 켠 GPT-realtime-2.0도 96.6점입니다. 즉 지능 축의 상당 부분은 "뒤에 붙인 똑똑한 모델"에서 나옵니다. 이게 부당한 건 아닙니다 — 비교 대상도 사고 모드를 켠 상태니까요. 다만 "인터랙션 모델 자체가 똑똑하다"는 주장과는 구분해서 읽어야 합니다.
해커뉴스에서 나온 UX 관점의 우려입니다. 사람끼리도 끼어들기는 섬세한 기술입니다. 맥락상 적절한 끼어들기라도 상대의 사고 흐름을 끊을 수 있습니다. AI가 이 감각을 얼마나 잘 익힐 수 있을지는 열린 질문입니다.
그리고 데모가 다소 인위적이라는 지적도 있었습니다. 이야기 속 동물 세기, 시간 맞히기 같은 것들이 실제 유용한 시나리오인가 하는 것입니다. 정당한 비판입니다 — 다만 이건 능력 시연과 제품 시연을 혼동한 데서 오는 면도 있습니다.
이것도 해커뉴스에서 나온 지적입니다. 아키텍처를 이만큼 상세히 공개했으면 프론티어 랩들이 곧 따라 구현할 수 있지 않나? TML은 특허나 영업비밀에 기대는 걸까?
TML은 공개 연구를 정체성으로 삼는 조직이라(Connectionism 블로그 자체가 그 선언입니다) 이 질문에 대한 답은 아마 "실행력"일 겁니다. 다만 이건 상업적으로 진짜 위험입니다.
발표문의 마지막 섹션은 솔직합니다.
| 한계 | 내용 |
|---|---|
| 긴 세션 | 연속적인 오디오·비디오는 컨텍스트를 빠르게 쌓는다. 짧고 중간 길이의 상호작용은 잘 처리하지만, 아주 긴 세션은 여전히 세심한 컨텍스트 관리가 필요하다 |
| 연결성 | 저지연 오디오·비디오 스트리밍에는 안정적인 네트워크가 필요하다. 연결이 나쁘면 경험이 크게 나빠진다. 지연된 프레임에 견고해지도록 훈련하는 것이 과제 |
| 정렬과 안전 | 실시간 인터페이스는 정렬·안전 연구의 새로운 영역을 연다. 피드백을 수집하고 연구 그랜트를 검토 중 |
| 모델 크기 | 현재 276B MoE(활성 12B). 규모가 커지면 상호작용성도 좋아질 것으로 기대하지만, 더 큰 사전학습 모델들은 지금 이 환경에서 서빙하기엔 너무 느리다 |
| 백그라운드 에이전트 | 인터랙션 모델과 백그라운드 에이전트가 협업하는 방식은 이제 겨우 표면을 긁었을 뿐 |
네 번째 항목이 특히 정직합니다. "상호작용성은 스케일한다"고 주장하면서, 정작 더 큰 모델은 아직 이 방식으로 서빙할 수 없다고 인정하고 있습니다. 주장의 증명은 미래형입니다. TML은 올해 안에 더 큰 모델을 내겠다고 예고했습니다.
프라이버시입니다. 이 모델이 제대로 작동하려면 카메라와 마이크가 늘 켜져 있어야 합니다. 내 자세, 내 표정, 내 책상 위, 내 화면, 내 방의 소리가 200ms마다 모델로 흘러갑니다.
"AI가 당신을 지켜보다가 필요할 때 도와준다"는 문장은 관점에 따라 전혀 다르게 읽힙니다. 온디바이스 처리, 로컬 우선 설계, 명확한 녹화 표시가 이 기술의 확산 속도를 결정할 겁니다. 발표문은 이 문제를 다루지 않습니다.
2026년 현재 음성 AI 시장은 이미 빠르게 커지고 있습니다. 기업의 대다수가 어떤 형태로든 음성 AI를 도입했고, 음성 에이전트를 "연구 중"이 아니라 "만드는 중"인 개발자가 다수입니다. 하지만 그 시장의 대부분은 여전히 1세대 캐스케이드 파이프라인 위에 서 있습니다. 800ms 미만의 종단간 지연이 "돌파구"로 이야기되는 수준입니다.
인터랙션 모델이 제시하는 것은 이 시장의 다음 단계입니다. 그리고 더 넓게 보면, AI 발전의 축이 하나 더 생겼다는 선언이기도 합니다.
지난 3년은 축 1만 있었습니다. 그리고 축 1이 커질수록 사람은 밀려났습니다. TML의 주장은 두 축이 상충하지 않는다는 것입니다. 오히려 같은 모델을 키우면 둘 다 좋아진다는 것.
발표문의 한 문장이 이 변화를 잘 요약합니다.
"긴 실제 세션에서는 이 모든 것이 끊임없이 일어나며, 프롬프트하기보다 협업하기에 가까운 경험을 만들어 낸다."
이 문장은 AI 인터페이스의 지난 4년을 요약하고 뒤집습니다. 우리는 프롬프트 엔지니어링이라는 것을 배웠습니다. 인간이 기계의 입력 형식에 맞춰 자기를 구부린 겁니다. 좋은 결과를 얻으려면 좋은 프롬프트를 써야 했고, 그러려면 요구사항을 미리 다 알고 있어야 했습니다.
인터랙션 모델은 반대 방향입니다. 인터페이스가 사람이 있는 자리로 온다. 말하다가 생각을 바꾸고, 화면을 가리키고, "아니 그거 말고"라고 중간에 끊는 — 사람끼리 늘 하던 방식으로.
실무자 관점에서 몇 가지를 정리합니다.
Thinking Machines의 데모 중 가장 많이 회자된 장면을 다시 떠올려 봅니다.
사용자가 말을 하다 멈추고, 커피잔을 들고, 한 모금 마십니다. 화면 속 시간이 몇 초 흐릅니다.
그동안 모델은 아무것도 하지 않습니다.
기술적으로 보면 이 장면에서 벌어지는 일은 결코 "아무것도 아님"이 아닙니다. 초당 다섯 번, 마이크로턴마다 모델은 소리와 화면을 받아들이고, 커피잔이 올라가는 것을 보고, 이 침묵이 턴의 종료가 아니라 잠시 붙잡고 있는 것이라고 판단하고, 입을 열지 않기로 결정합니다. 그리고 200ms 뒤에 다시 같은 판단을 합니다.
지난 몇 년간 우리는 AI에게 말하는 법을 가르치는 데 온 힘을 쏟았습니다. 더 유창하게, 더 길게, 더 빠르게.
정작 어려운 것은 반대편이었습니다. 언제 말하지 않아야 하는지 아는 것. 상대가 아직 생각 중일 때, 상대가 스스로 답을 찾아가는 중일 때, 그냥 옆에 있어 주는 것.
인터랙션 모델의 진짜 주장은 아마 "AI가 더 빨라졌다"가 아닙니다. AI가 드디어 상대방의 리듬을 신경 쓰기 시작했다는 것입니다.
그건 지능의 문제가 아니라 예의의 문제이고, 어쩌면 협업이라는 것의 정의 그 자체입니다.
| 용어 | 뜻 |
|---|---|
| 전이중 (full-duplex) | 양방향으로 동시에 신호가 흐르는 것. 전화기. 반대는 반이중(무전기) |
| 마이크로턴 (micro-turn) | 대화를 200ms 단위로 쪼갠 최소 처리 단위. 매 단위마다 입력을 받고 출력을 낸다 |
| VAD | Voice Activity Detection. 소리의 유무로 발화 구간을 판정하는 부품. 의미는 모른다 |
| 백채널 (backchannel) | 상대가 말하는 중에 얹는 짧은 반응. "네네", "음—". 끼어들기가 아니라 "계속하세요" 신호 |
| 조기 융합 (early fusion) | 여러 모달리티를 처음부터 같은 공간에 넣어 함께 처리하는 것. 반대는 늦은 융합 |
| dMel | 로그 멜 필터뱅크의 각 채널을 세기 구간으로 이산화한 음성 토큰. 학습이 필요 없다 |
| hMLP stem | 이미지 패치를 계층적·비중첩으로 처리하는 가벼운 앞단 |
| 플로우 매칭 | 노이즈에서 데이터로 가는 벡터장을 직접 학습하는 생성 기법. 확산 모델보다 적은 스텝 |
| MoE | Mixture of Experts. 층마다 여러 전문가 중 일부만 켜서, 총 용량은 크게 계산량은 작게 |
| 배치 불변 커널 | 배치 크기와 무관하게 항상 같은 리덕션 순서를 쓰는 GPU 커널. 결과의 재현성을 보장 |
| Split-KV | 긴 시퀀스의 어텐션을 여러 조각으로 나눠 계산하는 기법. 나누는 방식이 다르면 결과가 미세하게 달라진다 |
| prefill / decode | prefill은 프롬프트 전체를 한 번에 처리하는 단계, decode는 토큰을 하나씩 생성하는 단계 |
원문
아키텍처 구성 논문
전이중 대화 모델 계보
대화의 과학
맥락
