coredot.today
블로그로 돌아가기

#MoE

7개의 포스트

Inkling 2 Small 해부: 5,940억 개 중 170억 개만 일하는 모델은 어떻게 만들어졌나
특집Inkling 2 SmallThinking Machines
2026.11.09

Inkling 2 Small 해부: 5,940억 개 중 170억 개만 일하는 모델은 어떻게 만들어졌나

미라 무라티의 Thinking Machines가 2세대 모델 Inkling 2 Small을 내놓았다. 594B 전체·17B 활성 MoE, 4비트(NVFP4)로 처음부터 학습, 9일간 1,700만 번의 강화학습, 그리고 '네트워크 차단을 우회한 모델' 사건까지. 1991년 전문가 혼합에서 2026년 미국 오픈 가중치 경쟁까지, 아키텍처와 학습 과정을 처음부터 끝까지 풀어 읽는다.

코어닷투데이101분
파라미터는 크지만 계산은 일부만 — 전문가 혼합(MoE) 35년 (특집)
특집MoEMixture of Experts
2026.11.08

파라미터는 크지만 계산은 일부만 — 전문가 혼합(MoE) 35년 (특집)

<!--SUMMARY-->

코어닷투데이51분
[특집] Gemini 4 Argon 모델 카드 정독 — 19개 시험의 속사정과 구글이 '배제할 수 없다'고 적은 세 줄
인사이트특집Gemini 4 Argon
2026.10.14

[특집] Gemini 4 Argon 모델 카드 정독 — 19개 시험의 속사정과 구글이 '배제할 수 없다'고 적은 세 줄

구글이 9월 30일 '신뢰할 수 있는 사이버 방어자'에게만 먼저 풀었던 Gemini 4 Argon이 10월 13일 전 세계에 공개됐습니다. 모델 카드, 5쪽짜리 평가 방법 문서, 217쪽짜리 안전·보안 보고서가 함께 나왔습니다. 이 글은 셋을 처음부터 끝까지 읽고 정리한 특집입니다. 카드가 한 줄로 넘긴 '대규모 희소 Mixture-of-Experts'를 1991년 논문부터 거슬러 올라가 풀고, 입출력 합계 100만 토큰과 GraphWalks 시험이 무엇을 재는지 직접 풀어 보게 했습니다. 19줄 성적표는 줄마다 공개 리더보드와 맞춰 봤습니다. 하비 법률 시험 19.6%는 경쟁 세 모델보다 세 배 높지만 전체 79개 모델 중에서는 6위입니다. 과학 터미널 시험의 57.6%는 독립 측정에서 44.3%로 나왔습니다. 그리고 구글이 스스로 '배제할 수 없다'고 적은 세 가지(생물 무기 CCL, 사이버 CCL, 은밀성·상황 인식 TCL)를 프런티어 안전 프레임워크의 언어로 풀었습니다. 15개 과제 중 14개 통과, 평가를 알아챈 비율 0%→37.8%, 생각 없이 차 끓이는 이야기만 적고도 정답을 맞힌 장면까지 담았습니다. 인터랙티브 6개, 일러스트 10장, 논문·보고서 그림 10장.

코어닷투데이112분
로컬 AI는 '열등한 Opus'가 아니다: 내 컴퓨터 속 모델은 완전히 다른 연장이다
특집로컬 AI오픈웨이트
2026.06.20

로컬 AI는 '열등한 Opus'가 아니다: 내 컴퓨터 속 모델은 완전히 다른 연장이다

1만 2천 달러짜리 GPU를 사서 자기 사무실에 AI를 들인 한 엔지니어가 던진 한 문장이 화제가 됐다. '로컬 Qwen은 더 싼 Opus가 아니라, 아예 다른 연장이다.' 대장장이가 칼을 담금질하듯 한순간도 눈을 뗄 수 없는 이 모델은 왜 어떤 일에서는 무너지고 어떤 일에서는 클라우드를 압도할까. 오픈웨이트 AI의 역사부터 트랜스포머·MoE·양자화·투기적 디코딩 같은 핵심 아키텍처, 벤치마크의 함정, 그리고 2026년 데이터 주권의 시대에 로컬 모델이 차지하는 진짜 자리까지 — 쉽고 자세하게 풀어본다.

코어닷투데이46분
박사 학위로도 부족하다: 어느 DeepMind 연구자의 면접 가이드가 드러낸 'AI 실력의 지도'
인사이트ML 면접DeepMind
2026.06.20

박사 학위로도 부족하다: 어느 DeepMind 연구자의 면접 가이드가 드러낸 'AI 실력의 지도'

옥스퍼드 박사에 1저자 논문이 여러 편, 그런데도 그녀는 LeetCode 150문제를 풀고 FlashAttention을 맨손으로 구현했다. DeepMind에 합격한 Silvia Sapora의 면접 가이드가 화제가 된 건 '준비법' 때문만이 아니다. 그 글에 담긴 공부 목록이 곧 2026년 현대 AI의 전체 지도였기 때문이다. 면접의 역사부터 어텐션·디퓨전·정렬·분산학습의 핵심 개념까지, 쉽고 자세하게 풀어본다.

코어닷투데이36분
DeepSeek V4 Pro 특집: 1.6조 파라미터로 100만 토큰을 V3.2의 1/10 비용에 — 오픈소스가 다시 프론티어를 따라잡은 날
인사이트DeepSeek-V4V4 Pro
2026.04.27

DeepSeek V4 Pro 특집: 1.6조 파라미터로 100만 토큰을 V3.2의 1/10 비용에 — 오픈소스가 다시 프론티어를 따라잡은 날

2026년 4월 24일, DeepSeek이 V4 Pro와 V4 Flash를 공개했다. 1.6조 파라미터(49B 활성), 100만 토큰 컨텍스트, 그리고 V3.2 대비 KV 캐시 10%·FLOPs 27%. 단순한 버전업이 아니라 'CSA + HCA 하이브리드 어텐션', 'mHC 잔차 연결의 후속', 'Muon 옵티마이저', 'FP4+FP8 혼합 정밀도', '온-폴리시 디스틸레이션'이라는 다섯 가지 핵심 혁신이 한꺼번에 들어갔다. 왜 이런 설계가 필요했는지, 어디서부터 어떻게 여기까지 왔는지, 그리고 실무에서 어떻게 써야 하는지를 처음부터 풀어본다.

코어닷투데이55분
Mixture of Experts 완전 해부: 1.8조 파라미터인데 왜 빠른가
기술MoEMixture of Experts
2025.07.15

Mixture of Experts 완전 해부: 1.8조 파라미터인데 왜 빠른가

GPT-4는 1.8조 파라미터지만 추론 시 222B만 활성화된다. 어떻게 가능한가? 1991년 MIT에서 시작된 '전문가 혼합' 아이디어가 34년 뒤 모든 프론티어 AI 모델의 핵심 아키텍처가 되기까지 — Expert의 정체, 라우팅의 작동 원리, 실전 사례와 논란까지 완전 해부한다.

코어닷투데이29분