#Mixture of Experts
4개의 포스트
![[특집] 하네스도 분업을 배운다 — Adaptive-GEPA, 요청을 나누는 법과 푸는 법을 한 번의 탐색으로 함께 진화시키기](/_next/image?url=https%3A%2F%2Ffiles.core.today%2Fstorage%2Fcoredot%2Fpublic%2Fblog%2Fagp-cover.webp&w=3840&q=75)
[특집] 하네스도 분업을 배운다 — Adaptive-GEPA, 요청을 나누는 법과 푸는 법을 한 번의 탐색으로 함께 진화시키기
하나의 AI 창구에는 성격이 다른 요청이 섞여 들어온다. 사실을 찾아야 하는 질문, 오래 생각해야 하는 수학 문제, 개인정보를 가려야 하는 부탁, 조건을 지켜 글을 고치는 일. 2026년 9월 30일 공개된 Adaptive-GEPA(arXiv 2609.38762)는 이 창구를 최적화하는 세 번째 길을 제안한다. 프로그램 하나를 통째로 다듬지도, 과제별로 미리 나눠 따로 다듬지도 않고, 요청을 나누는 라우터와 전문가 프로그램 묶음을 한 번의 탐색에서 함께 진화시킨다. 라우터의 지시문, 전문가마다 붙는 한 줄 설명, 프로그램 코드가 모두 사람이 읽는 글이고 실패 기록을 읽은 반성 모델이 그중 하나를 골라 고친다. 서로 다른 갈래를 합칠 때는 슬롯 번호가 아니라 ‘실제로 처리한 요청’의 겹침으로 전문가를 짝짓는다. Qwen3-8B 실험에서 네 과제 평균은 52.6에서 70.6으로 올랐고(프로그램 하나 진화 62.5, GRPO 54.0), 과제 이름을 한 번도 받지 않은 라우터가 시험 요청 651건을 과제 구분과 똑같이 나눴다. 이 글은 논문을 부록까지 읽고, 1991년 전문가 혼합에서 2025년 GEPA까지의 계보, 후보 하나의 구조, 다섯 가지 편집, 발자국 정렬 병합, 결과 표와 탐색 기록을 차례로 푼다. 시드 하나, 같은 프로그램을 다시 채점해도 2점씩 흔들리는 검증 점수, 세지 않은 계산량 같은 한계도 숫자로 짚었다. 한국어 요청 64건으로 논문의 ‘설명·라우터 편집’ 현상을 로컬 모델에서 다시 확인한 실측을 덧붙였다. 인터랙티브 6개, 일러스트 14장, 논문 그림 9장.

파라미터는 크지만 계산은 일부만 — 전문가 혼합(MoE) 35년 (특집)
<!--SUMMARY-->
![[특집] Gemini 4 Argon 모델 카드 정독 — 19개 시험의 속사정과 구글이 '배제할 수 없다'고 적은 세 줄](/_next/image?url=https%3A%2F%2Ffiles.core.today%2Fstorage%2Fcoredot%2Fpublic%2Fblog%2Farg-cover.webp&w=3840&q=75)
[특집] Gemini 4 Argon 모델 카드 정독 — 19개 시험의 속사정과 구글이 '배제할 수 없다'고 적은 세 줄
구글이 9월 30일 '신뢰할 수 있는 사이버 방어자'에게만 먼저 풀었던 Gemini 4 Argon이 10월 13일 전 세계에 공개됐습니다. 모델 카드, 5쪽짜리 평가 방법 문서, 217쪽짜리 안전·보안 보고서가 함께 나왔습니다. 이 글은 셋을 처음부터 끝까지 읽고 정리한 특집입니다. 카드가 한 줄로 넘긴 '대규모 희소 Mixture-of-Experts'를 1991년 논문부터 거슬러 올라가 풀고, 입출력 합계 100만 토큰과 GraphWalks 시험이 무엇을 재는지 직접 풀어 보게 했습니다. 19줄 성적표는 줄마다 공개 리더보드와 맞춰 봤습니다. 하비 법률 시험 19.6%는 경쟁 세 모델보다 세 배 높지만 전체 79개 모델 중에서는 6위입니다. 과학 터미널 시험의 57.6%는 독립 측정에서 44.3%로 나왔습니다. 그리고 구글이 스스로 '배제할 수 없다'고 적은 세 가지(생물 무기 CCL, 사이버 CCL, 은밀성·상황 인식 TCL)를 프런티어 안전 프레임워크의 언어로 풀었습니다. 15개 과제 중 14개 통과, 평가를 알아챈 비율 0%→37.8%, 생각 없이 차 끓이는 이야기만 적고도 정답을 맞힌 장면까지 담았습니다. 인터랙티브 6개, 일러스트 10장, 논문·보고서 그림 10장.

Mixture of Experts 완전 해부: 1.8조 파라미터인데 왜 빠른가
GPT-4는 1.8조 파라미터지만 추론 시 222B만 활성화된다. 어떻게 가능한가? 1991년 MIT에서 시작된 '전문가 혼합' 아이디어가 34년 뒤 모든 프론티어 AI 모델의 핵심 아키텍처가 되기까지 — Expert의 정체, 라우팅의 작동 원리, 실전 사례와 논란까지 완전 해부한다.