#LLM 라우팅

2개의 포스트

2026.10.20

[특집] 워크플로를 버리지 말고 저금하라 — FlowBank, 문제마다 맞는 에이전트 워크플로를 '미리 만들어 골라 쓰는' 법

에이전트 워크플로를 자동으로 설계하는 방법은 지금까지 두 갈래였다. 오프라인에서 수십 개를 찾아 1등 하나만 배포하는 '과제 수준' 방식과, 질문이 올 때마다 새 워크플로를 즉석에서 짜는 '질의 수준' 방식이다. 메릴랜드대·아마존 연구진의 FlowBank(arXiv 2606.11290)는 둘 다 낭비가 있다고 지적한다. 버려진 후보들이 1등이 못 푼 문제를 풀고, 비싼 즉석 설계가 푸는 문제의 상당수는 미리 만든 싼 워크플로로도 풀린다. 그래서 '서로 다른 문제를 푸는' 워크플로 몇 개를 은행처럼 저금해 두고 문제마다 골라 보내자는 것이다. 이 글은 공식 저장소의 실제 데이터(MATH 후보 31개 × 119문제, 벤치마크별 테스트 예측 파일)를 직접 다시 계산하며 DiverseFlow·CuraFlow·그래프 매칭 세 단계를 풀어 보고, 1976년 '알고리즘 선택 문제'와 1997년 '알고리즘 포트폴리오', SAT 대회를 휩쓴 SATzilla에서 2025년 GPT-5 라우터까지 이어지는 계보 속에 이 논문을 놓는다. 또 표 1 수치가 저장소와 정확히 맞는다는 것, 그러나 선택기 체크포인트가 검증 세트 없이 테스트 점수로 골라졌다는 것까지 확인했다. 인터랙티브 6개와 일러스트 12장, 논문 그림 8장으로 2026년 '스킬'의 시대에 이 생각이 어떤 의미인지 정리한다.

코어닷투데이117분

지도와 심판 — 임베딩과 판정 모델, 언제 무엇을 쓰나: 업무 12가지와 조합 실측 (로컬 모델 실측 3편)

튜토리얼임베딩판정 모델

2026.10.12

지도와 심판 — 임베딩과 판정 모델, 언제 무엇을 쓰나: 업무 12가지와 조합 실측 (로컬 모델 실측 3편)

1편에서 임베딩 모델 아홉 개를, 2편에서 판정 모델 세 개를 같은 맥에서 한국어로 쟀습니다. 3편은 그 둘을 한 자리에 놓고 묻습니다. 어느 일에 어느 쪽을 쓰나. 임베딩은 지도입니다. 수백만 건 중 어디를 볼지 알려 주고, 좌표를 저장해 두고 재사용합니다. 판정 모델은 심판입니다. 눈앞의 후보 몇 개 중 무엇이 맞는지, 규정에 비춰 되는지 안 되는지를 확률과 함께 말합니다. 이 글은 네 가지 질문으로 두 자리를 가르는 진단표, 고객 문의 라우팅·환불 규정·감성 점수·인젝션 탐지·도구 호출 가드·민원 배정·LLM 라우팅 일곱 업무의 실측(판정 모델 세 개 대 임베딩 유사도 대 27B 채팅 모델), 코어닷투데이가 실제로 만나는 업무 열두 가지의 추천 조합·예시·함정, 그리고 '작은 임베딩 + 판정 모델이 큰 임베딩을 따라잡는가'를 1편의 모델 다섯으로 확인한 조합 실험을 담았습니다. 마지막은 메모리·지연·비용·데이터 반출을 한 표로 놓은 운영 체크리스트입니다. 인터랙티브 4개와 삽화 6장.

코어닷투데이36분