당신의 AI, 빌린 겁니까 가진 겁니까 (3부): 90억 모델이 프런티어를 이긴 날, 그리고 판별법

3부를 시작하며

1부에서 왜 지능을 소유하는가를, 2부에서 어떻게 훈련하는가를 봤다. 이제 남은 건 가장 중요한 질문이다. 그래서, 진짜 되나?

Fermisense는 업계 리더들의 방식을 그대로 자신들에게 적용해, 하나의 실전 업무를 통째로 재현했다. e커머스 카탈로그 무결성 검수다. 결과부터 말하면 — 90억 파라미터짜리 작은 오픈소스 모델이, 최고급 프런티어 5종을 전부 제치고, 비용은 최대 340배 저렴했다. 그 숫자를 지금부터 뜯어본다.

크게 보기

왜 하필 '카탈로그 검수'인가

e커머스 플랫폼을 운영하는 회사의 숨은 골칫거리 하나가 카탈로그를 신뢰할 수 있게 유지하는 일이다. 모든 상품이 정확한 카테고리에 들어가야 하고, 검색·필터·추천을 돌리는 속성값이 이미지와 설명에서 정확히 뽑혀야 한다. 틀리면?

• 위조품을 놓치면 고객과 브랜드가 사기에 노출된다.
• 정품을 과하게 걸러내면 검토 대기열이 쌓이고 정직한 판매자가 화난다.
• 잘못 분류되면 상품을 찾기 어려워지고 추천이 망가진다.

이게 왜 AI의 무대인지는 규모를 보면 안다.

이 검수를 사람 팀으로만 하면 카탈로그가 커질수록 팀도 함께 불어난다. 그렇다고 프런티어 API로 돌리면? 중형 마켓플레이스 하루 1천만 건 검수에 연간 약 5억 달러가 든다. 같은 일을 특화 모델로 하면 약 1천만 달러. 50배 차이다. 그래서 이 업무를 실제로 돌리는 회사들(예: Shopify는 하루 약 4천만 건을 파인튜닝된 오픈 모델로 처리)은 남의 모델을 빌려 돌리지 않는다. "상업용 API로는 경제적으로 감당이 안 되는 볼륨"이라는 게 그들의 말이다.

에이전트는 어떻게 일하는가: 장갑 한 켤레의 여정

말로만 하면 추상적이니, 실제 한 건이 처리되는 과정을 보자. 입력은 이렇다.

에이전트는 애널리스트가 하듯 단계를 밟는다.

깨끗한 리스팅은 승인으로, 수상한 리스팅은 반드시 플래그로 끝나야 한다. 그리고 2부에서 본 대로, 모델은 두 실수를 비대칭으로 저울질하도록 배웠다 — 진짜 위반을 놓치는 쪽이 헛경보보다 7배 비싸니까.

벤치마크: 프런티어 5종 vs 훈련된 90억

훈련을 시작하기 전, Fermisense는 프런티어가 맨몸으로 어디까지 가는지부터 쟀다. GPT-5.5, GPT-5.6-sol, Gemini 3.1 Pro, Claude Opus 4.8, Claude Fable 5 다섯 모델을, 동일한 도구·이미지·채점기·턴 예산으로, 두 가지 설정에서 측정했다.

1. 맨 프롬프트(zero-shot)
2. 최적화 프롬프트 — 추출 규칙·조회 절차·예시를 2,800자로 꾹꾹 눌러 담은, 프롬프트 엔지니어가 프로덕션을 튜닝하듯 다듬은 버전

여기에 최종 훈련된 9B 모델을 나란히 세운 결과다. (숫자는 '달성 가능한 최대 점수의 몇 %'.)

세 가지가 눈에 띈다.

• 훈련된 9B는 87.3%, 최고 프런티어는 76.9%. 상대적으로 프런티어보다 13.5%, 자기 베이스보다 36% 높다.
• 프런티어 5종은 최적화 프롬프트를 줘도 서로 0.1점 차 안쪽으로 수렴했다. 즉 프롬프트로 짜낼 수 있는 성능에는 천장이 있었다. 특화 모델만 그 천장을 뚫었다.
• 그 최적화 프롬프트는 공짜도 아니었다. 입력 토큰 청구서를 모델별로 28~55% 부풀렸다 — 1부에서 말한 프롬프트 세금을, 모든 호출에서, 영원히.

왜 프런티어는 천장을 못 넘었나

Fermisense의 진단이 날카롭다. "격차는 지능의 문제가 아니다."

프런티어 모델은 매 에피소드를 제로에서 시작한다. 이 상점의 분류 체계를 본 적도, 재고 관례를 아는 것도, 어떤 속성값이 '근거 있음'으로 쳐지는지, 코너 케이스를 이 플랫폼이 어떻게 처리하길 원하는지도 모른다. 그 모든 걸 매 호출마다, 프롬프트에 들어가는 것만 가지고, 즉석에서 재구성해야 한다. 최적화 프롬프트가 일부를 압축해 넣을 수는 있지만, 점수를 가르는 코너 케이스는 애초에 어떤 프롬프트로도 다 열거할 수 없는 것들이다. (긴 프롬프트일수록 중간 정보를 놓친다는 「Lost in the Middle」 연구가 이 한계를 뒷받침한다.)

반면 특화 모델은 수천 번의 채점된 연습을 거치며 그 상점의 분류·도구·정책이 보상과 어떻게 연결되는지를 가중치에 새겼다. 범용 모델이 능력을 만사에 얇게 펴 바른다면, 특화 모델은 그 능력을 이 업무 하나에 전부 쏟는다(범용 능력을 희생하는 대가로).

비용: 트레이드오프를 끝내다

성능만 이긴 게 아니다. 이 글을 여는 대표 그래프의 요지는 품질과 비용의 트레이드오프 자체를 없앴다는 것이다. 보통은 좋은 걸 고르면 비싸고, 싼 걸 고르면 나쁘다. 특화 모델은 가장 좋은 점수를, 거의 가장 싼 값에 냈다.

이걸 볼륨에 곱하면 규모가 실감 난다. Shopify급 하루 4천만 건을 기준으로, 1,000건당 $34와 $0.50의 차이는 연간 5억 달러 대 700만 달러 — 98% 비용 절감이다. 파인튜닝은 같은 $0.50에 베이스 대비 약 23점을 더 얹어 준다. 프롬프트로 넣은 지식은 매 호출 임대료, 가중치에 박힌 지식은 한 번 산 것. 1부의 그 문장이 여기서 숫자로 증명된다.

훈련 곡선: 하루 만에 프런티어를 추월

2부에서 예고한 그 그래프다. W&B 훈련 모니터로 측정한 학습 곡선은, 9B 모델의 점수가 약 0.50에서 시작해 1,000스텝에서 0.671까지 오르는 모습을 보여준다. 그리고 결정적으로 — 250스텝(약 하루) 이전에 이미 프런티어 밴드를 뚫는다.

즉 프런티어를 따라잡는 데는 하루면 충분했고, 나머지 이틀 반은 마지막 성능을 짜내는 데 썼다. 그리고 이건 막다른 길도 아니다. 더 좋은 오픈소스 베이스가 나오면 레시피가 그대로 이전되고(강한 베이스 → 강한 특화 모델), 배포된 모델은 일하면서 스스로 다음 훈련 데이터를 만들어낸다. 재훈련할수록 더 싸고 똑똑해지는 복리 구조다.

이게 예외가 아니라는 증거: 11개 회사 성적표

Fermisense 한 팀의 실험이 아니다. 같은 문법이 산업 전반에서 반복된다. 아래는 각 회사가 자신이 대체하거나 경쟁한 프런티어 모델 대비 스스로 보고한 성적이다.

산업도, 업무도, 기반 모델도 제각각이다. 그런데 결론은 하나로 모인다. 빈번하고 채점 가능한 업무라면, 특화 모델이 프런티어를 이기고 비용도 압도한다.

그런데, 아무 업무나 되는 건 아니다

여기가 가장 중요하다. 이 방식이 틀린 도구인 경우를 아는 것. Fermisense는 두 질문이 대부분을 가른다고 말한다 — ① 얼마나 자주 돌아가는가, ② 결과를 검증할 수 있는가.

오른쪽 위(자주 × 검증 가능)만이 파인튜닝이 값을 하는 자리다. 나머지는 빌리는 게 낫다. 검증 가능하지만 드문 일은 프롬프트 최적화 프런티어로, 결과를 검증할 수 없는 일은 사람이 루프에 남는다. 그리고 문제가 '판단'이 아니라 '바뀌는 사실'이라면(가격·재고 같은) — 그건 파인튜닝이 아니라 검색(RAG) 의 몫이다. 볼륨과 무관하게.

우리 회사의 업무는 후보일까?

이 프레임워크를 당신의 업무에 직접 대어 보자. 아래 체크리스트에서 하나라도 강하게 해당하면 대화를 시작할 가치가 있다.

체크리스트가 가리키는 방향은 분명하다. 라우팅, 문서 필드 추출, 정책 위반 검사, 상품 분류, 거래 승인·플래그처럼 하루 종일 정보를 결정으로 바꾸는 일 — 그중 결과를 규칙·스키마·전문가가 채점할 수 있는 일. 마지막 항목(민감 데이터가 우리 경계를 못 벗어남)은 안전 논리이기도 하다. 내가 훈련한 모델은 내 인프라 안에서 돌기에, 프롬프트도 기록도 벤더에게 가지 않는다.

2026년, 그리고 코어닷의 시선

이 특집을 관통한 이야기를 세 문장으로 줄이면 이렇다. 하나의 고volume 업무를 디지털 트윈으로 재현했다. 작은 오픈소스 모델을 사흘, 500달러로 그 안에서 연습시켰다. 결과물은 모든 프런티어를 넘어섰고, 값은 그들의 몇백분의 일이었다.

2026년, 이 기술의 진짜 의미는 '더 싼 AI'가 아니다. AI 능력의 소유권이 몇몇 프런티어 연구소에서 일반 기업으로 내려오기 시작했다는 것이다. 오픈 모델이 충분히 좋아졌고(2부의 GRPO·RLVR), 강화학습 스택이 오픈소스로 성숙했으며(prime-rl), 96GB 워크스테이션 GPU가 손익 계산을 다시 썼다. 이 셋이 겹친 지점에서, "지능을 빌릴 것인가 가질 것인가"는 더 이상 거대 기업만의 질문이 아니게 됐다.

코어닷투데이의 관점도 같다. 프런티어 모델은 시작점으로 훌륭하다 — 가능성을 증명하고, 훈련 데이터를 만들어 준다. 하지만 특정 업무가 대량으로, 반복적으로, 채점 가능하게 돌아가는 순간, 질문은 "이게 우리에게 맞는가"가 아니라 "어떤 결정을 이제 그만 빌릴 것인가" 로 바뀐다. 모델도, 평가도, 데이터도 내 것으로 남아 함께 개선되는 — 복리로 쌓이는 종류의 우위다.

특집 전체 요약

• 1부: 인텔리전스 오너십 = 오픈소스 모델을 내 업무에 맞춰 훈련해 소유하는 전략. 프롬프트 지식은 매 호출 세금, 가중치 지식은 한 번 산 것.
• 2부: 사전학습→SFT→강화학습(RLHF→RLVR). GRPO는 심판 없이 커브로 채점. 디지털 트윈에서 연습하고, 비대칭 보상에 비즈니스 우선순위를 새긴다.
• 3부: 90억 모델이 카탈로그 검수에서 프런티어 5종을 이겼다(87.3% vs 76.9%), 비용은 40~340배 저렴. 11개 회사가 같은 결론. 단, 자주 × 검증 가능한 업무에서만.

지능을 빌릴지 가질지 — 이제 그 판단이 당신 회사의 어떤 업무에서 이득으로 바뀔지, 한번 짚어볼 차례다.