무엇인가
GLM-Legal은 중국 Z.ai(옛 Zhipu AI)가 2026년 10월 12일(한국 시각 13일 새벽) 발표한 법률 에이전트용 특화 모델입니다. 출발점은 2026년 8월 공개된 GLM-5.3-Flash로, 전체 320B·활성 18B 파라미터의 전문가 혼합(MoE) 모델입니다(100만 토큰 문맥, MIT 라이선스 가중치). 여기에 법률 중간학습과 수만 개 법률 과제 환경의 강화학습을 얹었습니다. Z.ai는 법률을 "전문직 협업 AI의 스트레스 테스트"라고 불렀습니다. 흩어진 원본 자료를 읽고, 법리로 구조를 세우고, 결과물 서명까지 엄밀함을 유지해야 하기 때문입니다.
눈길을 끈 숫자는 로펌 실무를 흉내 낸 에이전트 시험 Harvey LAB 19.2%입니다. 같은 그래프에서 Kimi K3 12.9%, Claude Fable 5 11.3%, GPT-6 Astra 5.4%, 기반 모델 GLM-5.3-Flash 6.7%였습니다. 이 점수는 독립 평가 회사 Vals AI가 잰 값(19.17%)이고, Vals 집계 과제당 비용은 약 0.15달러로 Fable 5(19.23달러)의 약 130분의 1, GPT-6 Astra(26.16달러)의 약 180분의 1입니다.
핵심은 '법을 더 많이 안다'가 아니라 '일을 끝까지 해낸다'입니다. 기반 모델 대비 상승폭이 지식 시험 LegalBench에서는 2.3%포인트(83.9→86.2), 실무 과제 시험 Harvey LAB에서는 12.5%포인트(6.7→19.2)로 다섯 배 넘게 차이 납니다.
어떻게 동작하나
GLM-5.3-Flash, 320B/활성 18B MoE
고품질 법률 말뭉치로 개념·조문·해석 틀, '사실–규칙–결론' 연결 강화
수만 개 법률 환경, 루브릭 보상, 하네스와 공진화
완전성·근거·지시 준수·즉시 사용을 손실 신호로
- 중간학습. 사전학습과 후속학습 사이에서 품질 높은 도메인 데이터를 읽히는 단계입니다. 강화학습은 모델이 이미 할 줄 아는 행동 중 좋은 것을 키우는 방법이라, 법률 바탕이 없으면 키울 거리도 없습니다. 데이터 비율과 출처는 공개되지 않았습니다.
- 환경과 루브릭 보상. 환경 하나는 파트너의 한 줄 지시, 관련 없는 문서가 섞인 닫힌 자료 묶음, 읽기·검색·편집 도구, 그리고 "60일을 30일로 줄였는가" 같은 항목별 예/아니오 채점기로 이뤄집니다. 법률은 정답을 기계가 확인할 수 없어 전문가 채점표를 LLM 판정관이 적용한 결과를 보상으로 씁니다.
- 하네스 공진화. 하네스는 맥락 관리·도구 연결·실행 피드백을 맡는 실행 틀입니다. 강화학습은 모델을 '특정 하네스 안에서' 잘 행동하도록 훈련하므로, Z.ai는 둘을 함께 반복해 고쳤다고 설명합니다. 세부는 공개되지 않았지만, Harvey와 Applied Compute가 2026년 6월 공개한 GLM-5.1 실험이 같은 패턴을 수치로 보여 줍니다. 하네스 개선(도구 출력 토큰 제한, 잘못된 호출 자동 수정, 결과물 알림, 압축) 뒤 강화학습을 하자 전 항목 통과율이 5.9%→12.6%로 두 배가 됐고, 바뀐 항목은 '숫자를 정확하게'(243개)·'결과물을 반드시 만든다'(185개)·'자료에 묶여 쓴다'(70개) 순이었습니다.
시연(Z.ai 데스크톱 에이전트 AutoClaw에 넣을 예정)에서 드러난 차이는 하나입니다. 기반 모델은 "통지 기간 단축을 고려하라" 같은 해야 할 일의 목록을, GLM-Legal은 "60일을 30일로, 제4조에 따라 대금 지급과 무관하게 결과물 반환, 최대 90일 전환 지원" 같은 내린 결정과 근거를 워드 추적 변경으로 냈습니다.
공개 수치 다시 보기
코어닷투데이가 GLM-Legal을 직접 돌린 결과가 아니라, 원 글이 Vals 리더보드(2026년 10월 12~13일)에서 다시 확인한 값입니다.
| 시험 | GLM-Legal | 비교 | 출처 |
|---|---|---|---|
| Harvey LAB 전 항목 통과율 | 19.17% (79개 중 7위) | 1위 Muse Spark 1.2 25.42%, 6위 Gemini 4 Argon 19.58% | Vals, 비공개 과제 120개 |
| Harvey LAB 항목 통과율 | 92.46% | Grok 4.6 92.52%인데 전 항목은 15.83% | Vals |
| LegalBench | 86.24% (150개 중 14위) | 1위 Claude Fable 5 88.56%. Vals 스스로 "거의 포화" | Vals |
| Legal Research Bench | 41.83% (78개 중 24위) | 기반 GLM-5.3-Flash 45.19%보다 낮음 | Vals |
| PLawBench (중국 법) | 77.3 | Fable 5 77.7, 기반 73.8 | Z.ai 자체 측정 |
| 과제당 비용 · 시간 | 약 0.15달러 · 약 72분 | 기반 모델은 약 52분, 비용은 4배 | Vals (GLM-5.3-Flash 요금으로 계산) |
Harvey LAB은 24개 실무 분야, 과제 1,251개, 원본 문서 9,747건, 채점 항목 76,791개(과제당 약 61개)로 이뤄지고, 과제의 항목을 전부 통과해야 그 과제를 맞힌 것으로 칩니다. 항목이 서로 독립이라면 92.46%로는 전 항목 통과가 0.8%밖에 나올 수 없습니다. 19.17%가 나온 것은 실패가 몇몇 과제에 몰려 다니기 때문이고, GLM-Legal이 Grok 4.6보다 항목 통과율은 낮아도 전 항목 통과율이 3.3%포인트 높은 이유도 여기에 있습니다.
언제 쓰고, 언제 피하나
| 상황 | 판단 |
|---|---|
| 주어진 자료실 안에서 메모·수정본·타임라인 초안을 대량으로 만든다 | 맞는 자리. 싼 비용으로 같은 과제를 여러 번 돌려 교차 확인하는 운영이 가능하다 |
| 판례·법령을 바깥에서 찾아 답하는 리서치 | 기반 모델보다 퇴보한 지표. 리서치는 따로 잰다 |
| 한국 법 업무 | 평가 자료 없음. 시연은 영미식 계약·소송과 동남아 개인정보법, PLawBench는 중국 법 |
| 고객 비밀을 외부로 보낼 수 없는 로펌·법무팀 | 가중치 공개 불확실, 베타 신청제. 자체 서버 운영이 가능해질 때까지 보류 |
| 사람 검토 없이 그대로 제출 | 피한다. '초안을 매우 잘 쓰는 신입'이지 서명할 수 있는 변호사가 아니다 |
도입을 검토한다면 공개 벤치마크 대신 자기 사건 20~50건으로 쟁점을 숨긴 시험지와 루브릭을 만들고, 자기 문서관리 시스템·워드 템플릿에 붙인 하네스에서 따로 재고, 모든 인용(판례·조문·베이츠 번호)을 자동 대조하는 단계를 넣는 것이 원 글의 체크리스트입니다.
한계와 주의
- Z.ai 그래프는 다섯 모델만 골랐습니다. GLM-Legal보다 높은 여섯 모델(Meta Muse 계열 다섯과 Gemini 4 Argon)이 빠져 있습니다. 반대로 빠진 최신 모델 중에는 Claude Fable 5.1 6.67%, GPT-6.1 Sol 5.42%, Claude Opus 5.5 3.75%처럼 더 낮은 것도 있어, LAB 점수는 '똑똑함'보다 이 하네스·채점에서 완주하는 습관에 크게 좌우됩니다.
- 자체 측정이 섞여 있습니다. PLawBench 점수 다섯 개 전부와 GPT-6 Astra의 LegalBench 87.1은 Z.ai가 직접 잰 값입니다. Fable 5의 11.25%에는 Vals가 4개 과제를 Opus 4.8로 대체 실행한 결과가 들어 있어, 실패로 치면 10.42%입니다.
- 특화는 공짜가 아니었습니다. Legal Research Bench에서 기반 모델보다 3.4%포인트 낮았습니다. 중간학습의 망각인지, LAB형(주어진 자료 안에서 일하기) 과제에 맞춰진 결과인지는 알 수 없습니다.
- 가중치 공개 여부가 엇갈립니다. Vals 모델 페이지는 "Weights: Open"이지만 Artificial Lawyer는 적어도 아직은 계획이 없다고 보도했고, 10월 13일 기준 Hugging Face에도 없었습니다. MIT 라이선스는 기반 모델 GLM-5.3-Flash의 것이지 GLM-Legal의 것이 아닙니다. 가격도 미정이라 0.15달러는 기반 모델 요금으로 계산한 값입니다.
- 같은 이름의 시험이라도 운영에 따라 숫자가 다릅니다. Harvey가 5월 처음 발표한 결과(당시 1위 Opus 4.7 7.1%)는 Vals의 비공개 120개 과제·판정관 2명(GPT-5.5, Claude Sonnet 4.6) 체계와 다르고, Artificial Analysis의 LAB-AA(환각 관문·판정관 3명)는 1위가 Muse Wonder Full 13.1%이며 GLM-Legal은 측정되지 않았습니다. 발표 나흘 전에는 일부 루브릭이 잘못됐다는 이슈(#191)도 올라왔습니다.
- 시연은 회사가 고른 장면입니다. 실패 사례가 없고, 인용한 조항 번호가 정확한지는 원문만으로 확인할 수 없습니다. 훈련 데이터가 비공개라 공개 LAB 과제(MIT 라이선스)가 섞였는지도 알 수 없습니다(Vals 점수는 비공개 과제라 상대적으로 자유롭습니다).
- 데이터 주권 질문이 남습니다. 2026년 9월 말 Z.ai의 코딩 도구 ZCode가 사용자 저장소의 암호화 스냅숏을 몰래 업로드한 일이 드러나 사과·기능 제거·외부 감사로 이어졌고, Hacker News에서 가장 큰 댓글 타래도 고객 정보의 처리 위치였습니다.
- 같은 레시피는 다른 곳에서도 통했습니다. Harvey의 Tenet(Kimi K3 기반, 약 1,750개 환경)은 LAB 19.7%로 GLM-Legal과 거의 같은 높이입니다. GLM-Legal만의 비법이 아니라 '과제 환경 + 루브릭 강화학습 + 하네스' 방식 전체의 성과로 읽는 편이 정확합니다.
