#회귀 테스트

[특집] 스코어북을 코드로 내려가 보다 — 메타의 '조직 세컨드 브레인'과 「Learning on the Job」이 보여준 '배우는 에이전트'의 실체

지난 특집은 프라이머리 벤처의 '스코어북'과 '계속 배우는 루프'를 개념으로 다뤘습니다. 이번에는 그 개념이 실제로 어떻게 생겼는지 코드 수준으로 내려갑니다. 2026년 9월 2일 메타 엔지니어링 블로그가 공개한 '조직의 세컨드 브레인'은 컴플라이언스 전문가의 머릿속 지식을 200개 넘는 텍스트 파일로 증류하고, 전문가의 교정 하나하나를 진단·컴파일·검증·승인의 네 단계로 '컴파일'해 회귀 0건으로 6주 만에 며칠 걸리던 평가를 몇 분으로 줄인 시스템입니다. 7월의 논문 「Learning on the Job」은 가중치를 고정한 에이전트가 '맞았다/틀렸다' 한 비트만으로 1.6배, 교정을 받으면 2.6배 나아지고, 약한 모델이 쓴 메모가 강한 모델까지 돕는다는 것을 은행 업무 97개 과제로 보였습니다. 그리고 9월 개정된 AhaBench와 '에이전트의 첫 출근' 벤치마크는 그 반대편, 즉 손을 놓는 순간 36~53점이 무너지고 답만 보고는 절차를 복원하지 못하는 현실을 보여 줍니다. 인터랙티브 7개와 삽화 13장, 메타 원문 도표 3장으로 '배우는 에이전트'가 어디까지 왔는지 따라가 봅니다.