coredot.today
블로그로 돌아가기

#평가

4개의 포스트

채점이 순위를 바꾸는가 — 육하원칙 답 2,371개를 판사 여섯에게 다시 채점시키다
튜토리얼LLM-as-a-judge평가
2026.10.14

채점이 순위를 바꾸는가 — 육하원칙 답 2,371개를 판사 여섯에게 다시 채점시키다

지난 글은 뉴스 72건에서 육하원칙을 꺼내는 24가지 방법을 글자 F1로 줄 세웠습니다. 그런데 그 자는 '50대 남성'과 'A(59)씨'를, '이날'과 '13일'을 다른 답으로 셉니다. 이번에는 같은 답 2,371개를 자 세 개(글자 F1·포함 일치·날짜 정규화)와 판사 여섯(Gemini 3.8 Flash·Claude Sonnet 5.5·GPT-5.4 mini·로컬 Qwen3.5 9B·Jev·로컬 Clef-Flash)에게 다시 채점시키고, 층화 표본 234개를 원문과 대조해 검수했습니다. 결과는 세 줄입니다. 강한 판사들로 바꿔도 방법의 순위는 거의 그대로였습니다(켄달 순위 상관 0.96~0.99). 대신 점수의 크기가 바뀌었고, 특히 '무엇을'에서 작은 모델이 0.15를 되찾았습니다. 그리고 판사에게는 버릇이 있었습니다. 같은 가족의 답을 후하게 주고, 검수자보다 엄격하며, 로컬 판사는 순위를 흔들었습니다. 판사 둘 이상이 정답을 의심한 칸은 다시 보니 모두 정답 쪽이 지나치게 엄격했습니다. 순위 기울기·검수 일치도·칸별 법정·자기 선호·칸별 회복 위젯 5개와 삽화 5장.

코어닷투데이34분
[특집] 일만 잘하면 된다는 거짓말 — 전 아마존 VP가 털어놓은 '사내 정치의 어두운 면', 그리고 그 뒤의 50년 연구
특집특집사내 정치
2026.10.07

[특집] 일만 잘하면 된다는 거짓말 — 전 아마존 VP가 털어놓은 '사내 정치의 어두운 면', 그리고 그 뒤의 50년 연구

2026년 9월 말, 15년 동안 Amazon에서 VP까지 오른 이선 에반스가 3시간짜리 인터뷰에서 '성과만으로는 부족하다'고 말했습니다. 먼저 말하는 사람이 공을 가져가고, HR은 신뢰받는 관리자 편이며, 모두가 좋아하는 평범한 직원은 자르기 어렵다는 이야기였습니다. 불편하지만 낯설지는 않은 이 이야기는 사실 50년 동안 조직심리학이 숫자로 확인해 온 결론과 거의 정확히 겹칩니다. 마키아벨리에서 민츠버그의 13가지 정치 게임, 부부의 집안일 기여도 합이 103%가 되는 이유, '유능한 밉상'이 조용히 밀려나는 메커니즘, 우버와 마이크로소프트와 아마존이 겪은 평가 제도의 실패, 한국 직장인의 96%가 '있다'고 답한 사내 정치, 그리고 중간관리자가 사라지는 2026년에 이 기술이 더 중요해지는 이유까지. 왜 옳은 일을 열심히 하는 것만으로는 충분하지 않은지, 그리고 그 현실에 '지지하지 않으면서 대응하는' 법을 끝까지 따라갑니다.

코어닷투데이81분
가장 쓴 교훈 — 계산량보다 데이터, 데이터보다 '올바른 과제'
특집쓴 교훈Bitter Lesson
2026.09.22

가장 쓴 교훈 — 계산량보다 데이터, 데이터보다 '올바른 과제'

2026년 9월 10일, ChatGPT를 만든 사람 중 하나가 900단어짜리 글을 올렸다. 리치 서튼의 '쓴 교훈'(계산 > 알고리즘)은 빙산의 일각이며, 진짜 위계는 '올바른 과제 > 데이터 > 계산 > 알고리즘'이라는 주장이다. 그리고 그 증거로 자기가 만든 InstructGPT의 논문 그림 한 장을 내놓았다 — 100배 작은 모델이 100배 큰 모델 위에 통째로 올라앉은 그림. 이 글은 왜 이 개념이 나왔는지를 1997년 딥블루부터 2026년의 에이전트 시대까지 따라가며, 과제를 잘못 고른 여덟 건의 값비싼 실패와 잘 고른 다섯 건의 성공을 함께 본다. 인터랙티브 위젯 8종과 삽화 14장.

코어닷투데이56분
LLM 정확도 최적화 완전 가이드: 프롬프트부터 파인튜닝까지
기술LLM프롬프트 엔지니어링
2026.02.14

LLM 정확도 최적화 완전 가이드: 프롬프트부터 파인튜닝까지

LLM이 틀리는 이유는 두 가지뿐이다 — 맥락이 부족하거나, 행동이 불안정하거나. OpenAI의 최적화 프레임워크를 중심으로 프롬프트 엔지니어링, RAG, 파인튜닝의 역사와 원리를 깊이 파헤치고, 실전 사례와 함께 2026년 최적화 전략을 완전 정리한다.

코어닷투데이48분