평가의 근본적 난제와 철학

5.0 장 구성 로드맵

이 장은 철학적 질문에서 출발해 수학적 모델링과 실무적 진단으로 내려간 뒤, 다시 목적론으로 상승하는 구조를 가진다. 각 절은 "왜 이것이 문제인가(Why)"를 먼저 세우고, "그러면 어떻게 대응할 것인가(How)"로 마무리한다. 독자에 따라 진입 경로를 달리할 수 있다 — 이론적 깊이를 원하는 연구자는 5.1, 5.4.5, 5.6, 5.11의 수식 중심 절에서 시작하고, 즉시 적용할 진단법을 찾는 실무자는 5.7, 5.10, 5.17, 5.18의 코드와 체크리스트 중심 절로 바로 갈 수 있다. 그러나 이 장의 진짜 가치는 개별 진단법이 아니라 그것들을 관통하는 하나의 태도 — 자신의 측정이 무엇을 놓치는지 끊임없이 묻는 겸손함 — 에 있으므로, 가능하면 처음부터 끝까지 순서대로 읽기를 권한다.

5.1 평가의 역설: 측정이 대상을 바꾼다

모든 평가에는 숨겨진 가정이 있다. 평가가 대상을 관찰할 뿐 변형하지 않는다는 가정이다. 물리학에서 이 가정은 양자역학의 관측자 효과(observer effect)와 하이젠베르크의 불확정성 원리로 무너졌다. AI 평가에서도 동일한 일이 벌어진다. 우리가 어떤 벤치마크를 "중요한 평가"로 선언하는 순간, 모델 개발의 흐름 전체가 그 벤치마크를 향해 휘어진다. 평가는 거울이 아니라 자석이다.

이 역설은 단순한 수사가 아니다. 그것은 측정 가능한 인공물(measurable artifact)과 우리가 실제로 원하는 잠재 구성개념(latent construct) 사이의 메울 수 없는 간극에서 비롯된다. 우리가 원하는 것은 "추론 능력"이지만, 우리가 측정하는 것은 "MMLU 정답률"이다. 우리가 원하는 것은 "도움이 되는 대화"지만, 우리가 측정하는 것은 "Arena Elo 점수"다. 측정값이 구성개념의 충실한 대리(proxy)인 한 이 간극은 무해하다. 그러나 측정값이 목표가 되는 순간, 최적화 압력은 구성개념이 아니라 대리를 향한다.

이 장이 "불편한 진실"을 다룬다고 말하는 이유가 여기에 있다. 우리는 평가 점수가 오르면 모델이 나아졌다고 믿고 싶어 한다 — 그것이 우리의 노력이 결실을 맺었다는 증거이기 때문이다. 그러나 이 장의 다섯 절은 그 믿음에 다섯 개의 균열을 낸다. 점수가 올랐어도 (1) 애초에 정답이 없는 과제였거나(5.2), (2) 대리 지표만 게임당했거나(5.4), (3) 테스트셋을 미리 봤거나(5.6), (4) 운 좋은 프롬프트를 만났거나(5.9), (5) 영어에만 유효한 능력이었을(5.12) 수 있다. 이 균열들을 외면하는 것이 단기적으로는 편하다. 그러나 평가의 목적이 자기위안이 아니라 신뢰할 수 있는 의사결정이라면, 우리는 이 불편을 정면으로 마주해야 한다.

5.1.1 잠재 구성개념과 관측 대리의 분리

측정 이론(measurement theory)의 언어로 이 문제를 정식화해 보자. 우리가 알고 싶은 것은 모델의 진짜 능력 $\theta$(잠재 변수)다. 그러나 우리가 관측할 수 있는 것은 점수 $S$(관측 변수)뿐이다. 둘 사이에는 측정 모형이 존재한다.

이 한 줄의 분해식이 이 장 전체의 지도다. 5.2~5.3절은 $f(\theta)$ 자체가 잘 정의되지 않는 경우(Ground Truth 부재)를 다루고, 5.4~5.5절은 $b_{\text{proxy}}$(Goodhart, Clever Hans)를, 5.6~5.8절은 $b_{\text{contam}}$(오염)을, 5.9~5.10절은 $b_{\text{format}}$(프롬프트 민감도)을, 5.11~5.12절은 언어에 따른 $f$의 변동을 다룬다. 마지막으로 5.13절은 "애초에 우리가 추정하려는 $\theta$가 무엇이어야 하는가"라는 목적론적 질문으로 돌아간다.

5.1.2 측정의 타당도와 신뢰도

심리측정학(psychometrics)은 한 세기 전에 이미 이 문제를 다뤘다. 좋은 측정은 두 가지 속성을 가진다 — 타당도(validity)는 "우리가 측정하려는 것을 정말 측정하는가"이고, 신뢰도(reliability)는 "같은 대상을 반복 측정하면 같은 값이 나오는가"다. AI 벤치마크의 위기는 본질적으로 타당도의 위기다. 모델이 MMLU에서 90점을 받는다는 사실은 신뢰도(재현성)는 높지만, 그것이 "지식과 추론 능력"이라는 구성개념을 충실히 반영한다는 타당도는 점점 의심받고 있다.

5.1.3 신호 대 잡음: 평가의 정보량

측정 모형(5.1.1)을 정보 이론의 관점에서 보면, 좋은 평가란 능력에 대한 신호를 최대화하고 잡음(편향+오차)을 최소화하는 것이다. 이를 신호 대 잡음비(signal-to-noise ratio, SNR)로 정식화할 수 있다. SNR이 낮은 평가는 점수가 능력보다 잡음을 더 많이 반영하므로, 그 점수로 모델을 구별하는 것은 동전 던지기에 가까워진다.

이 식이 주는 통찰은 실무적이다. 모델들이 모두 비슷한 수준에 도달해 능력 분산 $\text{Var}(f(\theta))$이 작아지면(벤치마크 포화), SNR이 급락하고 순위가 잡음에 지배된다. 이것이 포화된 벤치마크(예: 상위권이 몰린 MMLU)의 순위 변동을 신뢰하면 안 되는 정보 이론적 근거다. 새 벤치마크가 필요한 시점은 "1위가 90%를 넘었을 때"가 아니라 "SNR이 의미 있는 구별을 못 할 때"다.

5.2 Ground Truth의 부재: 정답 없는 채점

전통적 NLP 평가의 암묵적 전제는 "정답이 존재한다"는 것이었다. 기계 번역에는 인간 번역가의 참조 번역이, QA에는 정답 스팬(span)이, 분류에는 골드 레이블이 있었다. Papineni et al.(2002)의 BLEU가 작동하는 이유도, 채점 대상을 신뢰할 수 있는 참조와 비교할 수 있기 때문이었다. 그러나 생성형 LLM 시대의 핵심 과제들은 이 전제를 정면으로 부정한다.

5.2.1 Ground Truth가 부재하는 네 가지 전형

창의적 글쓰기에서 "더 나은 시"란 존재하지 않는다. 동일한 주제로 쓴 두 편의 시 중 어느 것이 우월한지는 미학적 판단의 문제이며, 그 판단은 독자·시대·문화에 따라 달라진다. 개방형 QA에서 "왜 하늘은 파란가?"에 대한 최선의 답은 단 하나가 아니다. 6세 아동에게는 레일리 산란(Rayleigh scattering)이라는 단어가 없는 설명이, 물리학과 학부생에게는 파장의 4제곱에 반비례하는 산란 단면적의 정량적 설명이 최선이다. 요약에서는 같은 기사라도 독자의 목적(빠른 개요 vs 의사결정용 핵심)에 따라 "적절한 요약"이 달라진다. 대화에서 "자연스러움"의 기준은 격식·친밀도·문화적 맥락의 함수다.

이 표가 드러내는 패턴은 분명하다. 과제가 "현실의 검증 가능한 제약"(수학·테스트·사실)에 닿아 있을수록 Ground Truth는 견고하고, "인간의 주관적 가치"에 닿아 있을수록 무너진다. 그리고 LLM 응용의 무게중심은 후자로 빠르게 이동하고 있다. 바로 이 이동이 Chiang et al.(2024)의 Chatbot Arena 같은 인간 선호 기반 평가가 부상한 근본 원인이다 — 정답이 없는 곳에서는 "어느 쪽이 더 나은가"라는 상대 비교가 절대 채점을 대체한다.

그러나 여기서 미묘하지만 중요한 구분이 필요하다. "Ground Truth가 없다"는 것과 "어떤 답이든 똑같이 좋다"는 것은 전혀 다르다. 창의적 글쓰기에 유일한 정답은 없지만, 문법이 엉망이고 주제와 무관한 글이 잘 쓰인 글보다 나쁘다는 데는 광범위한 합의가 있다. 즉 정답의 부재는 "정답 공간이 비어 있음"이 아니라 "정답 공간이 단일 점이 아니라 넓은 영역임"을 뜻한다. 평가의 과제는 그 영역의 경계를 그리는 것 — 명백히 나쁜 답을 배제하고, 명백히 좋은 답들 사이의 미세한 우열은 합의 근사로 다루는 것이다. 이 관점에서 보면 5.2.4의 평가자 간 신뢰도는 "정답 영역의 폭"을 측정하는 도구가 된다 — 합의가 강하면 영역이 좁고, 약하면 영역이 넓다.

5.2.2 "검증 가능성"의 스펙트럼

Ground Truth의 부재는 이분법이 아니라 스펙트럼이다. 우리는 이를 "검증 비용"과 "정답 다양성"의 2차원 평면에 배치할 수 있다. 검증 비용이 낮고(자동 검증 가능) 정답 다양성이 낮은(유일 정답) 좌하단 영역이 전통적 평가가 잘 작동하던 곳이다. LLM은 우상단 — 검증 비용이 높고 정답이 무수히 많은 — 영역으로 평가 대상을 밀어 넣었다.

이 산점도에서 좌하단에 가까운 과제일수록 기존 메트릭(BLEU, exact match)이 잘 작동하고, 우상단에 가까울수록 인간 선호나 LLM-as-Judge 같은 비싸고 노이즈가 큰 방법에 의존해야 한다. 이 책의 6차원 프레임워크가 단일 점수를 거부하고 차원별 분해를 택한 이유도 여기에 있다 — 검증 가능성이 차원마다 다르기 때문이다.

5.2.3 합성 Ground Truth의 유혹과 위험

정답이 없으면 만들면 되지 않을까? 강력한 모델(예: GPT-4)로 "정답"을 생성해 약한 모델을 채점하는 합성 Ground Truth(synthetic ground truth)는 매력적이지만 순환 논리의 함정에 빠진다. 채점자 모델의 편향과 능력 한계가 그대로 "정답"에 각인되며, 평가는 "GPT-4를 얼마나 잘 모방하는가"로 변질된다. Dubois et al.(2024)의 AlpacaFarm은 이런 시뮬레이션 평가의 유용성과 한계를 동시에 보여준다 — 빠르고 저렴하지만 인간 선호의 모든 뉘앙스를 담지는 못한다.

5.2.4 합의를 정답의 대용으로: 평가자 간 신뢰도

"합의 근사"를 진지하게 받아들이면, 우리는 그 합의가 얼마나 견고한지를 측정해야 한다. 여러 평가자(인간 또는 LLM)가 동일 항목에 비슷한 판단을 내리면, 그 항목에는 신뢰할 만한 "사실상의 정답"이 존재한다고 볼 수 있다. 반대로 평가자들이 크게 엇갈리면, 그 항목은 본질적으로 주관적이어서 어떤 단일 점수도 정당화하기 어렵다. 평가자 간 신뢰도(inter-rater reliability)는 이 견고함을 정량화한다. 우연 일치를 보정한 Cohen's κ가 대표적이다.

이 접근의 깊은 함의는, 평가자 불일치가 "노이즈"가 아니라 "신호"라는 것이다. 평가자들이 일관되게 엇갈리는 항목은 측정 오차가 아니라 본질적으로 정답이 없는 항목이며, 그런 항목에서 강제로 단일 점수를 뽑는 것은 자기기만이다. 좋은 평가는 합의가 강한 항목과 약한 항목을 구분하여 보고한다.

5.3 참조 의존 평가의 근본적 딜레마

Ground Truth가 부분적으로라도 존재할 때, 우리는 흔히 "참조(reference)"에 의존한다. 그러나 참조 의존 평가는 그 자체로 풀 수 없는 딜레마를 안고 있다. 참조가 있으면 표현의 자유를 제한하고, 참조가 없으면 비교 기준이 사라진다. 이 절은 그 딜레마의 해부다.

5.3.1 참조가 표현을 가두는 방식

BLEU와 ROUGE는 후보 출력이 참조와 표면적으로 얼마나 겹치는가를 측정한다. Papineni et al.(2002)의 변형 n-gram 정밀도는 다음과 같다.

여기서 딜레마가 발생한다. 후보 출력이 참조와 의미는 같지만 표현이 다를 때, BLEU는 이를 오답으로 처벌한다. "The cat is on the mat"의 참조에 대해 "A feline rests upon the rug"는 의미적으로 완벽하지만 BLEU 점수는 0에 가깝다. 즉 참조 기반 평가는 "참조와 닮을 것"을 강요하며, 이는 본질적으로 표현의 다양성에 대한 세금이다. 생성형 모델이 창의적이고 다양한 표현을 만들수록 참조 기반 점수는 떨어진다 — 우리가 원하는 능력을 처벌하는 역설이다.

5.3.2 BERTScore는 딜레마를 해결했는가

Zhang et al.(2020)의 BERTScore는 이 표면 일치 문제를 의미 임베딩으로 우회한다. 각 후보 토큰을 BERT 임베딩으로 바꾼 뒤, 참조 토큰과의 코사인 유사도를 탐욕적으로 매칭한다.

BERTScore는 인간 판단과의 상관을 BLEU 대비 크게 개선했다(Zhang et al., 2020에 따르면 과제에 따라 30~50% 향상). 그러나 딜레마를 해결하지는 못했다. 첫째, 여전히 참조에 의존한다 — 참조가 단 하나뿐이거나 그 자체가 편향되어 있으면, BERTScore는 그 편향을 충실히 복제한다. 둘째, "참조와 다른 좋은 답"이 임베딩 공간에서 참조와 가깝다는 보장이 없다. 새로운 사실을 추가하거나 다른 관점을 제시하는 답변은 참조와 의미적으로도 멀어지므로 처벌받는다. 셋째, 임베딩 모델(BERT) 자체의 편향을 상속한다.

두 번째 한계는 특히 깊다. 임베딩 공간에서의 "가까움"은 의미적 유사성을 근사하지만, "의미적으로 다르되 똑같이 정당함"이라는 관계는 포착하지 못한다. 예를 들어 "이 정책은 단기적으로 효과적이다"와 "이 정책은 장기적으로 위험하다"는 같은 질문에 대한 두 정당한 관점이지만, 임베딩 공간에서는 서로 멀고 따라서 참조가 한쪽이면 다른 쪽은 처벌받는다. 즉 BERTScore는 "표현의 다양성"은 인정하지만 "관점의 다양성"은 여전히 처벌한다. 이는 의미 임베딩이라는 도구의 근본 한계이며, 이를 넘어서려면 결국 참조를 버리고 절대적 품질 기준(루브릭)을 직접 평가하는 LLM-as-Judge로 가야 한다 — 그리고 그곳에는 판사 편향이 기다린다(5.3.3). 어느 방향으로 가든 딜레마는 형태를 바꿀 뿐 사라지지 않는다.

이 표가 보여주는 진화의 방향은 "참조 의존도 감소"다. 표면 매칭에서 의미 매칭으로, 다시 참조 없는 판정으로. 그러나 참조를 버리면 새로운 비용이 생긴다 — 판사 모델 자체의 편향(5.4절의 Goodhart, 5.5절의 Clever Hans, Zheng et al. 2023의 위치·장황함·자기선호 편향)이 평가에 침투한다. 딜레마는 사라지지 않고 형태를 바꾼다.

5.3.3 참조-free 평가로의 전환과 그 대가

Liu et al.(2023)의 G-Eval은 참조 없이 LLM이 평가 기준을 단계적으로 분해(Chain-of-Thought)하여 점수를 부여하고, 각 단계의 토큰 확률을 융합한다.

이 방식은 참조의 굴레에서 벗어나지만, 평가의 신뢰성을 전적으로 판사 모델에 위탁한다. Zheng et al.(2023)은 GPT-4 판사가 인간과 약 0.85의 일치를 보이지만 동시에 체계적 편향을 가짐을 보고했다. 결국 참조-free 평가는 "표현의 자유"라는 딜레마의 한 뿔을 피하는 대신, "판사 편향"이라는 다른 뿔을 향해 걸어간다. 이것이 다음 절, Goodhart's Law의 영역이다.

5.3.4 상대 평가라는 탈출구 — Bradley–Terry와 Elo

참조 딜레마의 또 다른 우회로는 절대 점수를 아예 포기하고 상대 순서만 추정하는 것이다. "이 답변은 0.83점이다"라고 말하는 대신 "답변 A가 답변 B보다 낫다"라고만 말하면, 우리는 정답도 참조도 필요 없이 순위를 매길 수 있다. Chiang et al.(2024)의 Chatbot Arena가 채택한 방식이다. 그 수학적 토대가 Bradley–Terry 모델과 그 온라인 갱신판인 Elo다.

상대 평가는 참조 딜레마를 우아하게 비껴가지만 공짜는 아니다. 첫째, 쌍대 비교는 $O(n^2)$의 비교를 요구하므로 모델 수가 많으면 비싸다(Elo의 온라인 갱신이 이를 완화한다). 둘째, Zheng et al.(2023)이 지적한 위치 편향(첫 번째 응답 선호), 장황함 편향, 자기선호 편향이 비교 판정에 그대로 침투한다. 셋째, 순서는 알려주되 "얼마나 나은가"의 절대적 크기는 알려주지 않는다 — 배포 결정("이 정도면 충분히 안전한가?")에는 부적합하다. 다시 한 번, 목적이 방법을 결정한다(5.13).

5.4 Goodhart's Law와 평가 오염

1975년, 영국 경제학자 Charles Goodhart는 통화정책을 논하며 한 문장을 남겼다. 후에 인류학자 Marilyn Strathern(1997)이 다듬은 형태로 가장 널리 인용된다: "측정 지표가 목표가 되면, 그것은 더 이상 좋은 지표가 아니게 된다(When a measure becomes a target, it ceases to be a good measure)." 이 법칙은 AI 평가의 가장 깊은 병리를 정확히 짚는다.

5.4.1 테일러리즘에서 AI까지: 지표 중심 평가의 역사

지표가 목표가 될 때 발생하는 왜곡은 AI만의 문제가 아니다. 20세기 초 Frederick Taylor의 과학적 관리법(Taylorism)은 노동을 측정 가능한 단위로 분해해 생산성을 끌어올렸지만, 측정되지 않는 가치(품질·창의·협업)를 체계적으로 희생시켰다. 소련의 계획경제에서 못 공장은 "생산된 못의 개수"로 평가되자 쓸모없이 작은 못을 양산했고, "무게"로 평가를 바꾸자 거대한 단일 못 하나를 만들었다. 교육에서 시험 점수가 목표가 되자 "시험을 위한 교육(teaching to the test)"이 만연했다. 이 모든 사례에서 패턴은 동일하다 — 대리 지표가 진짜 목표를 대체하고, 최적화는 대리를 향한다.

교육학자 Donald Campbell은 1979년 Goodhart와 독립적으로 거의 동일한 법칙을 정식화했다(Campbell's Law): "사회적 의사결정에 양적 지표가 많이 사용될수록, 그 지표는 부패 압력에 더 취약해지고, 감시하려던 사회적 과정을 더 왜곡한다." Goodhart가 경제 정책에서, Campbell이 교육 평가에서 같은 결론에 도달했다는 사실은 이것이 특정 분야의 우연이 아니라 측정이라는 행위 자체에 내재한 보편 법칙임을 시사한다. AI 평가는 이 보편 법칙의 가장 최근, 그리고 가장 극단적인 사례일 뿐이다 — 최적화의 주체가 인간이 아니라 마찰 없는 경사하강법이기 때문이다.

5.4.2 사례 분석 ① — MMLU 최적화와 inverse scaling

MMLU(Massive Multitask Language Understanding)는 57개 과목의 객관식 문제로 구성된다. 모델이 MMLU를 "목표"로 삼아 객관식 형식, 보기 배치, 흔한 함정 패턴에 적응하면 MMLU 점수는 오른다. 그러나 동일한 지식을 서술형이나 응용 문제로 물으면 성능이 따라오지 않는 경우가 보고된다. 이것이 Goodhart의 전형이다 — "57과목 지식"이라는 구성개념($\theta$) 대신 "MMLU 형식 정답률"이라는 대리($S$)가 최적화된다. 더 우려스러운 것은 inverse scaling 현상으로, 일부 능력은 모델이 커질수록(그리고 벤치마크에 더 노출될수록) 나빠지기도 한다. McKenzie et al.(2023)의 Inverse Scaling Prize는 이런 과제들을 체계적으로 수집했다.

객관식 형식 자체가 단서를 흘린다는 점도 주목할 만하다. 객관식은 정답이 보기 중에 반드시 존재함을 보장하므로, 모델은 "정답을 생성"하는 대신 "오답을 배제"하는 더 쉬운 과제로 문제를 환원할 수 있다. 같은 지식을 보기 없이 서술형으로 물으면 이 단서가 사라진다. 따라서 MMLU 90%가 곧 "그 지식을 능동적으로 활용할 수 있음"을 뜻하지는 않는다 — 그것은 "보기가 주어졌을 때 정답을 알아볼 수 있음"을 뜻할 뿐이며, 둘은 5.5절의 Clever Hans 구분에서 서로 다른 능력이다. 실제 응용(에이전트가 도구를 골라 행동하는 상황)은 객관식이 아니라 서술형에 훨씬 가깝다는 점에서, 객관식 벤치마크의 예측 타당도(5.1.2)는 구조적으로 제한된다.

5.4.3 사례 분석 ② — AlpacaEval 길이 해킹

AlpacaEval은 LLM 판사가 모델 응답을 기준 응답과 비교해 승률을 매긴다. 문제는 판사(GPT-4)가 더 길고 상세한 응답을 체계적으로 선호한다는 것이다. 따라서 모델이 "응답을 길게 쓰는 법"만 학습해도 승률이 오른다 — 내용 품질과 무관하게. 이 길이 편향이 너무 강해서 개발진은 길이를 통제한 보정 버전(length-controlled AlpacaEval)을 도입했다. 아래 코드는 길이 편향을 진단하는 간단한 방법을 보여준다.

길이 해킹이 특히 교활한 이유는, 그것이 "완전한 거짓"이 아니라 "부분적 진실"이기 때문이다. 더 긴 응답이 때로는 정말로 더 유용하다 — 충분한 맥락과 예시를 담을 수 있으므로. 판사의 길이 선호는 이 부분적 진실에서 출발한다. 그러나 최적화 압력이 가해지면, 모델은 "유용해서 길어지는 것"과 "길어서 유용해 보이는 것"의 구분을 지운다. 이것이 Goodhart의 회귀형(5.4.4)의 전형이다 — 자연 분포에서는 길이와 품질이 양의 상관을 갖지만, 길이를 직접 최적화하면 그 상관이 끊어지고 장황한 저품질만 남는다. length-controlled 보정은 길이의 효과를 통계적으로 제거하여, 길이를 통제했을 때도 남는 "진짜 선호"만을 추출하려는 시도다.

5.4.4 사례 분석 ③ — Goodhart의 네 유형

Manheim & Garrabrant(2018)는 Goodhart's Law를 네 가지 메커니즘으로 정교화했다. 이 분류는 AI 평가의 실패 모드를 진단하는 강력한 도구다.

5.4.5 대리-목표 괴리의 수학

Goodhart 현상을 정량적으로 이해하려면, 대리 지표 $S$와 진짜 목표 $\theta$의 관계를 통계적으로 모델링해야 한다. 최적화 압력이 없을 때(자연 분포에서) 둘은 강한 상관 $\rho$를 가진다. 그러나 우리가 $S$를 극대화하도록 최적화하면, 분포의 꼬리로 밀려나면서 그 상관이 약화된다 — 이것이 Manheim & Garrabrant(2018)의 회귀형·극단형 Goodhart의 통계적 본질이다.

이 식의 실무적 함의는 명확하다. 두 모델의 벤치마크 점수 차이가 $\Delta S$일 때, 진짜 능력 차이의 기댓값은 $\rho \cdot \Delta S$에 불과하다. 최상위권 모델들끼리는 $\rho$가 특히 낮아지므로(이미 분포 꼬리에 있으므로), 리더보드 1위와 2위의 점수 차이는 능력 차이로 거의 환산되지 않는다. 이것이 5.10절의 신뢰구간 보고가 필수인 이유다.

5.4.6 Goodhart에 대한 방어: 다중 지표와 비밀 검증

Goodhart를 완전히 막을 수는 없지만 완화할 수는 있다. 첫째, 다중·다양 지표 — 단일 지표를 최적화하면 게임하기 쉽지만, 서로 다른 실패 모드를 잡는 여러 지표를 동시에 만족시키기는 훨씬 어렵다(이 책의 6차원 분해가 이 전략이다). 둘째, 비밀 검증(held-out validation) — 최적화에 쓰이지 않는 비공개 지표를 함께 추적하여, 공개 지표만 오르고 비밀 지표는 정체하면 Goodhart를 의심한다. 셋째, 지표 로테이션 — 평가 지표를 주기적으로 바꾸면 특정 지표에 대한 과적합이 누적되지 못한다.

5.5 Clever Hans 효과: 모델은 무엇을 아는가

20세기 초 독일에 "영리한 한스(Clever Hans)"라는 말이 있었다. 한스는 산수 문제를 발굽을 두드려 풀었고, 사람들은 말이 계산을 한다고 믿었다. 1907년 심리학자 Oskar Pfungst는 진실을 밝혔다 — 한스는 산수를 모른다. 한스는 질문자가 정답에 가까워질 때 무의식적으로 짓는 미세한 자세·표정 변화를 읽고 발굽을 멈췄을 뿐이다. 질문자가 정답을 모르면 한스도 틀렸다.

Pfungst의 발견이 천재적이었던 것은 그가 "한스가 틀리게 만드는 실험"을 설계했기 때문이다. 그는 질문자가 정답을 모르는 조건, 한스가 질문자를 볼 수 없는 조건을 만들었고, 그 조건에서 한스의 정답률이 무너지는 것을 보였다. 이것이 모든 Clever Hans 진단의 원형이다 — 능력을 입증하려면 그 능력이 없을 때 실패하도록 설계된 반례(counterexample)를 던져야 한다. 모델이 잘 푸는 문제만 계속 던지면 우리는 영원히 한스의 발굽 소리에 속는다. 진짜 능력의 검증은 "성공의 확인"이 아니라 "단서를 제거했을 때도 성공하는가"의 확인이다.

5.5.1 LLM의 Clever Hans: 단서 학습(shortcut learning)

Geirhos et al.(2020)이 "shortcut learning"이라 명명한 이 현상은 딥러닝 전반의 고질병이다. 자연어 추론(NLI) 데이터셋에서 "not"이 들어가면 모순(contradiction)으로 분류하는 표면 단서, 객관식에서 "가장 긴 보기"가 정답인 경향, QA에서 질문과 어휘가 가장 많이 겹치는 문장을 답으로 고르는 휴리스틱 — 모두 모델이 진짜 이해 대신 단서를 학습한 증거다. McCoy et al.(2019)의 HANS 데이터셋은 NLI 모델이 이런 표면 휴리스틱에 의존함을 체계적으로 폭로했다.

5.5.2 단서 학습을 폭로하는 진단 코드

Clever Hans 효과를 탐지하는 가장 단순하면서 강력한 방법은 표면을 바꾸되 의미를 보존하는 변형을 가하는 것이다. 진짜 능력은 변형에 강건하고, 단서 학습은 변형에 무너진다.

5.5.3 강건성 격차로 단서 의존을 정량화하기

단서 학습의 정도는 "의미 보존 변형 전후의 성능 격차"로 정량화할 수 있다. 진짜 능력은 변형에 불변(invariant)이므로 격차가 0에 가깝고, 단서 의존은 변형에 취약하므로 격차가 크다. 이를 강건성 격차(robustness gap)로 정의한다.

5.6 평가 오염의 수학적 모델

데이터 오염(data contamination)은 테스트셋이 학습 과정에 의도치 않게 포함되는 현상이다. 이는 단순한 실수가 아니라 웹 스케일 학습의 구조적 필연이다. 공개 벤치마크는 인터넷에 올라가고, 인터넷은 학습 코퍼스로 크롤링된다. 이 절은 왜 오염이 불가피한지를 확률 모델로 보인다.

오염이 평가에 치명적인 이유는 그것이 5.1.1의 분해식에서 $b_{\text{contam}}$ 항을 일방향으로 부풀리기 때문이다. 무작위 오차 $\varepsilon$은 평균이 0이므로 충분한 표본으로 상쇄되지만, 오염 편향은 항상 점수를 올리는 방향으로만 작용하므로 표본을 늘려도 사라지지 않는다. 더 나쁜 것은, 오염이 모델마다 다른 정도로 발생하므로(어떤 모델은 그 벤치마크를 더 많이 봤다) 모델 간 비교 자체를 왜곡한다는 점이다(5.6.4). 따라서 오염은 "모두에게 공평하게 점수를 올려주는 무해한 인플레이션"이 아니라, 순위를 신뢰할 수 없게 만드는 체계적 교란이다.

5.6.1 오염 확률의 기본 모델

이 식의 함의는 직관에 반한다. 테스트 항목이 유출될 확률 $p$가 100만 분의 1($10^{-6}$)로 극히 작다고 하자. 학습 코퍼스가 1만 건($n=10^4$)이면 오염 확률은 약 1%로 무시할 만하다. 그러나 현대 LLM의 코퍼스는 수조 토큰, 문서 수로는 수십억~수백억 건이다. $n=10^9$이면 $P = 1 - (1-10^{-6})^{10^9} \approx 1$, 즉 거의 확실히 오염된다.

이 모델은 단순화를 위해 유출 사건들이 독립이라고 가정하지만, 현실에서는 유출이 군집(cluster)을 이룬다 — 인기 있는 벤치마크는 수백 개 블로그·깃허브·논문에 반복 인용되므로 한 항목의 유출 확률 $p$가 훨씬 높아진다. 따라서 실제 오염 확률은 위 모델의 추정치보다 더 크면 컸지 작지 않다. 이것이 "오염 제거"라는 목표가 본질적으로 비현실적인 이유다. 우리가 통제할 수 있는 유일한 변수는 $p$를 인위적으로 0으로 만드는 것 — 즉 평가 항목을 학습 시점에 존재하지 않게 하는 것(5.8의 시간 기반 설계)뿐이다. 일단 항목이 공개되어 인터넷에 존재하는 순간, 충분히 큰 다음 세대 모델에서 그 항목의 오염은 시간 문제가 된다.

5.6.2 부분 오염과 기억(memorization)의 정도

오염은 0/1의 이진 사건이 아니다. 모델이 테스트 항목을 한 번 본 것과 천 번 본 것은 기억의 강도가 다르다. Carlini et al.(2022)은 기억(memorization)이 (1) 모델 크기, (2) 중복 노출 횟수, (3) 문맥 길이에 로그-선형으로 증가함을 보였다. 따라서 오염의 영향은 노출 빈도의 함수로 보는 것이 정확하다.

5.6.3 오염의 점수 부풀림 추정

오염이 점수를 얼마나 부풀리는가? 가장 깨끗한 추정법은 "출시 시점 분할(temporal split)"이다 — 모델의 학습 데이터 컷오프 이전 항목과 이후 항목으로 벤치마크를 나눠 성능 차이를 본다. 이후 항목은 정의상 오염될 수 없으므로, 이전 항목과의 격차가 오염 효과의 상한 추정치가 된다.

5.6.4 오염이 순위에 미치는 영향의 모델링

오염은 절대 점수만 부풀리는 것이 아니라 모델 간 순위를 왜곡한다. 더 큰 모델(기억력이 강한)이 우연히 더 오염되면, 오염 효과가 능력 효과와 교란(confound)되어 "큰 모델이 무조건 낫다"는 잘못된 결론을 낳는다. 관측 점수를 능력 항과 오염 항으로 분해하면 이 교란이 드러난다.

5.7 데이터 유출의 세 경로와 탐지

오염이 발생하는 경로는 셋이다. 각 경로는 다른 탐지 전략을 요구한다. 중요한 것은, 세 경로가 탐지 난이도에서 큰 차이를 보인다는 점이다 — 직접 유출은 비교적 쉽게 잡히지만, 미묘한 유출은 거의 추적 불가능하다. 그리고 모델 개발자가 의도적으로 오염을 숨기려 한다면(예: 벤치마크를 의역하여 학습), 가장 잡기 어려운 미묘한 유출 영역으로 회피하게 된다. 이것이 5.8절에서 "탐지는 무기 경쟁"이라고 부르는 이유다.

5.7.1 세 가지 유출 경로

5.7.2 탐지법 ① — n-gram 중복

가장 기초적인 직접 유출 탐지는 테스트 항목과 학습 코퍼스 간 n-gram 중복을 계산하는 것이다. GPT-3 논문(Brown et al., 2020)도 13-gram 중복으로 오염을 점검했다.

5.7.3 탐지법 ② — 멤버십 추론과 순서 민감도

미묘한 유출은 표면 일치로 잡히지 않는다. Membership Inference는 "모델이 이 텍스트를 본 적 있는가"를 모델의 행동으로 추론한다. Shi et al.(2024)의 Min-K% Prob은 토큰 확률의 하위 K%가 비정상적으로 높으면(즉 모델이 "낯설어하지 않으면") 학습에서 봤다고 판단한다. 또한 Oren et al.(2023)은 벤치마크 항목의 제시 순서에 모델이 민감하면 — 원래 데이터셋 순서대로 풀 때 더 잘하면 — 오염을 의심할 수 있음을 보였다.

5.7.4 탐지법 ③ — 분포 이상(Zipf) 분석

건강한 자연어는 Zipf 법칙(단어 빈도 ∝ 순위의 역수)을 따른다. 오염된 테스트셋을 학습한 모델은 특정 항목에 비정상적으로 자신 있는 분포를 보여, 빈도-순위 곡선에서 이상 꺾임(kink)을 만들 수 있다. 이는 보조적 신호이지만, 다른 탐지법과 결합하면 신뢰도를 높인다.

5.7.5 탐지 신호의 결합 — 단일 탐지기는 우회된다

5.7.2~5.7.4의 탐지법은 각각 우회 가능하다. n-gram은 의역으로, 멤버십 추론은 노출 분산으로, 순서 민감도는 셔플 학습으로 회피된다. 그러나 여러 신호를 결합하면 모든 우회를 동시에 만족시키기 어려워진다. 로지스틱 결합으로 종합 오염 확률을 추정한다.

5.8 오염에 강한 벤치마크 설계

탐지는 사후적이다. 더 근본적인 해법은 애초에 오염되기 어려운 벤치마크를 설계하는 것이다. 핵심 아이디어는 "정적 데이터셋"을 "지속 갱신 프로세스"로 바꾸는 것이다.

5.8.1 지속 갱신 벤치마크

Jain et al.(2024)의 LiveCodeBench은 코딩 대회(LeetCode, Codeforces 등)가 끝난 직후 새 문제를 즉시 수집한다. 평가 시점에 모델의 학습 컷오프 이후 출제된 문제만 사용하면, 정의상 오염이 불가능하다. 같은 철학을 Chatbot Arena(Chiang et al., 2024)도 공유한다 — 사용자가 실시간으로 던지는 새 프롬프트는 미리 학습될 수 없다.

이 접근의 우아함은 "시간의 비대칭성"을 활용한다는 데 있다. 학습은 과거의 데이터로만 이루어질 수 있다. 따라서 평가를 미래로 옮기면 — 즉 학습 컷오프 이후 생성된 데이터로만 평가하면 — 오염은 인과적으로 불가능해진다. 이것은 5.7절의 탐지법들과 근본적으로 다른 차원의 방어다. 탐지는 "이미 발생했을지 모르는 오염을 사후에 찾는" 수세적 활동이지만, 시간 기반 설계는 "오염이 애초에 발생할 수 없게 하는" 구조적 예방이다. 다만 대가가 있다 — 매 평가마다 새 문제를 확보해야 하므로 운영 비용이 지속적으로 발생하고, 시점이 다른 두 평가의 직접 비교가 어려워진다(난이도가 시점마다 다르므로 보정이 필요하다).

5.8.2 동적 생성과 사적 홀드아웃

또 다른 전략은 평가 시점에 문제를 생성하는 것이다. 템플릿과 파라미터로 수학·논리 문제를 즉석에서 합성하면 동일 문제가 사전 학습될 수 없다(5.7.4의 GSM-변형도 이 아이디어의 단순한 형태다). 비공개 홀드아웃(private holdout)은 테스트셋을 공개하지 않고 제출 모델만 채점하는 방식으로, Kaggle의 비공개 리더보드가 대표적이다. 다만 재현성과 투명성을 일부 희생한다.

5.9 프롬프트 민감도: 4단어의 기적과 위기

오염이 "본 적 있는 문제"의 문제라면, 프롬프트 민감도는 "묻는 방식"의 문제다. 동일한 능력의 모델이라도 질문을 어떻게 표현하느냐에 따라 점수가 크게 달라진다. 이는 우리가 측정하는 것이 "모델의 능력"인지 "평가자의 프롬프트 엔지니어링 능력"인지를 모호하게 만든다.

5.9.1 "Think step by step"의 기적

Kojima et al.(2022)은 단지 "Let's think step by step"이라는 문구를 추가하는 것만으로 GSM8K 같은 추론 과제에서 제로샷 성능이 극적으로 향상됨을 보였다(과제에 따라 십수 %p에서 수십 %p). 네 단어가 모델의 잠재 능력을 바꿨을 리 없다. 바뀐 것은 그 능력을 끌어내는 방식이다. 이 발견은 양날의 검이다 — 한편으로는 강력한 프롬프트 기법(Chain-of-Thought)의 발견이지만, 다른 한편으로는 평가의 위기다. "GSM8K 70%"라는 숫자가 프롬프트에 따라 40%도 70%도 될 수 있다면, 그 숫자는 무엇을 의미하는가?

이 위기를 5.1.1의 측정 모형으로 다시 보면 그 본질이 선명해진다. "step by step"의 추가는 잠재 능력 $\theta$를 바꾸지 않는다 — 그것은 능력을 점수로 변환하는 함수 $f$를 바꾼다. 즉 우리가 측정하려던 것은 $\theta$였는데, 실제로 측정한 것은 "이 모델과 이 프롬프트의 궁합 $f$"였던 것이다. 프롬프트 엔지니어링이 발전할수록 같은 모델의 점수가 계속 오르는 이유가 여기에 있다 — 능력이 발견되는 것이 아니라, 능력을 점수로 더 잘 변환하는 $f$가 발견되는 것이다. 이것은 발전인 동시에, 우리가 측정하려던 대상($\theta$)과 측정값($S$) 사이의 거리가 프롬프트 기법에 의해 임의로 조절될 수 있다는 불편한 진실이다.

5.9.2 허위 특징(spurious features)에 대한 민감도

Sclar et al.(2024, "Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design")은 프롬프트의 의미와 무관한 형식적 요소 — 구분자(":" vs " -"), 공백, 보기 표기(A/B/C vs 1/2/3), 항목 순서 — 만 바꿔도 성능이 수십 %p 출렁임을 체계적으로 보였다. 이는 충격적이다. 같은 질문을 같은 의미로 묻되 포맷만 바꿨는데 모델 순위가 뒤집힌다면, 리더보드의 순위는 능력의 순위가 아니라 "우연히 좋은 포맷을 만난" 순위일 수 있다.

5.9.3 성능 범위(spread)를 민감도 지표로

프롬프트 민감도를 한 숫자로 요약하려면, 의미가 동일한 프롬프트 집합에서 관측된 성능의 범위를 보면 된다. Sclar et al.(2024)은 이 "성능 스프레드"를 모델 비교의 핵심 지표로 제안했다 — 스프레드가 크면 그 모델의 단일 점수는 신뢰할 수 없다.

5.10 프롬프트 강건 평가: 분포로서의 점수

프롬프트 민감도에 대한 해법은 단순하지만 강력하다 — 하나의 프롬프트로 한 번 재지 말고, 여러 프롬프트로 여러 번 재서 분포를 보고하라. 점 추정치가 아니라 평균과 분산을 함께 보고하면, "능력"과 "운"을 분리할 수 있다.

5.10.1 다중 프롬프트 평가의 정식화

여기서 $\sigma_S$는 단순한 오차 막대가 아니라 그 자체로 의미 있는 메트릭이다. $\sigma_S$가 큰 모델은 "프롬프트를 잘 만나야 잘하는" 모델이고, $\sigma_S$가 작은 모델은 "어떻게 물어도 일관되게 잘하는" 모델이다. 후자가 더 진짜 능력에 가깝다.

5.10.2 프롬프트 내성성(prompt invariance)을 능력의 지표로

이 관점을 한 걸음 더 밀면, 프롬프트 내성성 자체를 평가 차원으로 격상할 수 있다. "진짜로 이해한" 모델은 표현의 우연한 변화에 흔들리지 않아야 한다. 이는 5.5절의 Clever Hans 진단과 정확히 같은 철학이다 — 의미를 보존한 변형에 강건한가? 강건성(robustness)은 이 책의 6차원 프레임워크에서 독립 차원으로 다뤄지며(Part III), 그 뿌리가 바로 여기에 있다.

5.10.3 강건 평가의 실무 비용과 절충

강건 평가는 공짜가 아니다. $K$개의 프롬프트로 평가하면 계산 비용이 $K$배가 된다. 따라서 실무에서는 "얼마나 많은 프롬프트가 충분한가"라는 절충 문제에 직면한다. 표준오차는 $1/\sqrt{K}$로 줄어들므로, 수확 체감(diminishing returns)이 빠르게 온다 — 프롬프트를 4개에서 16개로 늘리면 오차가 절반으로 줄지만, 16개에서 64개로 늘려도 다시 절반밖에 줄지 않는다. 대부분의 경우 $K=10\sim20$이 비용 대비 신뢰도의 합리적 균형점이다.

또 하나의 절충은 "어떤 프롬프트를 변형할 것인가"다. 의미를 바꾸지 않는 형식 변형(구분자·순서·서식)만 변형해야 하며, 의미를 바꾸는 변형(질문 자체를 다르게)은 강건성이 아니라 다른 능력을 측정하게 된다. 좋은 실무는 변형 생성 규칙을 명시적으로 기록하고, 변형 후에도 의미가 보존되었는지를 별도로 검증하는 것이다(예: 변형된 프롬프트를 다시 표준형으로 역변환했을 때 동일한지 확인).

5.11 평가의 통계적 검정력: 몇 개를 재야 하는가

지금까지의 난제는 "무엇을 어떻게 재는가"였다. 그러나 동등하게 중요한 질문이 있다 — 몇 개를 재야 결론을 신뢰할 수 있는가? 벤치마크 80문항으로 "모델 A가 B보다 2%p 높다"는 결론은 통계적으로 무의미할 수 있다. 측정 오차 막대가 그 차이를 삼켜버리기 때문이다. 평가의 통계적 정직성은 표본 크기와 검정력(statistical power)에서 시작한다.

5.11.1 두 모델 비교의 신뢰구간

벤치마크 정확도는 본질적으로 이항 비율(binomial proportion)의 추정이다. $n$개 문항 중 $k$개를 맞혔을 때 정확도 $\hat{p}=k/n$의 표준오차와 두 모델 차이의 신뢰구간은 다음과 같다.

이 식이 폭로하는 진실은 충격적이다. 흔히 인용되는 소규모 벤치마크(MT-Bench 80문항 등)에서 한 모델이 다른 모델보다 수 %p 앞선다는 주장은 통계적으로 검증되지 않은 경우가 많다. 차이가 진짜임을 주장하려면, 그 차이가 결합 표준오차의 약 2배를 넘어야 한다.

5.11.2 필요한 표본 크기 계산

거꾸로, 우리가 탐지하고 싶은 최소 차이(minimum detectable effect, MDE)가 주어지면 필요한 문항 수를 역산할 수 있다.

위 곡선은 탐지하려는 차이(MDE)가 작아질수록 필요한 문항 수가 제곱으로 폭증함을 보여준다. 1%p의 미세한 차이를 통계적으로 입증하려면 수만 문항이 필요하다. 이는 왜 Chatbot Arena가 수백만 건의 투표를 모으는지, 그리고 왜 소규모 벤치마크의 순위 변동을 과신하면 안 되는지를 설명한다.

5.12 영어 편중과 다국어 평가

지금까지의 난제는 언어 중립적이었다. 그러나 평가 생태계 자체에 깊은 비대칭이 있다 — 주요 벤치마크의 압도적 다수가 영어다. 이는 단순한 불편이 아니라 측정 타당도(내용 타당도)의 문제다. 영어 벤치마크로 측정한 "능력"은 영어 능력이지, 보편적 언어 능력이 아니다.

5.12.1 번역 벤치마크의 함정

다국어 평가의 손쉬운 해법처럼 보이는 것이 영어 벤치마크의 기계 번역(예: translated-MMLU)이다. 그러나 여기엔 두 겹의 오염이 있다. 첫째, 번역 품질 자체가 평가 결과에 섞여 들어간다 — 번역이 어색하면 모델이 틀려도 그것이 능력 부족인지 번역 잡음인지 구분되지 않는다. 둘째, 영어권 문화에 특수한 문항(미국 법체계, 영어 말장난)은 번역해도 다른 언어권 화자에게 부자연스럽다. 번역 벤치마크는 "그 언어로 사고하는 능력"이 아니라 "영어식 문제를 그 언어 표면으로 풀어내는 능력"을 측정한다.

이 표에서 핵심 구분은 "네이티브" vs "번역"이다. TyDi QA와 XWinograd처럼 각 언어 화자가 직접 만든 벤치마크는 번역 잡음과 문화 편향이 없어 내용 타당도가 높다. 반면 XNLI, translated-MMLU처럼 영어를 번역한 벤치마크는 편의성을 얻는 대신 5.11.1의 함정을 안는다.

5.12.2 형태론적 다양성과 토큰화

언어 유형론(linguistic typology)은 평가에 직접 영향을 준다. 교착어(agglutinative language)인 한국어·일본어·튀르키예어는 하나의 어절에 여러 형태소가 붙으므로(예: "먹었습니다" = 먹+었+습니다), n-gram이나 토큰 단위 메트릭이 영어와 다르게 작동한다. 표의문자(logographic)를 쓰는 중국어·일본어는 공백 분절이 없어 토큰화 방식에 따라 결과가 크게 달라진다. 즉, BLEU 같은 표면 메트릭은 언어마다 의미가 달라지며, 영어용으로 튜닝된 임계값을 그대로 옮기면 잘못된 비교가 된다.

이 비대칭은 토큰화 비옥도(tokenizer fertility)로 정량화된다 — 같은 의미를 표현하는 데 언어마다 다른 수의 토큰이 필요하다. 비옥도가 높은 언어는 동일 문맥 길이에 더 적은 의미를 담으므로, 토큰당 비용·지연·문맥 한계에서 구조적으로 불리하다.

비옥도 비대칭은 평가의 공정성을 넘어 사용자의 실질 비용에도 직접 영향을 준다. API 과금이 토큰 단위로 이루어지므로, 비옥도가 높은 언어의 사용자는 동일한 작업에 더 많은 비용을 지불한다. 또한 문맥 창(context window)이 토큰으로 측정되므로, 비옥도가 높은 언어는 같은 창에 더 적은 내용만 담을 수 있어 긴 문서 처리에서 구조적으로 불리하다. 따라서 다국어 에이전트의 Efficiency 차원(Part III)을 평가할 때 토큰 수를 그대로 비교하면 비영어권이 부당하게 불리해진다 — 비옥도로 정규화한 "의미 단위당 비용"으로 비교해야 공정하다. 이는 영어용 임계값을 무비판적으로 차용하면 안 된다는 5.12.2의 원칙이 효율 평가에까지 확장됨을 보여준다.

5.13 한국어 평가의 현황

한국어는 교착어이자 고맥락(high-context) 언어로, 영어 중심 평가 패러다임을 그대로 적용하기 어려운 대표적 사례다. 다행히 한국어 NLP 평가 생태계는 빠르게 성숙해 왔다.

5.13.1 네이티브 구축의 가치 — HAE-RAE와 KMMLU

HAE-RAE Bench와 KMMLU는 5.12.1의 번역 함정을 의식적으로 피한 좋은 사례다. HAE-RAE는 "세종대왕이 창제한 문자는?" 같은 한국 특수 지식을 다루는데, 이런 항목은 애초에 영어 벤치마크에 존재하지 않으므로 번역으로는 만들 수 없다. KMMLU는 한국의 실제 자격·입시 시험에서 문항을 가져와, "한국어로 사고하고 한국 맥락에서 추론하는 능력"을 측정한다. 이것이 번역된 MMLU와의 결정적 차이다 — 측정하는 구성개념 자체가 다르다.

네이티브 구축의 가치는 5.1.2의 내용 타당도(content validity)로 정확히 설명된다. 번역 벤치마크는 "영어 화자가 중요하다고 여긴 지식 영역"을 측정하지만, 네이티브 벤치마크는 "한국어 화자가 실제로 마주하는 지식 영역"을 측정한다. 두 영역은 부분적으로만 겹친다 — 한국의 행정·법률·역사·관용 표현은 전자에 거의 없다. 따라서 한국어 모델을 translated-MMLU로만 평가하면, 우리는 "한국 사회에서 유용한 능력"이 아니라 "미국식 교양을 한국어로 옮기는 능력"을 측정하게 된다. 한국어 에이전트의 실제 배포 환경(한국 사용자, 한국 도메인)에 대한 예측 타당도(predictive validity)는 네이티브 벤치마크에서만 확보된다.

5.13.2 한국어 평가가 추가로 요구하는 것

한국어 평가는 영어 평가의 모든 난제(오염·프롬프트 민감도)에 더해 언어 특유의 도전을 안는다. 존댓말/반말의 격식 일관성, 주어 생략이 빈번한 고맥락 담화에서의 지시어 해소, 형태소 분석기 선택에 따른 표면 메트릭 변동 등이다. 따라서 한국어 에이전트 평가에서는 (a) 형태소 단위 정규화 후 표면 메트릭 적용, (b) 격식 일관성을 별도 차원으로 측정, (c) 영어 임계값의 무비판적 차용 금지가 권장된다.

특히 격식 일관성은 영어 평가에 대응물이 없는 한국어 고유의 평가 차원이다. 고객 응대 에이전트가 한 응답 안에서 존댓말과 반말을 섞으면, 그 내용이 정확하더라도 사용자 경험은 심각하게 훼손된다. 이는 5.14절의 "사용자를 위한 평가" 관점에서 Task Completion과 독립적으로 측정되어야 한다.

5.14 평가의 목적론: 왜 평가하는가

지금까지 우리는 평가의 한계를 해부했다. 이제 한 걸음 물러나 가장 근본적인 질문으로 돌아가자 — 애초에 왜 평가하는가? 이 질문에 답하지 않으면, 우리는 측정 가능한 것을 측정하는 데 그치고 측정해야 할 것을 놓친다(이 장의 에피그래프로 돌아간다).

5.14.1 평가의 네 가지 목적

평가는 단일 목적의 활동이 아니다. 적어도 네 가지 구별되는 목적이 있고, 각 목적은 서로 다른 평가 설계를 요구한다.

목적이 평가를 결정한다는 원칙은 실무에서 끊임없이 위반된다. 가장 흔한 오류는 비교용 평가를 배포 결정에 쓰는 것이다. 리더보드 1위 모델("비교"에서 우승)이 우리 도메인의 최악 입력에서 안전한지("배포"의 질문)는 전혀 다른 문제다. 5.10절의 사례 연구 2가 정확히 이 혼동이었다 — 평균(비교)이 높은 모델이 최악값(배포)에서는 위험했다.

네 목적은 서로 다른 통계량을 요구한다는 점에서도 구별된다. 비교는 순위를 묻고(절대값은 중요치 않다), 개선은 차원별 분해와 변화량을 묻고, 배포는 최악값과 안전 하한을 묻고, 이해는 능력의 분포와 실패 패턴을 묻는다. 같은 평가 데이터라도 어떤 통계량을 추출하느냐가 목적에 따라 달라진다. 평균 하나만 보고하는 관행이 위험한 이유가 여기에 있다 — 평균은 비교에는 그럭저럭 쓸 만하지만, 배포(최악값)와 이해(분포)에는 거의 무용하다. 좋은 평가 보고서는 목적에 맞는 통계량을 명시적으로 선택하여 제시한다.

5.14.2 형성 평가 vs 총괄 평가

교육학의 고전적 구분이 여기에 그대로 적용된다. 형성 평가(formative)는 개발 과정에서 개선을 위해 수행하며, 빠르고 자주, 진단적이어야 한다(목적: 개선·이해). 총괄 평가(summative)는 배포 직전의 최종 판정으로, 느려도 정밀하고 방어 가능해야 한다(목적: 배포). 이 둘을 같은 도구로 하려 하면 어느 쪽도 잘 못한다 — CI/CD의 빠른 회귀 테스트(형성)와 출시 전 종합 게이트(총괄)는 분리되어야 한다(Part III, Ch.13~14).

5.14.3 모델을 위한 평가인가, 사용자를 위한 평가인가

가장 깊은 목적론적 질문이 남아 있다. 우리의 평가는 누구를 위한 것인가? 모델 개발자를 위한 평가는 "이 모델이 다른 모델보다 나은가"를 묻는다(벤치마크 경쟁). 최종 사용자를 위한 평가는 "이 시스템이 내 실제 과제를 안전하고 유용하게 해결하는가"를 묻는다. 두 평가는 종종 어긋난다 — Chiang et al.(2024)의 Arena가 "벤치마크 1위지만 실사용 선호 2위"인 모델을 반복적으로 드러낸 이유다. 이 책의 6차원 프레임워크가 Task Completion뿐 아니라 Safety·Alignment를 독립 차원으로 두는 것은, 평가의 무게중심을 "모델 자랑"에서 "사용자 보호"로 옮기려는 의식적 선택이다.

5.15 Part I 종합: 평가 진화의 다섯 법칙

Part I의 다섯 장을 관통하는 거대한 흐름이 있다. Ch.01의 표면 매칭(BLEU/ROUGE)에서 Ch.02의 LLM 벤치마크, Ch.03의 인간·LLM 판정, Ch.04의 구성요소 분해(RAG/코드), 그리고 이 장의 근본 난제까지. 이 진화를 다섯 개의 법칙으로 압축한다.

5.15.1 각 법칙이 Part I의 어느 장에서 태어났는가

이 다섯 법칙은 추상적 선언이 아니라 Part I의 구체적 논의에서 귀납된 것이다. 그 계보를 추적하면, 이 책의 후반부가 왜 지금의 구조를 갖게 되었는지가 분명해진다.

법칙 1(정적→동적)은 Ch.02의 벤치마크 포화 논의와 이 장의 오염 모델(5.6)에서 태어났다. 고정된 자는 시간이 지나면 오염되고 포화되어 신호를 잃는다(5.1.3의 SNR 붕괴). 따라서 평가는 한 번 만들고 끝나는 산물이 아니라 지속적으로 갱신되는 프로세스여야 한다. 법칙 2(단일→다차원)는 Ch.03의 인간 평가 루브릭과 이 장의 검증 가능성 스펙트럼(5.2.2)에서 나왔다. 하나의 숫자는 서로 다른 검증 가능성을 가진 능력들을 부당하게 뭉뚱그린다. 법칙 3(참조→의미)은 Ch.01의 BLEU/ROUGE 한계와 5.3절의 참조 딜레마에서 직접 도출된다.

법칙 4(전문가→인간-AI 협력)는 Ch.03의 LLM-as-Judge 논의에서 나왔으며, 이 장에서는 그 판사 자체의 편향(5.4의 Goodhart, Zheng et al. 2023의 위치·자기선호 편향)을 경계하는 형태로 정교화되었다. 법칙 5(전체→분해)는 Ch.04의 RAG·코드 구성요소 분해에서 가장 선명하게 드러났고, 이 장의 "측정 불가능한 전체를 측정 가능한 부분으로"(5.2.4)라는 원리로 일반화되었다. 이 다섯 법칙이 수렴하는 지점이 바로 Part III의 6차원 프레임워크다.

5.15.2 다섯 법칙의 상호작용

이 법칙들은 독립적이지 않고 서로를 강화한다. 다차원 분해(법칙 2)는 차원마다 다른 검증 가능성(5.2.2)을 인정하는 데서 출발하며, 이는 의미 기반 평가(법칙 3)와 인간-AI 협력(법칙 4)이 차원별로 다르게 적용되어야 함을 함의한다. 그리고 동적 평가(법칙 1)는 분해된 각 차원을 지속적으로 재측정함으로써 오염과 드리프트를 관리한다. 다섯 법칙의 교차점에 이 책의 6차원 프레임워크가 서 있다.

위 레이더는 Part I에서 다룬 대표 평가 패러다임들이 다섯 법칙을 얼마나 구현하는지를 정성적으로 비교한 것이다. BLEU/ROUGE는 모든 축에서 낮고, HELM은 다차원·분해에서 강하며, Chatbot Arena는 동적·인간협력에서 강하다. 어느 것도 다섯 법칙을 모두 만족시키지 못한다는 사실이, Part III에서 새로운 통합 프레임워크가 필요한 이유다.

주목할 것은 이 다섯 법칙이 단순히 "옛 방법은 나쁘고 새 방법은 좋다"는 진보주의 서사가 아니라는 점이다. BLEU는 Ground Truth가 견고한 기계 번역에서 여전히 유용하고(5.2.1), 정적 벤치마크는 재현성과 비교 가능성에서 동적 벤치마크보다 우월하다. 각 법칙은 "어떤 조건에서 어떤 평가가 적합한가"를 알려주는 나침반이지, 옛 도구를 폐기하라는 명령이 아니다. 성숙한 평가자는 다섯 법칙을 도그마가 아니라 진단 도구로 사용한다 — "내 평가는 이 다섯 축에서 어디에 위치하며, 내 목적(5.14)에 비추어 그 위치가 적절한가?"를 묻는 것이다. 이 질문에 답할 수 있을 때, 평가는 비로소 자석이 아니라 신뢰할 수 있는 도구가 된다.

5.16 Part II로의 다리: 텍스트에서 행동으로

Part I 전체에서 우리가 평가한 것은 한 가지 — 텍스트였다. 번역문, 요약문, 답변, 대화. 모든 메트릭은 "생성된 텍스트가 얼마나 좋은가"를 물었다. 그러나 에이전트는 텍스트를 생성하는 데서 멈추지 않는다. 에이전트는 행동한다 — 도구를 호출하고, 웹을 탐색하고, 코드를 실행하고, 다른 에이전트와 협업하고, 여러 단계에 걸쳐 목표를 추구한다.

이 전환은 이 장에서 다룬 모든 난제를 증폭시킨다. 텍스트 한 편에도 Ground Truth가 없었다면(5.2), 수십 단계의 행동 궤적(trajectory)에 "정답 경로"가 있을 리 없다. 텍스트의 프롬프트 민감도가 30%p였다면(5.9), 환경·도구·다른 에이전트가 개입하는 다단계 상호작용의 분산은 훨씬 크다. 텍스트 오염을 탐지하기도 어려웠다면(5.7), 행동 궤적의 오염은 거의 추적 불가능하다. 그리고 "왜 평가하는가"(5.13)라는 질문은, 행동하는 에이전트가 실제 세계에 불가역적 영향을 미칠 수 있을 때 훨씬 더 무거워진다.

5.16.1 Part II에서 다룰 질문들

다음 장(Ch.06)부터 시작되는 Part II — The Shift는 다음 질문들에 답한다. 에이전트의 "성공"은 결과(outcome)인가 과정(process)인가? 도구 사용의 효율을 어떻게 재는가? 여러 단계의 궤적에서 어디가 실패의 원인인가? 멀티 에이전트 시스템에서 협응(coordination)과 정보 전달을 어떻게 정량화하는가? 이 모든 질문은 Part I에서 단련한 평가의 철학적 도구 — 타당도와 신뢰도, Goodhart에 대한 경계, 강건성에 대한 집착, 목적의 명료함 — 위에 세워진다.

특히 행동 평가에서 가장 어려운 신규 난제는 신용 할당(credit assignment)이다. 텍스트 평가에서는 하나의 출력에 하나의 점수를 매기면 됐다. 그러나 20단계에 걸쳐 도구를 호출하고 추론하고 회복하다가 마지막에 실패한 에이전트에서, 실패의 책임은 어느 단계에 있는가? 3단계의 잘못된 검색이 원인인가, 12단계의 잘못된 추론이 원인인가, 아니면 두 에이전트 간 정보 전달의 누락인가? 이 다단계 신용 할당 문제는 강화학습이 수십 년간 씨름해 온 난제이며, 에이전트 평가에서 다시 전면에 등장한다. Part II는 궤적 분석(trajectory analysis)과 단계별 진단을 통해 이 문제에 접근한다.

그리고 이 모든 새로운 난제 위에, 이 장에서 다룬 다섯 가지 옛 난제가 그대로 얹힌다. 행동 궤적에도 Ground Truth는 없고(어떤 경로가 "정답 경로"인가?), 행동 지표도 Goodhart에 부패하며(도구 호출 횟수를 보상하면 불필요한 호출을 남발한다), 궤적도 오염될 수 있고(에이전트 벤치마크가 공개되면 학습된다), 행동도 프롬프트·환경에 민감하다. Part I의 겸손함 — 자신이 무엇을 측정하지 못하는지 아는 것 — 이 Part II에서 더욱 절실해지는 이유다.

5.16.2 이 장의 한 문장 요약

5.17 종합 진단 파이프라인: 다섯 난제를 한 번에 점검하기

이 장에서 다룬 다섯 난제 — 정답 부재, Goodhart, 오염, 프롬프트 민감도, 언어 편중 — 는 개별 진단법을 가졌다. 실무에서는 이들을 하나의 파이프라인으로 묶어 새 모델이나 새 벤치마크를 받을 때마다 자동으로 점검하는 것이 효율적이다. 이 절은 그 통합 진단기를 설계한다.

이런 자동 감사(audit)가 필요한 이유는 인간의 망각과 편향 때문이다. 새 모델의 인상적인 점수를 보면, 우리는 그것을 의심하기보다 받아들이고 싶어진다(확증 편향). 다섯 난제를 매번 수동으로 점검하리라 기대하는 것은 비현실적이다 — 바쁜 출시 일정에서 가장 먼저 생략되는 것이 바로 이런 점검이다. 따라서 점검을 파이프라인에 코드로 내장하여, 평가가 실행될 때마다 자동으로 신뢰도 진단이 함께 산출되도록 해야 한다. 이는 5.14.2의 형성 평가(빠른 CI 점검)와 총괄 평가(배포 전 정밀 감사) 모두에 적용된다. 자동화된 감사는 "점검을 잊지 않기" 위한 조직적 안전장치다.

5.17.1 신뢰도 점수의 통합

각 난제에 대한 진단은 0~1의 부분 점수를 낸다(높을수록 건강함). 이를 종합하되, Goodhart를 피하기 위해 단순 평균이 아니라 최솟값에 가중치를 둔 보수적 집계를 쓴다 — 어느 한 축이라도 심각하면 전체 신뢰도가 낮아야 하기 때문이다.

5.17.2 진단 결과의 해석

통합 신뢰도 $T_{\text{eval}}$은 "모델이 얼마나 좋은가"가 아니라 "이 평가를 얼마나 믿을 수 있는가"를 측정한다. 이 둘을 구분하는 것이 핵심이다 — 점수가 높아도 평가 신뢰도가 낮으면, 그 높은 점수는 오염이나 프롬프트 운에 의한 것일 수 있다. 따라서 모든 평가 보고서는 모델 점수와 함께 평가 신뢰도를 병기해야 한다.

보수적 집계(최솟값 강조)를 택한 것은 의도적이며, 그 자체가 이 장의 교훈을 구현한다. 만약 다섯 축의 단순 평균을 쓴다면, 오염 저항이 0.1로 처참해도 나머지 네 축이 0.9이면 종합 신뢰도가 0.74로 "양호"하게 보인다 — 이것이 바로 5.4절에서 경계한 Goodhart의 보상 함정이다. 한 축의 치명적 결함이 다른 축의 우수함으로 가려져서는 안 된다. 최솟값에 가중치를 두면 "가장 약한 고리"가 종합 신뢰도를 끌어내리므로, 진단의 정직성이 보존된다. 이 설계 원리 — 치명적 약점은 보상될 수 없다 — 는 Part III의 Safety Gate(거부권)로 그대로 이어진다. 평가의 신뢰도를 평가하는 메타 평가에서조차, 우리는 보상 불가능한 차원을 인정해야 한다.

5.18 평가 설계의 실무 체크리스트

이 장의 추상적 통찰을 실행 가능한 점검표로 압축한다. 새로운 평가를 설계하거나 기존 평가를 감사할 때, 아래 질문들에 명시적으로 답하라. 답하지 못하는 항목이 곧 평가의 취약점이다.

5.18.1 목적과 타당도 점검

가장 먼저 답해야 할 것은 "왜"다. 이 평가의 목적이 비교·개선·배포·이해 중 무엇인지 명시했는가(5.14.1)? 측정하려는 잠재 구성개념 $\theta$를 한 문장으로 정의할 수 있는가(5.1.1)? 그 구성개념을 대리 지표가 충실히 반영한다는 근거(구성 타당도)가 있는가? 평가 도메인이 실제 배포 도메인을 대표하는가(내용 타당도)?

5.18.2 Ground Truth와 참조 점검

과제에 Ground Truth가 존재하는가, 부분적인가, 부재하는가(5.2.1)? 참조를 쓴다면 과제당 다중 참조를 확보했는가(5.3.2)? Ground Truth가 부재하면 합의 근사·상대 근사·차원 분해 중 무엇을 택했는가(5.2.4)? 합의를 쓴다면 평가자 간 신뢰도(κ, α, ICC)를 측정했는가?

5.18.3 오염과 강건성 점검

벤치마크가 공개된 지 얼마나 되었으며 학습 컷오프와의 관계는 어떠한가(5.6)? temporal split이나 n-gram 중복으로 오염을 점검했는가(5.7)? 의미 보존 변형에 대한 강건성 격차를 측정했는가(5.5.3)? 다중 프롬프트로 점수의 분산을 보고했는가(5.10)?

5.18.4 통계와 보고 점검

표본 크기가 탐지하려는 차이(MDE)에 충분한가(5.11.2)? 모든 점수에 신뢰구간을 붙였는가? 비교 결론에 유의성 검정을 명시했는가(5.11.1)? 평가 신뢰도 $T_{\text{eval}}$를 모델 점수와 함께 보고했는가(5.17)?

5.19 참고문헌

이 장에서 인용한 주요 문헌을 정리한다. 평가의 근본 난제를 더 깊이 탐구하려는 독자를 위한 출발점이다.