← 책 처음으로 📋 평가 스키마 갤러리 Ch.01 Ch.13 Ch.14

📋 평가 스키마 갤러리

algo-schema 방식으로 제작한 평가 개념들의 한 페이지 직관 스키마. 클릭하면 전체 화면으로 볼 수 있습니다.

10 schemas · 4-layer template · hand-drawn aesthetic
기초
① Precision · Recall · F1
모든 메트릭의 3대 기둥
Ch.01 · 번역
② BLEU
n-gram Precision + Brevity Penalty
Ch.01 · 요약
③ ROUGE
n-gram Recall 중심
Ch.01 · 번역
④ METEOR
동의어·형태소 매칭 + F1
Ch.01 · LM
⑤ Perplexity
언어모델의 당혹감
Ch.01 · 의미
⑥ BERTScore
임베딩 공간에서의 F1
Ch.01 · 캡션
⑦ CIDEr
TF-IDF 가중 Consensus
Ch.13 · 파이프라인
⑧ 6차원 평가 파이프라인
궤적 → 6관문 → 등급
Ch.13 · 안전
⑨ Safety 거부권
환각·PII → F 강등
Ch.14 · 신뢰성
⑩ pass^k 신뢰성
k회 반복 → p^k
기초

Precision · Recall · F1

⚔ TP만 세라. FP, FN은 페널티일 뿐. ⚠ F1이 높아도 실제로 틀린 부분이 어디인지는 모른다.
앵커: ⚖ 두 원의 교집합 · Ch.01 §1.1.4
Precision · Recall · F1 · 평가의 3대 기둥 모든 텍스트 메트릭은 이 세 개 위에 서 있다 — schema 한 페이지 앵커: ⚖ 저울(생성) vs 🔍 그물(정답) ① 앵커 · 두 개의 원이 겹치는 벤다이어그램 Relevant (정답에 있는 것) Retrieved (모델이 뽑은 것) TP 진짜 맞은 것 FN 놓친 것 FP 거짓 양성 Precision = TP / (TP+FP) "내가 뽑은 것 중 진짜는?" ③ 결정 피라미드 · β에 따른 세 가지 질문 ① Precision (β→0) — "생성한 것 중 정확한가?" BLEU의 기반 · 과잉생산 페널티 ② Recall (β→∞) — "정답을 얼마나 포함했나?" ROUGE의 기반 · 누락 페널티 ③ F1 (β=1) — "둘의 조화평균" METEOR, BERTScore의 기반 ② 비용 지형도 · Precision-Recall 트레이드오프 ✦ F1 최대점 (균형) ← Precision 높은 극단 Recall 높은 극단 → Precision ↑ Recall → ▓▓ F1 균형 영역 ▓▓ ░ 과도한 Recall(낮은 정밀도) ░ ④ 위상 띠 · 메트릭마다 다른 β 선택 BLEU · β→0 생성 정밀도 중심 "안 틀리는 게 중요" METEOR · F1 정밀도+재현율 균형 "균형 잡힌 평가" ROUGE · β→∞ 참조 커버리지 중심 "빠뜨리면 안 돼" ⚔ Pruning Sword TP만 세라. 나머지(FP, FN)는 페널티일 뿐이다. 정답과 생성의 교집합이 전부. ⚠ Confusion Watch F1이 높아도 실제로 틀린 부분이 어디인지는 모른다. 숫자 하나에 속지 마라.
Ch.01 · 번역

BLEU · Bilingual Evaluation Understudy

⚔ Clipping이 전부다. 참조보다 많이 세면 잘라라. ⚠ BLEU는 의미를 모른다. 순서만 본다.
앵커: ✂ 가위(clipping) + 📏 자(BP) · Ch.01 §1.2
BLEU · Bilingual Evaluation Understudy "the the the" 에 1.0점 주지 않기 위한 clipping + 기하평균 — schema 한 페이지 앵커: 가위(clipping) + 자(brevity penalty) ① 앵커 · 네 층의 체(sieve) + 가위 + 자 1-gram 체 단어 일치 2-gram 체 인접 순서 3-gram 체 구 패턴 4-gram 체 문장 구조 후보 텍스트 ↓ ✂ Clipping "the the the"에서 the=3 → min(3,2)=2 참조 이상 카운트 불가! 📏 Brevity Penalty c > r → BP=1 (OK) c ≤ r → BP=e^(1-r/c) 짧게 치면 벌점! BLEU = BP × (P1·P2·P3·P4)^(1/4) 기하평균 ③ 결정 피라미드 · 점수 계산 우선순위 ① n-gram 카운트 + Clipping — 즉시 각 n에 대해 Count_clip / Count ② 기하평균 — P1~P4의 균형 어느 하나 0이면 전체 0 (가혹) ③ Brevity Penalty 곱하기 짧은 출력에 지수적 벌점 ② 비용 지형도 · BLEU 점수가 높으려면 어디에 있어야 하나 ✦ ⚡ BP < 1 벌점 BLEU ↑ 출력 길이(c/r) → ▓▓ P1~P4 모두 높고 길이도 충분 ▓▓ ░ 짧은 출력 + 낮은 n-gram ░ ④ 위상 띠 · BLEU 계산 3단계 ① Modified Precision n=1..4 각각 clipping 적용 [ P1, P2, P3, P4 산출 ] 기하평균 ② Brevity Penalty c ≤ r 이면 e^(1-r/c) 곱하기 [ 짧으면 0.5~0.9 벌점 ] 곱하기 ③ 최종 BLEU 0~1 (보통 0.3~0.5이 좋은 편) → 코퍼스 단위에서 산출 ⚔ Pruning Sword Clipping이 전부다. 참조보다 많이 센 n-gram은 잘라라. 나머지는 기하평균과 BP. ⚠ Confusion Watch BLEU는 의미를 모른다. "고양이가 마다" vs "마다가 고양이" = 같은 BLEU. 순서만 본다.
Ch.01 · 요약

ROUGE · Recall-Oriented Understudy

⚔ 분모가 참조다. "정답이 가진 것 중 얼마나?" ⚠ ROUGE가 높아도 좋은 요약이 아닐 수 있다.
앵커: 🔍 그물이 빠뜨린 것 · Ch.01 §1.3
ROUGE · Recall-Oriented Understudy "정답이 가진 것을 얼마나 놓쳤나?" — schema 한 페이지 앵커: 🔍 그물이 빠뜨린 것 ① 앵커 · 참조 풀에서 그물으로 건진 것 vs 빠뜨린 것 참조(Reference) 단어 풀 고양이 위에 있다 매트 고양이는 검은색 아주 건짐 ✓ ✗ 빠짐 ✗ 빠짐 ✗ 빠짐 ROUGE-N Recall = 겹치는 n-gram 수 / 참조 n-gram 수 분모가 참조다 (BLEU는 분모가 후보였음!) ③ 결정 피라미드 · ROUGE 변종 3가지 ① ROUGE-N — n-gram Recall (가장 기본) 1-gram=단어, 2-gram=인접 순서 ② ROUGE-L — LCS(최장공통부분수열) 순서 유지, 비인접 허용 · 요약에 강함 ③ ROUGE-S — Skip-bigram (간격 허용) 비인접 단어쌍까지 커버 ② 비용 지형도 · ROUGE vs BLEU: 어디에 무게를 두나 ✦ BLEU=ROUGE 교차점 점수 ↑ 커버리지(생성량) → ▓▓ ROUGE (Recall 중심) ▓▓ ░░ BLEU (Precision 중심) ░░ ④ 위상 띠 · ROUGE 계산 흐름 ① n-gram/LCS 추출 참조와 후보에서 각각 추출 [ 겹침计数 시작 ] 비교 ② Recall = 겹침 / 참조 총량 분모가 참조 (BLEU와 반대!) [ Precision도 함께 산출 가능 ] F-score ③ ROUGE F1 2·P·R / (P+R) → 요약 품질 지표 ⚔ Pruning Sword 분모가 참조다. "정답이 가진 것 중 내가 얼마나 포함했나?" — 이것만 기억하면 ROUGE가 보인다. ⚠ Confusion Watch ROUGE가 높다고 좋은 요약이 아니다. 덧붙인 말이 참조를 우연히 포함할 수 있다. 의미는 모른다.
Ch.01 · 번역

METEOR · 정밀도+재현율의 균형

⚔ "달렸다"와 "달리기"를 같게 보라. ⚠ WordNet에 없는 동의어는 매칭 안 된다.
앵커: 🪞 3중 거울 (정확→동의어→형태소) · Ch.01 §1.4
METEOR · 정밀도+재현율의 균형 동의어·형태소까지 매칭 + 순서 불일치 페널티 — schema 한 페이지 앵커: 🪞 다층 거울(매칭 레벨) ① 앵커 · 3중 거울: 정확 → 동의어 → 형태소 거울 1: 정확 run == 달리다 w=1.0 (완전 신뢰) 거울 2: 동의어 run ≈ sprint w=0.9 (거의 맞음) 거울 3: 형태소 running → run w=0.8 (어근 같음) 정렬(Alignment) 후 — 순서 불일치 = Fragmentation 페널티 매칭은 됐지만 순서가 뒤죽박죽이면 감점! F_mean × (1 - Frag) F_mean = 가중 F1 · Frag = 순서 흐트러짐 정도 ③ 결정 피라미드 · 매칭 우선순위 ① 정확 매칭 — 가장 먼저, 가장 신뢰 같은 단어 → 즉시 정렬 ② 동의어/형태소 매칭 — 의미 확장 WordNet 기반 · BLEU가 놓치는 것 포착 ③ Fragmentation 페널티 — 순서 보정 정렬이 끊기면 chunk 수만큼 감점 ② 비용 지형도 · 의미 확장이 점수를 어떻게 올리나 의미 확장으로 ↑ 동의어/형태소 점수 ↑ 의미적 거리 → ▓▓ METEOR (의미 매칭) ▓▓ ░░ BLEU (표면 매칭만) ░░ ④ 위상 띠 · METEOR 계산 3단계 ① 다층 매칭 정확→동의어→형태소 [ WordNet 활용 ] 정렬 ② 가중 F1 계산 w=0.9 매칭도 점수에 포함 [ Precision+Recall 균형 ] 감점 ③ Frag 페널티 순서 끊김 = chunk수 × γ → 최종 METEOR 점수 ⚔ Pruning Sword "달렸다"와 "달리기"를 같게 보라. 표면이 다르면 BLEU는 0점이지만 METEOR은 점수를 준다. ⚠ Confusion Watch WordNet에 없는 동의어는 매칭 안 된다. 한국어 형태소 분석기 품질에 크게 좌우된다.
Ch.01 · LM

Perplexity · 언어모델의 당혹감

⚔ PPL은 "유효 후보 단어 수". 5면 좁은 길, 1000이면 미로. ⚠ 토크나이저가 다르면 PPL 비교 불가.
앵커: 🎲 갈림길의 폭 = 당혹감 · Ch.01 §1.5
Perplexity · 언어모델의 당혹감 "다음 단어 후보 몇 개를 헷갈리고 있나?" — schema 한 페이지 앵커: 🎲 분기 갈림길의 너비 ① 앵커 · 갈림길의 폭 = 당혹감 = Perplexity 좋은 LM · PPL=5 "오늘 날씨가" → [좋다] (좁은 갈림길) 다음 단어 5개 정도로 좁힘 좁은 길 ✦ 나쁜 LM · PPL=1000 "오늘 날씨가" → [???] (넓은 갈림길) 1000개 단어가 다 가능해 보임 ⚡ 넓은 길 ⚡ PPL = 2^H = exp( -1/N × Σ log P(wi|w<i) ) H = cross-entropy · PPL = "유효 후보 단어 수" · 낮을수록 좋다 ③ 결정 피라미드 · PPL 해석 3레벨 ① 단어 확률 P(wi|ctx) — 토큰별 LM이 매 위치에서 출력하는 확률 ② Cross-Entropy — 음수 로그평균 불확실성의 평균 (bit 단위) ③ PPL = exp(H) — 직관적 숫자 "평균적으로 몇 개 단어를 헷갈리나" ② 비용 지형도 · PPL의 의미: 낮을수록 예측이 확실 ✦ PPL=10 이하 = 좋은 LM ⚡ PPL=1000+ = 망한 LM PPL ↑ 예측 불확실성 → ▓▓ 낮은 PPL = 확실한 예측 ▓▓ ░ 높은 PPL = 방황하는 모델 ░ ④ 위상 띠 · PPL 계산 흐름 ① 토큰 확률 P(wi | w1...wi-1) [ 각 위치에서의 확률 ] 로그 ② Cross-Entropy -1/N × Σ log P(wi) [ 불확실성의 평균 ] 지수 ③ PPL = exp(H) GPT-4: ~10, GPT-2: ~20 → 낮을수록 좋은 모델 ⚔ Pruning Sword PPL은 "유효 후보 단어 수"다. 5면 5개 중에 고르는 것, 1000이면 1000개 중에 헤매는 것. ⚠ Confusion Watch PPL은 참조가 필요 없다 (intrinsic). 하지만 토크나이저가 다르면 PPL 비교가 불가능하다.
Ch.01 · 의미

BERTScore · 의미 공간에서의 F1

⚔ 결국 F1이다. 임베딩 공간에서의 F1. ⚠ BERT 모델에 따라 점수가 크게 달라진다.
앵커: 🌌 임베딩 우주의 두 점 · Ch.01 §1.6
BERTScore · 의미 공간에서의 F1 단어가 다르면 BLEU=0? BERTScore는 임베딩 유사도로 본다 — schema 한 페이지 앵커: 🌌 임베딩 우주의 두 점 ① 앵커 · 임베딩 공간에서 가장 가까운 짝을 찾아라 참조 단어들 고양이 위에 있다 후보 단어들 cat on sitting cos=0.92 ✓ cos=0.88 ✓ cos=0.85 ✓ "고양이" ≠ "cat" → BLEU=0, ROUGE=0 하지만 임베딩에서 cos=0.92 → BERTScore=0.92! R_BERT = max cos(ref_i, cand_j)의 평균 P_BERT = max cos(cand_j, ref_i)의 평균 → F_BERT ③ 결정 피라미드 · BERTScore 계산 3단계 ① 토큰 임베딩 — BERT 마지막 층 각 단어를 768차원 벡터로 ② Greedy 최대 코사인 매칭 각 후보 단어 → 가장 비슷한 참조에 연결 ③ F1 (Precision+Recall) — 의미 공간에서 결국 F1이다! 임베딩 버전의 F1 ② 비용 지형도 · 표면 vs 의미: BERTScore가 점수를 되살리는 구간 BLEU=0 구간 BERTScore=0.85 점수 ↑ 표면적 차이(동의어 사용) → ▓▓ BERTScore (의미 유지) ▓▓ ░░ BLEU (표면만 봐서 하락) ░░ ④ 위상 띠 · 토큰→임베딩→매칭→F1 ① BERT 인코딩 각 토큰 → 768차원 [ 의미 벡터 ] 코사인 ② Greedy 매칭 max cos 행렬 → R, P 산출 [ 각 방향 최댓값 ] F1 ③ IDF 가중 + F1 희귀 단어에 더 큰 가중치 → 최종 BERTScore ⚔ Pruning Sword 결국 F1이다. 임베딩 공간에서의 F1. 표면이 달라도 의미가 같으면 높은 점수. ⚠ Confusion Watch BERT 모델에 따라 점수가 크게 달라진다. 한국어는 KoBERT 같은 특화 모델 필수.
Ch.01 · 캡션

CIDEr · 이미지 캡션의 합의

⚔ 희귀 표현에 베팅. 합의를 구별하는 건 희귀 단어. ⚠ CIDEr은 이미지 캡션 전용. 다른 도메인에 그대로 쓰면 안 된다.
앵커: ⚖ TF-IDF 저울 위의 n-gram · Ch.01 §1.7
CIDEr · 이미지 캡션의 합의(Consensus) "여러 사람이 공통으로 쓴 표현에 가중치를 줘라" — schema 한 페이지 앵커: ⚖ TF-IDF 저울 위의 n-gram ① 앵커 · 여러 참조의 "합의"에 가까울수록 높은 점수 참조 캡션들 (Consensus) Ref1: "검은 고양이가 소파 위에 있다" Ref2: "소파 위 고양이" Ref3: "검은 고양이, 소파에 앉아있음" Ref4: "소파에 앉은 검은 고양이" TF-IDF 가중치 "검은 고양이" → 모든 참조에 출현 → IDF 낮음 → 가중치 낮음 (흔함) "앉아있음" → 1개 참조만 → IDF 높음 → 가중치 높음 (희귀) CIDEr = cos(TF-IDF(candidate), TF-IDF(references)) "합의에 공헌하는" 희귀 표현에 가중치 → 반영 ③ 결정 피라미드 · CIDEr 계산 3레벨 ① n-gram 카운트 + TF-IDF 변환 1~4-gram, 각각 TF-IDF 벡터로 ② 코사인 유사도 — 후보 vs 참조들 TF-IDF 벡터 간 cos similarity 평균 ③ n=1~4 평균 — 최종 CIDEr 각 n-gram 레벨의 유사도를 평균 ② 비용 지형도 · "합의"에 가까울수록 점수가 높아진다 ✦ 합의 영역 ⚡ TF-IDF 낮은 흔한 표현만 CIDEr ↑ 참조 합의에서의 거리 → ▓▓ 희귀 표현까지 합치 (높은 CIDEr) ▓▓ ░ 흔한 표현만 (낮은 CIDEr) ░ --- BLEU (TF-IDF 무시) --- ④ 위상 띠 · CIDEr 계산 흐름 ① n-gram + TF-IDF 후보·참조 각각 변환 [ 희귀 → 높은 가중치 ] 코사인 ② Cosine Similarity TF-IDF 벡터 간 유사도 [ 각 n-gram 레벨별 ] 평균 ③ n=1..4 평균 = CIDEr 이미지 캡션 전용 메트릭 → 높을수록 합의에 가까움 ⚔ Pruning Sword TF-IDF가 핵심이다. 모든 참조에 다 나오는 흔한 말은 무시하고, 합의를 구별하는 희귀 표현에 베팅해라. ⚠ Confusion Watch CIDEr은 이미지 캡션 전용이다. 다른 도메인에 그대로 쓰면 TF-IDF 분포가 망가진다.
Ch.13 · 파이프라인

6차원 평가 파이프라인

⚔ 전체 차원이 룰 기반이다. LLM-judge 없이도 5차원이 즉시 0~1. ⚠ 가중평균이 A여도 Safety 게이트 FAIL이면 F다.
앵커: 6겹 관문 복도 · Ch.13 §13.1
6차원 평가 파이프라인 · eval-system 궤적 하나 → 6관문 → 가중집계 → 등급 — schema 한 페이지 앵커: 6겹 관문 복도 ① 앵커 · 6겹 관문 복도 — 통과하면 등급, Safety에서 걸리면 F Task 기대문구 충족? Coord 역할+정보 전달 Tool 도구선택 인자정확 Eff 토큰·턴 예산대비 Safety 환각·PII ▮ 거부권 Align 톤·형식 (선택) FAIL → F 강등 가중집계 궤적 가중집계 → 등급 A/B/C/D/F (final=total·100) 0.25 0.15 0.15 0.20 0.15 0.10 ③ 결정 피라미드 · 채점 우선순위 ① 문자열 매칭·정규식 (룰) — 즉시 0~1 Task/Tool/Safety·PII 전부 패턴으로 해결 ② 메시지 그래프 분석 — 중간 비용 Coordination: 역할 출현 + 정보 충실도 ③ LLM-judge (선택) — 비싸지만 정밀 Alignment: 톤·형식, 기본 off → 자동 재정규화 ② 비용 지형도 · 좋은 평가는 어디에 모이나 ⚡ Safety FAIL 구간 ✦ 점수 ↑ 차원 충족도 → ▓▓ A/B 등급 군 (6차원 모두 통과) ▓▓ ░ Safety FAIL → F 강등 안개 ░ ④ 위상 띠 · 실행에서 판정까지 3단계 ① 실행 (Runner) 팀 × 작업 × k회 → runs/*.json [ 백엔드: mock / autogen ] 궤적 ② 채점 (Scoring) 6차원 → 가중집계 → 등급·게이트 [ Safety 거부권 = 0.39 상한 ] 점수 ③ 집계 (Report) pass^k + 차원평균 + 대시보드 → Chart.js 대시보드 ⚔ Pruning Sword 전체 차원이 룰 기반이다. LLM-judge 없이도 5차원이 즉시 0~1 — judge는 선택. ⚠ Confusion Watch 가중평균이 A여도 Safety 게이트 FAIL이면 F다. 평균에 속지 마라.
Ch.13 · 안전

Safety 거부권(Veto)

⚔ 정규식으로 N일만 추출해서 교집합 검사. 전체 의미 분석 불필요. ⚠ 수치가 우연히 맞으면 문맥 환각 탐지 못한다.
앵커: 🔍 저울(근거검증) + ⚡ 단락기(PII) · Ch.13 §13.2
Safety 거부권(Veto) · 환각·PII 차단 정책 수치 vs 응답 수치 충돌 → 즉시 F — schema 한 페이지 앵커: 🔍 저울 + ⚡ 단락기 ① 앵커 · 🔍 저울(근거검증) + ⚡ 단락기(PII 탐지) 정책: 14일 (근거) 답: 7일 (환각!) ⚡ 14 ≠ 7 → 모순! ⚡ PII 정규식 (이메일·전화·주민) → 1건이라도 hit → FAIL GATE = FAIL → final ≤ 0.39 (F) ③ 결정 피라미드 · Safety 검사 우선순위 ① PII 정규식 스캔 — 즉시, 전체 텍스트 이메일·휴대폰·주민번호 → 1건 hit = FAIL ② 근거 모순(환각) 검사 — 수치 비교 정책 N일 ∩ 답변 N일 = 교집합 없으면 FAIL ③ 거부권 적용 — min(total, 0.39) 아무리 높아도 39점 상한 → F 강등 ② 비용 지형도 · Safety가 점수를 어떻게 납작하게 만드나 ▮ 0.39 상한선 거부권! total=0.82 → final=0.39 ✦ 원래 점수 ⚡ 점수 ↑ 환각·PII 위반 정도 → ▓▓ 정상 채점 영역 (PASS) ▓▓ ░ 거부권 강등 영역 (FAIL → F) ░ ④ 위상 띠 · Safety 검사 3단계 ① 수치 추출 정책 텍스트 + 답변에서 N일 파싱 [ 정규식 (\\d+)\\s*일 ] 비교 ② 교집합 판정 정책{14} ∩ 답변{7} = ∅ → 모순! PII 동시 스캔 → hit 시 즉시 FAIL 판정 ③ 거부권 적용 FAIL → final = min(total, 0.39) → 등급 F (≤39점) ⚔ Pruning Sword 정규식으로 N일만 추출해서 교집합 검사. 전체 의미 분석 불필요 — 수치만 본다. ⚠ Confusion Watch "환각"이어도 수치가 우연히 맞으면 탐지 못한다. 문맥 환각은 LLM-judge 영역.
Ch.14 · 신뢰성

pass^k 신뢰성 · 확률적 평가의 수렴

⚔ p가 1.0이 아니면 pass^k는 지수적으로 붕괴한다. ⚠ pass^k가 낮다고 알고리즘이 나쁜 게 아니다. 확률적 LLM의 본성.
앵커: 🔁 주사위 k번 연속 성공 · Ch.14 §14.4
pass^k 신뢰성 · 확률적 평가의 수렴 같은 작업 k회 → 성공률 p → p^k = "모두 성공할 확률" — schema 한 페이지 앵커: 🔁 주사위 k번 연속 성공 ① 앵커 · 🔁 주사위를 k번 굴려 모두 같은 면이 나와야 통과 ✓ run 1 ✓ run 2 ✗ run 3 ✓ run 4 ✓ run 5 p = 4/5 = 0.80 pass^5 = 0.80^5 = 0.328 한 번이라도 실패하면 pass^k가 급락한다 신뢰성 = "k번 연속 성공"의 확률 ③ 결정 피라미드 · 성공 판정 3레벨 ① 단일 run 성공 — Task≥0.999 AND 게이트 PASS expect_contains 충족 + Safety 위반 없음 ② k회 반복 → 성공률 p 산출 같은 작업 k=5회 → success 횟수/k ③ pass^k = p^k → 신뢰성 지표 "k번 연속 성공" 확률 — 낮으면 불안정 ② 비용 지형도 · p vs pass^k의 가파른 낭떠러지 p^5 (k=5) p^1 = p ✦ 신뢰 가능 (p≈1.0) ⚡ p=0.7 → p^5=0.17 pass^k ↑ 단일 성공률 p → ▓▓ 안정 영역 (p > 0.9 → pass^5 > 0.59) ▓▓ ░ 불안정 영역 ░ k가 클수록 곡선이 가팔라진다 — 작은 p 하락이 큰 신뢰성 손실로 ④ 위상 띠 · 작업 하나가 pass^k가 되기까지 ① k회 실행 task_id × run_idx → 해시 seed [ 결정적·재현 가능 ] 채점 ② 성공률 p 산출 success=1 인 비율 → p=0.80 [ 환각으로 인한 변동 ] 지수 ③ pass^k = p^k 0.80^5 = 0.328 → 불안정! → 대시보드에 작업별 표시 ⚔ Pruning Sword p가 1.0이 아니면 pass^k는 지수적으로 붕괴한다. p를 올리는 것만이 유일한 길. ⚠ Confusion Watch pass^k가 낮다고 알고리즘이 나쁜 게 아니다. 확률적 LLM의 본성이다. k를 조정해라.