v1 → v6 개선 실제 과정

1개선 곡선 — 실제 pass@1 사다리

두 축. ① L1 전체 pass@1(주력 라인) ② 첨부(has_attachment) 태스크 pass@1 — 도구 레버의 인과가 가장 깨끗한 지표.

① GAIA L1 전체 pass@1 (입력→프롬프트→도구 누적)

* EXP-41은 v1 대비(L1 0.36→0.571) — v2의 경로주입 + v3의 템플릿수정이 함께 반영. † EXP-46 공유 15태스크 기준(0.533→0.600). ‡ EXP-42 전체 24태스크(0.52→0.577); v5의 진짜 효과는 아래 첨부 축에서 드러난다.

② 첨부(has_attachment) 태스크 pass@1 — 도구 레버

별도 가지 — v6-verify-gate (라우팅 실험, inconclusive)

v6은 v5의 후속이 아니라 v1에 검증 게이트만 더한 가지. critic 경유율·검증부재실패는 분명히 고쳤지만 pass@1은 통계적으로 미미(§4 EXP-148).

2개선 루프의 구조 — 추측이 아니라 측정

모든 버전은 같은 6단계를 돈다. 이 루프가 experiments 테이블 한 행으로 응결된다.

• 1변수 원칙. 프롬프트·도구·토폴로지·입력 중 하나만 바꾼다. 그래야 delta를 그 변수에 귀속할 수 있다. 프롬프트가 한 글자라도 바뀌면 새 team_id(재현성 가드 AC9 — DB가 hash 불일치를 거부).
• 깨끗한 A/B. 같은 task 셋, temp=0 greedy, seed 고정. EXP-40 교훈: temp>0 측정은 노이즈로 소규모 효과를 가리거나 가짜 회귀를 만든다.
• 원장 한 행. 시작 시 가설/개입 INSERT → 판정 시 verdict·key_evidence·lesson UPDATE. verdict=promoted인 team_after가 다음 베이스라인이 된다.
• 판정 3종. promoted 새 베이스라인 채택 · rejected 회귀/무효과로 폐기 · inconclusive 효과는 있으나 결론 불가(소표본/병목 이동).

3출발점 — v1이 진 실패 모드 지도 (EXP-37)

실 GAIA L1 첫 실측(gaia_l1_real_20260610, n=25, pass@1=0.36, loop_rate=0.32). 이 4가지 실패가 v2~v5의 타깃이 됐다.

4실험별 상세 — 가설 · 개입 · 측정 · 교훈

각 카드는 원장 1행. 측정값은 key_evidence 실수치(before → after).

5메타 패턴 — 무엇이 promoted/rejected를 가르나

7개 실험(+타 도메인 원장)에서 반복된, 데이터로 확정된 규칙성.

• “도구/입력 레버 > 프롬프트 양치기.” 좋은 베이스라인에선 surgical한 데이터/도구 수정이 프롬프트 튜닝보다 신뢰롭다. 프롬프트 ‘추가’는 working flow를 깨 전반 성능을 떨어뜨리곤 한다(비단조성).
• 효율 레버엔 정확도 가드. EXP-45(캡)·EXP-60(RoundRobin)은 “싸지만 틀린” 함정. 토큰 −38%/−17%가 전부 오답에서 나왔다. 하니스가 즉시(0→21% fmt_invalid, 97→7% acc) 잡아 출시를 막았다.
• verifier는 은탄환이 아니다. 검증 경유를 강제하면 그 실패 모드(FM-3.2)는 사라지지만, 책임이 ‘검증의 깊이’(FM-3.3, 승인오답)로 옮겨갈 뿐 — 점수는 그대로일 수 있다.
• 측정이 곧 가치. 단발 dramatic 예시는 오도(EXP-44·70: 33% 플래키, N=1 ‘60→90’이 N=3에선 ‘93→97’). pass@k·N회가 진실. 메트릭 자체가 버그일 수도(EXP-57: ‘grounding 58%’가 채점 버그). 틈을 좇기 전에 그 메트릭이 맞는지부터.

6재현 — 각 A/B를 다시 돌리는 명령

옵션·환경 상세는 런타임 해부 §L(명령어) / §M(테스트 가이드). 핵심은 같은 task 셋·temp=0·seed 고정.

# 공통 전제 — 깨끗한 A/B를 위한 .env 고정
EVAL_DEFAULT_TEMPERATURE=0      # greedy (소규모 효과를 노이즈가 가리지 않게)
EVAL_DEFAULT_SEED=42

# EXP-40  v1 → v2 (첨부 경로주입)  같은 L1 셋으로 두 배치
python cli.py run --batch a_v1 --team v1-baseline   --benchmark gaia --level 1
python cli.py run --batch a_v2 --team v2-attach-path --benchmark gaia --level 1
python cli.py compare --batches a_v1,a_v2

# EXP-41/46  프롬프트 라인 (v3, v4)
python cli.py run --batch a_v3 --team v3-prompt-fix --level 1
python cli.py run --batch a_v4 --team v4-prompt-fix --level 1

# EXP-42  도구 교체 A/B (v4 대조 vs v5)  — 첨부 태스크에서 갈림
python cli.py run --batch a_v4ctl --team v4-prompt-fix --level 1
python cli.py run --batch a_v5    --team v5-multitool  --level 1
python cli.py compare --batches a_v4ctl,a_v5

# EXP-43  v5의 Level-2 일반화 (개입 없음, 셋만 교체)
python cli.py run --batch a_v5_l2 --team v5-multitool --level 2 --exclude-web

# EXP-44  pass@k 안정성 (쿼터 여유 시간대 단독 실행 권장)
python cli.py run --batch a_v5_k3 --team v5-multitool --level 1 --attempts 3
# 429로 크래시 나면 쿼터 회복 후:  --retry-crashed 로 재개

# EXP-148  v6 검증게이트 (v1 대조)
python cli.py run --batch a_v1b --team v1-baseline    --level 1
python cli.py run --batch a_v6  --team v6-verify-gate --level 1
python cli.py compare --batches a_v1b,a_v6

# 판정 기록 — 원장 한 행 (src/agent_eval/experiments.py)
#   record_start(title, hypothesis, intervention, team_before, team_after, batch_before, batch_after)
#   record_conclude(exp_id, verdict='promoted'|'rejected'|'inconclusive', key_evidence={...}, lesson='...')