METHODOLOGY · agent-eval
멀티에이전트 팀을 "데이터로" 개선하기
"좋아졌다"를 우기지 않고 증명한다 — 모든 실행을 trace DB에 기록하고, 메트릭의 특이점에서 원인을 찾아 한 번에 한 변수씩 바꾸고, 점수가 오르는지 matched A/B로 잰다.
0.00 → 0.98
근거↔정답 상관
cite_f1<0.5 vs ≥0.5 pass@1 · N=90
20 / 20
gold-free 점수 검증
claim_verified ↔ 실제 정답 완전 일치
100% → 0%
도구에러
멀티포맷 파서 개입 후
0.36 → 0.58
pass@1 (L1)
도구·루프 개선 동반 상승
전 과정·해석·근거 정리 · 모든 수치는 PostgreSQL trace DB 실측 · 검증 안 된 지표는 쓰지 않는다