메트릭 가공·취합 레시피

가장 자주 인용되는 메트릭. 완료된 run 중 success=true의 비율이다. 그 이상도 이하도 아니다 — 시도 1회 기준 정확도.

AVG(r.success::int)                         AS pass_at_1
-- FROM runs r JOIN tasks t USING(task_id)
-- WHERE  r.status = 'completed'
-- GROUP BY batch_id, team_id, level

pass@k는 2단계로 만들어진다. 먼저 task 단위로 "여러 시도 중 하나라도/전부 성공했나"를 접고(mv_passk), 그 다음 team 단위로 센다(report.py). 단일 SQL이 아니라는 점이 핵심.

1단계 — task별 접기 mv_passk

SELECT batch_id, team_id, task_id,
       COUNT(*)          AS k          -- 이 task를 몇 번 시도했나
       BOOL_OR(success)  AS pass_any   -- k번 중 1번이라도 성공?
       BOOL_AND(success) AS pass_all   -- k번 모두 성공?
FROM runs WHERE status='completed'
GROUP BY batch_id, team_id, task_id;

2단계 — team별 집계 report.py · fetch_passk_agg()

SELECT team_id, COUNT(*) AS tasks,
       SUM(pass_any::int) AS pass_any_count,   -- ≥1 성공한 task 수
       SUM(pass_all::int) AS pass_all_count,   -- 전부 성공한 task 수
       AVG(k)             AS avg_k            -- task당 평균 시도수
FROM mv_passk WHERE batch_id=$1 GROUP BY team_id;

AVG((NOT r.format_valid)::int)
    FILTER (WHERE r.status='completed')   AS format_invalid_rate

• format_valid는 scorer가 FINAL ANSWER: 패턴을 못 찾으면 false (§2).
• NOT format_valid를 1로 세서 평균 → 형식 위반율.
• 이게 높으면 정답을 알아도 채점기가 못 읽어 success=false가 된다 → pass@1을 깎는 형식 손실.
• FILTER (WHERE status='completed')는 바깥 WHERE와 중복이지만 방어적으로 남겨둠.

AVG((r.terminated_by='max_messages')::int)   AS loop_rate

AVG(r.total_turns)                       AS avg_turns
AVG(r.total_tokens)                      AS avg_tokens
SUM(r.total_tokens)::float
  / NULLIF(SUM(r.success::int),0)        AS tokens_per_success

tokens_per_success가 가장 오해받는 메트릭이다. "정답 하나를 얻는 데 든 실제 토큰 값"으로, 분자에는 실패한 run이 태운 토큰까지 포함된다.

-- p95: mv_batch_summary 안에 저장
PERCENTILE_CONT(0.95) WITHIN GROUP (ORDER BY r.latency_ms)  AS p95_latency

-- p50: MV에 없음 → report.py가 runs에서 그때그때 계산 (fetch_p50_by_level)
PERCENTILE_CONT(0.5)  WITHIN GROUP (ORDER BY r.latency_ms)  AS p50_latency

유일하게 runs가 아니라 events를 직접 집계하는 MV. 이벤트 타입을 FILTER로 갈라 도구별로 센다.

SELECT r.batch_id, e.tool_name,
  COUNT(*) FILTER (WHERE e.message_type='tool_call')   AS calls,
  COUNT(*) FILTER (WHERE e.message_type='tool_error')  AS errors,
  AVG(e.latency_ms) FILTER (WHERE e.message_type='tool_result') AS avg_latency
FROM events e JOIN runs r USING(run_id)
GROUP BY batch_id, tool_name;

• calls: tool_call 이벤트 수 = 도구 호출 시도 횟수.
• errors: tool_error 이벤트 수. errors/calls = 도구 실패율.
• avg_latency: tool_result 이벤트의 latency_ms 평균 (이벤트 단위 latency = 직전 이벤트와의 ts 간격).
• tool_call 이벤트는 CHECK로 tool_call_id·tool_name 필수 → 집계 키 누락 없음.