Eval Metricseval_ph1

특이점 레이더 → drill-down → trajectory 원인 → 개입 후 회복 — 메트릭 이상치에서 출발한 개선 추적
🔧 메트릭 수집 메커니즘 & 개선 구성 (코드 레벨) → 각 메트릭을 어떻게 수집했고 개선을 어떤 코드로 구성했는지
🧪 메트릭 가공·취합 레시피 (pass@1·k·p95) → 리포트 숫자 한 칸이 raw run/event→채점→runs UPDATE→mv 집계의 어디서 어떤 SQL로 만들어지는지 + live 검산
📖 DB / Grafana 데이터 사전 → 모든 테이블·뷰·통계의 의미·적재 방법·해석 가이드
📋 테이블 · 컬럼 레퍼런스 → 주요 8개 테이블 모든 컬럼의 타입·NULL·의미·채움
🧩 에이전트 개선 프로그램 — 결과 & 팀 구성 → 역할×요인메트릭 1변수 A/B 7건·팀구성·실제 산출물 before/after
🔎 DB 조회 쿼리 총정리 → 위 실험·팀·메트릭·산출물을 뽑는 SQL 모음(실DB 검증)
🗺 코드맵 패밀리 → 런타임 해부 · 개선 과정 · 배치 카탈로그 — 코드 구조·이벤트 raw·실험 원장·컬럼/배치 라이프사이클
읽는 법: 이 페이지는 "메트릭에서 특이점(이상치)을 먼저 발견하고, 그 슬라이스를 파고들어 원인을 찾고, 개입 후 메트릭이 회복되는지"를 따라갑니다. ①레이더에서 이상치를 잡고 → 각 케이스 카드에서 ①감지 → ②drill-down → ③trajectory 원인 → ④회복의 4단계로 추적합니다. 수치는 모두 mv_batch_summary·mv_tool_summary·experiments의 실측이며, 주요 케이스엔 실제 DB 행(검은 박스)을 증거로 붙였습니다. promoted 13·rejected 5·inconclusive 1.
1 특이점 레이더 — 메트릭에서 무엇이 튀었나
심각도메트릭 특이점관측값어느 슬라이스에서왜 이상한가→ 추적
🔴 정상 작동 불가 수준 · 🟠 명백한 이상 · 🟡 주의 신호. 각 행 클릭 시 해당 케이스로 이동.
2 케이스별 추적 — 감지에서 회복까지
GAIA첨부·포맷 특이점 라인
Research-QA이미 높은 베이스 — 개입이 오히려 특이점을 만든 사례 다수
Analysis능력 공백(근거 0%)이 특이점 — 웹검색 추가로 해소
3 GAIA L1 메트릭 회복 (baseline → v3 → v5)

이상치 해소 추이 (높을수록 좋음 — loop·fmt는 반전)

레벨별 비교 — 이상치는 어디에 집중됐나

슬라이스pass@1loop_ratefmt_invalidread 도구에러
특이점은 L2 + 첨부 도구에 집중. L1 정상인데 L2만 loop 0.75·fmt 0.75로 폭발 → "왜 L2만?"이 drill-down 트리거였다.
4 주요 메트릭 사전 (참조)
메트릭정의방향이상치로 볼 신호