VPS 서비스 (사내)

🧭 평가 체계 길잡이 (개념·지표·방향)

처음 봐도 이해되는 심층 해설 — 배경개념·지표 읽는 법·현황·방향

📑 코드 동작 총정리 (동작·설정·DB·Grafana)

워크플로우·CLI·env·이벤트로깅·채점·스키마·집계뷰·Grafana 연동 한 페이지

🗺 코드 아키텍처 맵 + 런타임 해부

전체 코드 구조(도식·표) + run_stream→events/runs 이벤트별 raw 추적 + v1→v6 전 diff·명령어·테스트 가이드

📈 v1→v6 개선 실제 과정 (실험 원장)

각 버전이 겨냥한 실패·가설·1변수 개입·temp=0 A/B 측정·promoted/rejected 판정을 실제 experiments(EXP-37~148) 수치로

🗃 데이터 라이프사이클 & 배치 카탈로그

컬럼이 phase별로 언제 저장되나(시작 INSERT vs 종료 계산 vs 안 채움) + live DB 실제 평가 배치 전수(프로그램별)

🔭 메트릭 발견 — 방법과 근거 (MAST·업계)

더 유의미한 메트릭을 찾는 발견 루프 + corr 분리력 실측 + 왜 이 메트릭인지 내부증거×MAST/τ-bench 근거(근거등급)

🎬 평가 파이프라인 코믹스

run 1회의 생애를 8장 웹툰으로 — P–E–C·로깅·채점·재현성가드·Grafana

🏗 HQ Teams 빌드추적 (Grafana)

고퀄리티 팀(R/C/E/Q) 빌드·개선 원장·grounded·비용 지표

🔬 개선 플라이휠 (종합)

기획의도·실험원장 19건·trajectory·메트릭 한 페이지

① 총괄 개요

Grafana · 실험 원장·레버 패턴·커버리지

③ 분석 grounding

Grafana · stale vs web 검색·비용

AutoGen Studio

팀 14~18 직접 실행 비교

Eval Metrics

GAIA·BrowseComp·Deep Research 진단

🧪 메트릭 가공·취합 레시피 (pass@1·k·p95)

리포트 숫자 한 칸이 raw run/event→채점→runs→mv 집계의 어디서 만들어지는지 SQL·코드·live 검산까지

🔎 인용·최신성 판정 로직 (설계+구현)

cite_f1·grounded·recency를 '정확히' 판정하는 로직 — 3축 재구성·메타평가(판정기를 gold로 채점)·fail-open 분리, 단계별 구현 진행 실시간 기록

🧰 Metric Library (optimizer 공급용·사전설계)

메트릭 전체식 표(수식·trajectory) + '프롬프트가 아니라 도구를 고쳐라' 근거(자체 40실험 메타패턴·BFCL·τ-bench·Anthropic tool-writing) + Metric→Lever 매핑

🔬 Google ADK 내장 메트릭 11종 해부

PrebuiltMetrics enum 전종 — 채점방식(programmatic vs LLM judge vs Vertex AI 위임), 입력/출력/임계값, 클래스명, 선택 가이드, 소스 직접 검증

🎤 ADK 메트릭 보고용 브리핑 (6버전)

11종 요약표를 발표 축으로 — 치트시트·3분 대본·개념 계보·계산식+trajectory 매트릭스·비유·예상 Q&A 10문 + Confluence Present용 마크업

ADK 메트릭 정리 — 담백판

같은 내용을 실무 문서 톤으로 — 문서형(개조식 정리) / A4 한 장 인쇄용(handout.html) / 화면공유용 표만(bare.html)

🎙 MAS 평가 5분 발표 — 최종 대본

상부 보고용 타임라인+대본 — eval_ph1 먼저 → ADK 11종 대조 → 하이브리드 결정. 화면 큐·발표 팁·예상 Q&A

📄 eval_ph1 한 장 요약 (발표 화면 2)

MAS 실패 지점 5 → 6차원 채점(가중치·Safety 거부권) → pass^k → 파이프라인·운영 실적. 프로젝터용 슬라이드형

🧩 ADK 11종 선정 근거·매핑·최종선정표

왜 11개인가(공식 전수 근거) + eval_ph1 지표 매핑 전수(채택5·배제5·보류1) + 최종 메트릭 구성표 + 탈락분 커버 경로 + 발표 멘트

주제 리서치 비교

반도체 동향 · base vs 웹검색 개선 (출처 0→6)

리서치 비교 갤러리

5주제 base vs 개선 · 웹근거 경계

📘 평가 방법론 (전 과정·근거)

측정-개선 루프·메트릭 계산·코드 구조 정리

🗂 평가셋 코퍼스 뷰어

지식그래프 코퍼스·1~3hop 태스크·gold 경로 탐색

📊 개선 과정 상세 (19실험)

5단계 프레임 케이스별 서술·코드·숫자 75건 재검증

🔬 run 수집 추적

run 1개의 metric 출생 전 과정·실제 DB행+코드 추적

VPS 서비스

📈 에이전트 평가 (agent-eval) 28

학습 / 리서치 12

책 (직접 진입) 5

앱 (Node) 4

도구 / 모니터링 4

📊 Trading Dashboard 5

🧬 AI 디자인 도구 1

기타 (자동 탐지) 6

서브도메인 (자동) 1