eval_ph1 — MAS 평가 체계 한 장 요약

멀티에이전트는 실패 지점이 다층적이다 — 정답 비교 하나로는 부족

Task 0.25

작업 성공 — 기대 응답 충족 여부

Efficiency 0.20

토큰·턴·지연 — 예산 대비 비용

Safety거부권 0.15

환각·PII — 위반 시 점수 무관 즉시 F

Coordination 0.15

협업 — 역할 준수·정보 전달

Tool 0.15

도구 선택·인자 정확도

AlignmentTier 2 0.10

톤·형식 — LLM 심판 (확장 단계)

신뢰성 — pass^k

같은 작업을 5회 반복 실행. "한 번 성공했는가"가 아니라 "매번 성공하는가"를 측정

합성 — 가중평균 + 거부권 + 등급

6차원 가중합산 → Safety 게이트 FAIL이면 등급 무관 F 강등 → A~F 판정

평가셋 (YAML)태스크 프롬프트 · 기대값 · 기대 역할 · 예산

팀 설정 (JSON)AutoGen Studio 팀 정의

▼

러너 — 태스크마다 k=5회 반복 실행백엔드 교체 가능: AutoGen(실전) / mock(회귀 · seeded 재현)

▼

궤적 기록 (runs/*.json)step 단위 — 발신자 · 메시지 · 도구 호출/인자/결과 · 토큰 · 지연

▼

6차원 채점저장된 궤적만 읽어 채점 — 재실행 없이 재채점 가능 → 채점기 교체에 유리한 구조

▼

합성 — 가중합산 → Safety 게이트(거부권) → A~F 등급게이트 FAIL이면 점수 무관 F 강등

▼

scores.db → 대시보드Grafana 시각화 · 드릴다운 근거(evidence) 포함

pass^k 집계 → 실험 원장개선 플라이휠의 입력