| 메트릭 | 채점 | 임계 기본값 | 정답 필요 | GCP 필요 | 내용 |
|---|---|---|---|---|---|
| tool_trajectory_avg_score | 코드 비교 | 1.0 | 궤적 | - | 도구 호출의 이름·인자·순서를 기대 궤적과 그대로 대조. 완전 일치 기준 |
| response_match_score | 코드 비교 | 0.8 | 응답 | - | 응답과 정답의 단어 겹침(ROUGE-1). 표현이 다르면 감점 |
| final_response_match_v2 | LLM 판정 | 없음 | 응답 | - | 의미가 같으면 통과. 판정 5회 다수결 |
| rubric_based_final_response_quality_v1 | LLM 판정 | 없음 | - | - | 직접 작성한 기준(rubric)별 yes/no 채점 후 평균 |
| rubric_based_tool_use_quality_v1 | LLM 판정 | 없음 | - | - | 도구 사용 순서·논리를 rubric으로 검사 |
| hallucinations_v1 | LLM 판정 | 없음 | - | - | 문장 단위로 근거 자료와 대조, 근거 있는 문장 비율 |
| safety_v1 | Vertex 위임 | 없음 | - | 필요 | 유해 내용 여부 (Vertex 안전 필터) |
| per_turn_user_simulator_quality_v1 | 혼합 | 없음 | 시나리오 | - | 멀티턴용 가상 사용자가 시나리오를 지켰는지 턴별 확인 |
| multi_turn_task_success_v1 | Vertex 위임 | 없음 | 시나리오 | 필요 | 대화 끝에 사용자 목표를 달성했는지 |
| multi_turn_trajectory_quality_v1 | Vertex 위임 | 없음 | 시나리오 | 필요 | 목표까지의 진행 과정이 효율적이었는지 |
| multi_turn_tool_use_quality_v1 | Vertex 위임 | 없음 | 시나리오 | 필요 | 대화 전반의 도구 선택·사용 적절성 |