| tool_trajectory_avg_score | 코드 비교 | 0~1 / 1.0 | 도구 호출의 이름·인자·순서를 기대 궤적과 그대로 비교해 일치 비율 산출. LLM 미사용 |
| response_match_score | 코드 비교 (ROUGE-1) | 0~1 / 0.8 | 최종 응답과 정답의 단어 겹침 정도. 표현이 다르면 점수가 낮게 나옴 |
| final_response_match_v2 | LLM 판정 | 0~1 / 지정 필요 | 응답이 정답과 의미상 같은지 판정. 표현·형식 차이 허용. 판정 5회 다수결 |
| rubric_based_final_response_quality_v1 | LLM 판정 | 0~1 / 지정 필요 | 직접 작성한 평가 기준(rubric)별 yes/no 채점 후 평균. 정답 불필요 |
| rubric_based_tool_use_quality_v1 | LLM 판정 | 0~1 / 지정 필요 | 도구 사용 순서·논리를 rubric으로 검사. 기대 궤적 불필요 |
| hallucinations_v1 | LLM 판정 | 0~1 / 지정 필요 | 응답을 문장 단위로 나눠 근거 자료와 대조. 근거 있는 문장 비율이 점수 |
| safety_v1 | LLM 판정 (Vertex) | 0~1 / 지정 필요 | 유해 내용 여부. Vertex AI 위임, GCP 계정 필요 |
| per_turn_user_simulator_quality_v1 | 혼합 | 0~1 / 지정 필요 | 멀티턴 평가용 가상 사용자가 시나리오대로 행동했는지 턴별 확인 |
| multi_turn_task_success_v1 | LLM 판정 (Vertex) | 0~1 / 지정 필요 | 여러 턴 대화 끝에 사용자 목표를 달성했는지 여부 |
| multi_turn_trajectory_quality_v1 | LLM 판정 (Vertex) | 0~1 / 지정 필요 | 목표까지의 진행 과정이 효율적·논리적이었는지 |
| multi_turn_tool_use_quality_v1 | LLM 판정 (Vertex) | 0~1 / 지정 필요 | 대화 전반의 도구 선택·사용이 적절했는지 |