Google ADK 내장 평가 메트릭 정리

2026. 7. 2. 기준 (google/adk-python evaluation 소스 열람)

ADK가 기본 제공하는 평가 메트릭 11종을 정리함. 채점 방식 기준으로 크게 두 갈래 — 코드 비교 방식 2종(결정론, LLM 미사용)과 LLM 판정 방식 9종. LLM 판정 중 4종은 ADK가 직접 채점하지 않고 Vertex AI(GCP)에 위임함.

1. 요약표

구분	메트릭	채점	점수 / 기본 임계	내용
도구	tool_trajectory_avg_score	코드 비교	0~1 / 1.0	도구 호출의 이름·인자·순서를 기대 궤적과 그대로 비교해 일치 비율 산출. LLM 미사용
응답	response_match_score	코드 비교 (ROUGE-1)	0~1 / 0.8	최종 응답과 정답 간 단어 겹침 정도. 표현이 다르면 점수가 낮게 나옴
응답	final_response_match_v2	LLM 판정	0~1 / 지정 필요	응답이 정답과 의미상 같은지 판정. 표현·형식 차이는 허용. 판정 5회 다수결
품질	rubric_based_final_response_quality_v1	LLM 판정	0~1 / 지정 필요	직접 작성한 평가 기준(rubric)별 yes/no 채점 후 평균. 정답 불필요
도구	rubric_based_tool_use_quality_v1	LLM 판정	0~1 / 지정 필요	도구 사용 순서·논리를 rubric으로 검사. 기대 궤적 불필요
환각	hallucinations_v1	LLM 판정	0~1 / 지정 필요	응답을 문장 단위로 나눠 근거 자료와 대조. 근거 있는 문장 비율이 점수
안전	safety_v1	LLM 판정 (Vertex)	0~1 / 지정 필요	유해 내용 여부. Vertex AI 위임, GCP 계정 필요
멀티턴	per_turn_user_simulator_quality_v1	혼합	0~1 / 지정 필요	멀티턴 평가용 가상 사용자가 시나리오대로 행동했는지 턴별 확인
멀티턴	multi_turn_task_success_v1	LLM 판정 (Vertex)	0~1 / 지정 필요	여러 턴 대화 끝에 사용자 목표를 달성했는지 여부
멀티턴	multi_turn_trajectory_quality_v1	LLM 판정 (Vertex)	0~1 / 지정 필요	목표까지의 진행 과정이 효율적·논리적이었는지
멀티턴	multi_turn_tool_use_quality_v1	LLM 판정 (Vertex)	0~1 / 지정 필요	대화 전반의 도구 선택·사용이 적절했는지

2. 항목별 설명

2.1 tool_trajectory_avg_score

각 턴에서 실제 호출한 도구 목록(이름+인자)을 기대 목록과 비교. 일치하면 1, 아니면 0. 전체 평균이 점수
기본은 완전 일치(EXACT). 설정으로 IN_ORDER, ANY_ORDER 완화 가능
인자를 dict 그대로 비교하므로 공백·타입 차이도 불일치 처리됨. 기본 임계가 1.0이라 한 턴만 어긋나도 실패
기대 도구 목록(tool_uses)을 테스트 데이터에 미리 작성해야 함

2.2 response_match_score

최종 응답과 정답 텍스트의 ROUGE-1 F1(단어 단위 겹침). LLM 미사용이라 빠르고 재현 가능
같은 뜻이라도 어휘·어순이 다르면 점수가 깎임. 형태소 처리(stemmer)가 영어 기준이라 한국어 응답에는 신뢰도 낮음
정답 응답(reference)을 테스트 데이터에 넣어야 함
표현이 다양할 수 있는 태스크라면 final_response_match_v2 쪽이 적합

2.3 final_response_match_v2

판정 모델(기본 gemini-2.5-flash)이 응답과 정답의 의미가 같은지 valid/invalid로 판단
반올림, 단위 변환, 표/문장 형식 차이 등은 허용하는 방향으로 판정
턴마다 판정을 5회 반복해 다수결. 동점이면 invalid 처리. 그만큼 호출 비용이 붙음
정답 응답 필요. 임계값은 기본값이 없어 직접 지정해야 함

2.4 rubric_based_final_response_quality_v1 / 2.5 rubric_based_tool_use_quality_v1

평가 기준(rubric) 목록을 사람이 작성하면, 판정 모델이 기준별로 yes/no 채점 후 평균
정답이 없어도 평가 가능. 응답 품질용과 도구 사용용 두 종류
도구 사용용은 "A 도구 다음에 B 도구를 호출했는가" 같은 순서·의존 관계를 자연어 규칙으로 검사할 수 있음
기준 문구가 애매하면 판정도 흔들림. 판정 결과 파싱에 실패한 기준은 평균에서 빠지므로 결과 해석 시 유의

2.6 hallucinations_v1

응답을 문장 단위로 분해한 뒤, 각 문장이 근거 자료(도구 출력, 지시문 등)에 기반하는지 라벨링
근거 있는 문장(supported, not_applicable 포함)의 비율이 점수. 1.0이면 근거 없는 문장이 없다는 뜻
근거 자료 자체가 부실하면 판정도 부실해짐. 다른 판정 메트릭과 달리 1회만 실행(다수결 없음)
점수가 높다고 해서 곧바로 신뢰하기는 어려움 — 판정기 자체의 오판 가능성을 별도로 확인할 필요가 있음

2.7 safety_v1

응답에 유해·폭력·혐오 내용이 있는지 검사. ADK 자체 로직 없이 Vertex AI 평가 SDK에 전부 위임
GCP 프로젝트와 자격 증명이 없으면 실행 자체가 안 됨(ValueError). 판정 기준도 Vertex 내부라 확인 불가

2.8 per_turn_user_simulator_quality_v1

멀티턴 평가는 가상 사용자(시뮬레이터)가 에이전트와 대화하는 구조인데, 이 메트릭은 그 가상 사용자 쪽을 검사함
첫 턴은 시나리오의 시작 문구와 문자열이 정확히 같은지, 이후 턴은 시나리오·페르소나 준수 여부를 판정 모델로 확인(5회 다수결)
이 점수가 낮으면 해당 대화로 계산한 다른 멀티턴 메트릭도 신뢰하기 어려움. 멀티턴 평가 시 같이 돌리는 것이 안전

2.9 multi_turn 3종 (task_success / trajectory_quality / tool_use_quality)

같은 멀티턴 대화를 세 관점으로 나눠 채점 — 목표 달성 여부(결과), 진행 경로의 효율(과정), 도구 사용의 적절성
결과만 보면 운 좋은 성공을 못 거르고 과정만 보면 목표 미달을 못 거르므로, 셋을 조합해 해석
세 개 모두 Vertex AI 위임. GCP 필요, 판정 기준 비공개, 실행마다 점수 변동 가능

3. 도입 시 유의점

LLM 판정 9종은 실행마다 점수가 달라질 수 있음. 회귀 테스트 게이트로는 코드 비교 2종이 적합하고, 판정 계열은 추이 관찰용으로 쓰는 편이 안전함
safety_v1과 multi_turn 3종은 GCP 프로젝트·과금 필요. 내부망 등 폐쇄 환경에서는 사용 불가
임계값 기본값은 tool_trajectory(1.0), response_match(0.8) 둘뿐. 나머지는 설정 파일에 직접 지정하지 않으면 통과/실패 판정이 나오지 않음
정답 데이터가 필요한 것은 3종(tool_trajectory, response_match, final_response_match_v2)뿐. 나머지는 rubric이나 시나리오 등 다른 형태의 사전 작업으로 대체됨
11종 중 9종에 experimental 표시가 있어 이후 버전에서 API가 바뀔 수 있음. 라이브러리 버전 고정 권장

근거: google/adk-python evaluation/ 소스, adk.dev/evaluate · 관련: 상세 페이지, A4 요약, 표만 보기