EVAL SET · agent-eval

리서치 평가셋 — 합성 지식그래프 코퍼스

코퍼스는 닫힌 지식그래프다(person→team→project 체인). 태스크는 그래프를 hop 수만큼 따라가기. gold_sources = 경로상의 문서. 정답을 맞히려면 그 경로의 문서를 정확히 인용해야 하므로 — 근거(grounding)와 정답률이 기계적으로 묶인다.
개념 — 코퍼스·태스크·gold 경로
코퍼스 1문서 = 원자적 사실 (엔티티: 사람/팀/프로젝트). 10개 체인이 서로 독립.
person_N —manages→ team_N —runs→ project_N —has→ budget/deadline/client/status
태스크 = 그래프 traversal. hop 수 = 따라가야 할 간선 수. gold_sources = 그 경로상의 문서 집합.
1hop: project 속성 직접 · 2hop: project→team→person(역방향) · 3hop: person→team→project(정방향)
아래에서 데이터셋·체인을 골라 실제 그래프와 그 체인의 1/2/3-hop 태스크를 gold 경로 하이라이트로 확인.
체인 탐색기
전체 태스크 (research)
task_idhopsquestiongold_answergold_sources
출처: data/research/ · data/research_hard/ (tasks.jsonl + corpus/*.txt) · 채점 근거: 본문 부록 B(citation F1)