주제 리서치: base vs 개선반도체 업계 동향

같은 주제를 두 에이전트 팀에 돌린 실제 리포트 + 품질 해석 + team config + 도식 + base→개선 metric 여정 · 실제 기업명은 익명 처리(A사·B사 등)

무엇을 비교하나: 동일 주제 "반도체 업계 동향(2026 메모리/HBM·공정·경쟁·공급망·전망)"을 base(v2-analyst-deep, 웹 없음)과 개선(v6-analyst-web, 웹 검색+날짜+출처 인용)에 각각 돌린 결과. 둘 다 planner→analyst→synthesizer→critic 4-에이전트(z.ai GLM). 차이는 웹 근거 하나.

먼저 읽어주세요 — 이 페이지의 두 가지 스코프(중요): ① 리포트(§2)는 '반도체' 1개 주제를 보여준다. ② 하지만 메트릭 숫자(§5·§6의 토큰·검색·지연 등)는 서로 다른 주제 3개의 '평균'이다 — 한 주제만 보면 우연일 수 있어, 통계 신뢰를 위해 반도체 + 전기차 배터리 + AI 가속기(GPU) 세 주제를 각각 돌려 평균냈다(이게 N=3의 뜻). 각 주제 run은 자기 주제만 검색한다(반도체 run은 반도체만). 그래서 §7 로그의 '반도체' 검색어는 전부 반도체/HBM/파운드리다.

❓

처음 보세요? — 용어·개념·"이거 믿어도 되나?"를 한 곳에 모은 FAQ

grounding·pass@k·토폴로지·두 개의 grounded% 같은 낯선 말과 회의적 질문 95개를, 이 분야를 처음 접하는 사람 기준으로 아주 자세히 풀었습니다(난이도·검색 필터 포함).

95문항 보기 →

📖 용어·약어 풀이 — 낯선 말이 나오면 여기서 (펼치기)

task (태스크)

평가에 쓰는 질문/작업 1건. 예: "반도체 업계 동향을 분석해줘". 이 평가셋엔 task가 3개(반도체·EV배터리·AI가속기).

run (런)

한 팀이 한 task를 1번 실행한 것. 1 run = 대화 1세션 + 결과 리포트 1개.

N=3

서로 다른 task 3개를 각각 돌렸다는 뜻. 숫자(토큰·검색 등)는 이 3개의 평균. 한 주제(N=1)는 우연일 수 있어 평균이 더 믿을 만하다.

batch (배치)

한 실험에서 돌린 run 묶음(예: v3 팀 × task 3개 = 3 run = 1 batch).

events / seq

events = 한 run 안의 모든 메시지·도구호출 기록(DB에 1줄=1이벤트). seq = 그 순번(s0, s2, s4…), 즉 일어난 순서.

턴 (turn)

에이전트가 한 번 발언하는 단위. "13턴" = 13번 주고받음.

grounded% (근거율)

리포트가 실제 웹 검색에 근거했나. 모델 말이 아니라 '검색 도구를 진짜 호출했나(events)'로 잰다. 0%=기억으로만, 100%=실검색 기반.

report_sources

최종 리포트 '## 출처'에 박힌 URL 개수.

web_search/run

run 한 번에 검색 도구를 부른 횟수.

tokens (토큰)

LLM이 읽고 쓴 양 ≈ 비용. 많을수록 비싸고 느리다.

latency (지연)

run 1번이 끝나는 데 걸린 시간(초).

빈 쿼리 연타

같은 검색 도구를 검색어 없이('') 여러 번 연속 호출한 것 — 무의미한 헛호출(모델의 도구 난사).

1변수 (원칙)

한 번에 딱 한 곳만 바꿔 측정. 두 곳 바꾸면 어느 게 효과인지 못 가린다.

promoted / rejected /
inconclusive

실험 판정 — 채택(개선됨) / 기각(역행·부작용) / 판단보류(불확실).

paired (짝지은) 비교

같은 task끼리 두 팀을 비교. 서로 다른 task로 비교하면 난이도 차이에 속는다.

planner→analyst→
synthesizer→critic

4개 역할: 분해→검색·분석→리포트 작성→검수(승인/반려).

FINAL ANSWER /
APPROVE

synthesizer가 'FINAL ANSWER:'로 최종 리포트를 내고, critic이 'APPROVE'를 출력하면 대화 종료.

critic 게이트 / 반려

critic이 조건(출처 N개 등) 미달이면 반려 → 다시 검색·작성. 조건이 빡세면 재검색 루프가 길어져 비용↑.

dedup (중복 제거)

같은 출처(도메인)가 반복되면 하나만 남김.

EXP-65 등

실험 일련번호(원장 기록). EXP = experiment(실험).

v2-deep / v6-dedup

팀 버전 이름. v 뒤 숫자가 클수록 나중(개선된) 버전.

prompt_bundle_hash /
team_id

프롬프트가 한 글자라도 바뀌면 자동으로 다른 team_id가 부여돼, 바뀐 팀과 안 바뀐 팀을 시스템이 구분(실수 방지).

temp=0 / seed

모델을 같은 입력엔 같은 출력이 나오게 고정(통제 비교용).

0회 → 5회

웹 검색

0개 → 6개

인용 출처 URL

없음 → 2026-06-14

기준 시점(최신성)

검증불가 → 검증가능

수치의 출처

29.4k → 21.3k

토큰/run −28% (개선이 더 쌈)

280s → 177s

지연/run −37% (개선이 더 빠름)

1 이 데이터 퀄리티가 어떤 면에서 좋아졌나 (해석)

품질 차원	base (v2-analyst-deep)	개선 (v6-analyst-web)	왜 중요한가
근거성 (grounding)	0% — 학습지식으로만	100% — 모든 핵심 사실 실검색 기반	"지어낸 게 아니라 실제 자료에서 왔다"
최신성 (recency)	2025 컷오프 시점 일반론	2026-06-14 기준 (AI 슈퍼사이클 반영)	오래된 정보가 아니라 지금 상황
검증가능성	출처 0 → 한 줄도 확인 불가	출처 6개 클릭 → 원문 대조	믿으라가 아니라 직접 확인 가능
구체성	둥근 추정 (HBM "약 300억$")	출처 단 정밀 수치 (HBM 546억$ +58%, C사 72.3%)	의사결정에 쓸 수 있는 정밀도
전망의 성격	임의 확률 시나리오(60/25/15%)	실제 진행 사안 기반(A사 2nm 수율·HBM4 검증)	가상이 아니라 추적 가능한 관전 포인트

핵심 해석 — "검증가능성"이 진짜 가치다: base 리포트도 문체·구조는 그럴듯하다. 차이는 믿을 근거가 있느냐다. 실제로 이 페이지 초안에서 내(AI)가 개선 리포트의 "A사 1분기 영익 57조"를 내 학습지식(2025 ~17조)으로 "틀렸다"고 적었는데 — 틀린 건 나였다(2026 슈퍼사이클로 57조 실제 맞음, 도메인 출처 재확인). 즉 출처 있는 웹 리포트가 맞았고, 내 기억 기반 '검증'이 환각이었다. 이게 base 팀의 실패 모드 그 자체이고, "모델 기억"이 아니라 "실제 출처"로 검증해야 하는 이유다.

2 실제 리포트 (같은 주제, 나란히)

🔴 base · v2-analyst-deep웹 없음 · 출처 0

🟢 개선 · v6-analyst-web웹검색 5회 · 출처 6

3 각 팀의 현재 config 구조

v2-analyst-deep · RoundRobin · 도구 없음

planner도구없음분석 요청을 5~6개 소주제(시장·기술·경쟁·공급망·리스크·전망)로 분해

analyst도구없음각 소주제를 구체 사실·수치로 분석 — 학습지식에서 (검색 불가)

synthesizer도구없음FINAL ANSWER 마크다운 섹션 리포트 작성 (출처 개념 없음)

critic도구없음구체성·균형·구조 점검 → APPROVE 또는 1회 반려

v6-analyst-web · RoundRobin · web_search_deduped

planner+날짜맥락동일 분해 + "오늘은 2026-06-14" 주입(학습시점 아닌 현재 기준)

analyst🔍 web_search_deduped소주제당 검색(약 5회, 1라운드)으로 수치·날짜 실확인, 각 사실에 출처 URL

synthesizer+출처상한동일 리포트 + 중복 제거 후 핵심 5~8개만 '## 출처' 인용 + '기준 시점' 명시

critic완화게이트FINAL ANSWER + 출처 URL ≥3개면 APPROVE (재검색 루프 안 강제)

1변수 원칙: 두 팀은 같은 4-에이전트·같은 토폴로지·거의 같은 프롬프트다. 바뀐 건 ① analyst에 web_search_deduped 도구 ② 오늘 날짜 주입 ③ synthesizer 출처 상한 — 이 묶음 하나. 그래서 차이가 "웹 근거" 효과로 격리된다.

4 파이프라인 도식 (개념도)

base — 학습지식 폐루프

질문

→

planner

분해

→

analyst

기억에서

→

synth

리포트

→

critic

→

📄 출처 0 · 검증 불가

개선 — 웹 근거 주입

질문

+오늘날짜

→

planner

분해

→

analyst

🔍 실검색

→

synth

출처 5~8

→

critic

→

📄 출처 6 · 검증 가능

완성형(OpenAI 딥리서치급) 개념도: ① 조사(analyst-web, ✅ 이 페이지) → ② 팩트체크(교차검증 — 각 주장을 인용 출처에 대조, ✅ 별도 구축) → ③ 반복 검색(갭 분석→추적, 기획 단계). 지금 ①②를 각각 가졌고, 합치면 "출처 단 + 검증된 장문 리포트".

5 ★ base → 개선: metric 특징과 개선 과정 (심층)

핵심 metric: grounded%(검색 근거 보유율) · report_sources(인용 출처 수) · web_search/run(검색 횟수) · tokens(비용) · latency. 같은 3개 task(N=3)·temp=0 통제 비교. (N=3 = 반도체·EV배터리·AI가속기 서로 다른 주제 3개의 평균 — 한 주제는 우연일 수 있어서. 위 §2 리포트는 그중 반도체 1개만 표시. 용어가 낯설면 페이지 상단 📖 용어 풀이 참고.)

단계	grounded%	출처수	검색/run	토큰	지연s	판정
v2-deep (base)	0	0	0	29.4k	280	—
v3-web EXP-65	100	4.7	17.3	97k	602	promoted
v4-lite EXP-66	100	2.3	5.7	17.8k	209	promoted
v5 EXP-67	67	15.7	5.0	28.6k	306	rejected
v6-dedup EXP-68 (현재)	100	4.7	4.0	21.3k	177	promoted

▸ 수행 시 수집된 전체 메트릭 — base(v2-deep) ↔ 현재(v6-dedup) 완전 비교

메트릭	측정 방식 (어디서 나오나)	base v2-deep	현재 v6-dedup	Δ 절대	Δ %	해석
grounded_pct (%)	events — `web_search` 호출수 ≥1 (자기보고 ❌)	0	100	+100pp	—	도구 유무에서 갈리는 능력 자체
web_search / run	events — 도구 호출 카운트	0	4.0	+4.0	—	1라운드 dedupe 검색 (과검색 제거 후)
report_sources *	리포트 텍스트 파싱 (## 출처)	0	4.7*	+4.7	—	*N=3 평균·flaky (아래 EXP-69 주의)
total_tokens	누산기 — input+output 합산	29,409	21,285	−8,124	−28%	개선이 base보다 오히려 쌈
latency_s (e2e)	first_ts ↔ last_ts (로거 수신 wall-clock)	280	177	−103	−37%	개선이 base보다 빠름 (전 버전 통틀어 최저)
crashed	런타임 예외 카운트	0	0	0	—	단 ⓪하니스 수정 전 web팀은 빈 검색에 크래시
stop_reason	종료 사유 문자열	APPROVE / MaxMsg	APPROVE	—	—	critic 완화 게이트로 조기 APPROVE 안정
tokens_per_success †	파생 — SUM(tokens)/SUM(success)	29,409	21,285	−8,124	−28%	†success=1.0 가정(무크래시) → 정직한 비용축
grounded% / 1k token †	파생 — 근거효율	0.0	4.70	+4.70	—	†base는 토큰을 써도 근거 0 → 효율 0
tokens / source †	파생 — 출처 1개당 비용	n/a (출처 0)	≈4,529	—	—	†v5(전부인용)은 ≈1,800이나 노이즈로 기각

측정 방법론 — grounding은 'LLM 자기보고'로 절대 안 잰다: 모델은 시계가 없어 도구가 없으면 학습 컷오프(2024) 지식을 현재처럼 출력한다. 그래서 grounded_pct는 모델이 "검색했다"고 말한 걸 믿는 게 아니라 events의 web_search 실제 호출수로 독립 재계산한다 — crosscheck에서 stale 팀 0/3 run이 검색 사용, grounded 팀 3/3 run(총 104 calls)로 검증됐다. (텍스트에 URL이 박혔는지가 아니라 도구를 실제로 때렸는지가 견고한 신호다.)

① 특이점
(base)

grounded% = 0, 출처 = 0. base는 검색 도구가 없어 모든 사실이 학습지식. → 특이점: "리포트에 출처가 한 개도 없다"(events에 web_search 호출 0건). 최신 사건을 물어도 학습 컷오프 시점 일반론만 나온다.

② 개입 EXP-65
web_search+날짜

능력 획득 analyst에 web_search 도구 + "오늘 날짜" 주입(1변수). → grounded 0→100%, 출처 0→4.7, 검색 0→17.3회. 단 비용 폭증: 토큰 29k→97k(3.3×), 지연 280→602s. 교훈: 능력은 얻었지만 과검색(턴당 5+)+critic 재검색 루프가 순비용. → 이 과검색·재검색이 실제로 어떻게 찍혔는지는 §7 EXP-65의 '🔬 실제 로그 증거'에서 DB 궤적으로 확인.

③ 개입 EXP-66
검색 1라운드

비용 회복 과검색·재검색 루프 제거(검색 1라운드, 완화 게이트). → 토큰 97k→17.8k(−82%), 지연 −65%, 턴 10.3→5.0. grounded 100% 그대로 유지(검색 5.7회). 핵심 교훈: grounding은 "도구를 쓰느냐"에서 나오지 "몇 번 검색하냐"에서 안 나온다 — 과검색은 순낭비. stale base(29k)보다도 싸짐.

④ 개입 EXP-67
전부 인용 강제

기각 출처가 줄어든 게(4.7→2.3) 아쉬워 synthesizer에 "검색 URL 전부 나열" 강제. → 출처 2.3→15.7로 늘었으나 37개 덤프(중복·노이즈), 토큰 +61%, grounded 100→67%. 순개선 아님 → 기각. 교훈: 인용은 양(전부)이 아니라 질(핵심)이다.

⑤ 개입 EXP-68
dedup+상한 (현재)

질로 회복 도구를 도메인 중복제거(web_search_deduped) + synthesizer "핵심 5~8개만" 상한. → 출처 2.3→4.7 회복(과다 없음), grounded 100%, 지연 177s(최저). v5(전부인용)의 목표를 더 싸고 안정적으로 달성 → 현재 챔피언 v6.

⚠️ 정직한 한계 — '출처 수(report_sources)'는 매우 불안정하다 (EXP-69, inconclusive): grounding(검색 행위)은 events로 견고히 잴 수 있지만, 그게 리포트 인용으로 이어지는지는 비결정적이다. 별도 재측정(9 run)에서 web_search는 8/9가 썼지만 synthesizer가 URL을 '## 출처'로 옮긴 건 3/9뿐 — 즉 EXP-68의 "출처 4.7"은 N=3 행운이고 실측 분포는 "대개 0, 가끔 분출"이다. 이 페이지의 반도체 리포트는 6개를 실제로 달았으나(성공 케이스), 통계적으로는 robust하지 않다. → 다음 개선 과제는 클레임 단위 교차검증 + 인용 강제(synthesizer가 검색한 URL을 빠뜨리지 않게)다. cf. 5주제 갤러리도 LLM·반도체만 출처 성공.

전체 패턴 (이 라인이 가르쳐준 것): 제약을 '추가'하면(검색 강제 EXP-65, 전부 인용 EXP-67) 비용 폭증·부작용 → 제약을 '제거/정제'하면(과검색 해제 EXP-66, dedup+상한 EXP-68) 같은 능력을 더 싸게. 그리고 능력(grounding)은 도구 도입 한 번에 얻고, 이후 개선은 전부 "어떻게 더 싸고 깔끔하게"의 튜닝이었다. base→현재: 출처 0→4.7, grounded 0→100%, 게다가 지연은 280→177s로 더 빠름.

6 ★ 각 개선의 실제 코드 변경 (디테일)

metric 특이점을 잡아도, 고치는 건 별개다. "어디를 어떻게 바꿨나"의 실제 diff — 1변수 원칙대로 한 번에 한 곳만. 특히 측정 자체를 가능하게 한 비자명한 하니스 버그 2건(아래 ⓪)이 이 라인의 가장 예리한 판단이었다.

⓪ 측정을 가능하게 한 하니스 수정 2건 (코드를 짜다 발견한 함정)

개선 코드가 아니라, 그게 측정 가능하도록 먼저 고쳐야 했던 비자명한 버그들. 안 고쳤으면 run이 크래시하거나 엉뚱한 답을 채점했다.

수정 A · teams/analyst_web.py — 빈 검색이 run 전체를 죽이던 문제

analyst = AssistantAgent("analyst", model_client, tools=[web_search],
    reflect_on_tool_use=False,   # ← 핵심 수정
    system_message=ANALYST_PROMPT + date_ctx)
# WHY: 검색 다수가 '결과 없음'이면 reflect_on_tool_use=True는
#      빈 응답 → RuntimeError → 배치 전체 크래시. False로 두면 analyst가
#      검색 결과(출처 URL 포함)를 그대로 넘기고 synthesizer가 해석·작성.

수정 B · tracing/logger.py — critic의 CoT를 '답'으로 오인하던 채점 오염

# synthesizer 리포트 전문을 final_answer로 캡처하되, critic은 제외:
if (agent_name != "critic"
        and "FINAL ANSWER" in str(record["content"]).upper()):
    final_answer_full_str = record["content"]  # 마지막 non-critic이 이김
# WHY: critic의 검수 CoT가 "FINAL ANSWER: <answer> 형식인지 확인…"을
#      언급 → critic 메시지를 답으로 오인해 채점 오염. synthesizer(planner 뒤)가
#      올바르게 덮어쓰도록 critic 제외. (grounding을 텍스트 URL이 아니라
#      events의 web_search 호출수로 측정해야 견고하다는 교훈도 여기서.)

① EXP-65 (base → v3): 웹 grounding 추가 promoted

특이점 "출처 0·grounded 0%" → analyst에 검색 도구 + 오늘 날짜를 주입.

teams/analyst_web.py vs base(analyst_deep)

- analyst = AssistantAgent("analyst", model_client,                # 도구 없음
-     system_message=ANALYST_PROMPT)                              # 학습지식으로만
+ analyst = AssistantAgent("analyst", model_client, tools=[web_search],  # ← 검색 도구
+     reflect_on_tool_use=False, system_message=ANALYST_PROMPT + date_ctx)  # ← 날짜 주입

# 런타임 날짜 주입 (모델엔 시계가 없음 → prompt_bundle_hash엔 미포함: 날짜=실행맥락)
+ date_ctx = f"[현재 시점] 오늘은 {today}이다. '최근/올해'는 이 날짜 기준,
+            당신의 학습 데이터 시점이 아니다."
# 프롬프트 강화:
ANALYST_PROMPT += "핵심 수치·사건·날짜는 반드시 web_search로 확인. 검색어에 현재 연도."
CRITIC_PROMPT  += "출처 URL 5개 이상 + 각 섹션 1개. 미달이면 어느 소주제 재검색할지 지목 반려."

grounded 0→100% · 출처 0→4.7 · 검색 0→17.3회. 단 토큰 29k→97k(3.3×) — 과검색이 순비용.

② EXP-66 (v3 → v4): 검색 다이어트 — 비용 −82% promoted

특이점 "토큰 97k·지연 602s" → 주범인 과검색 강제 + critic 재검색 루프를 제거.

teams/analyst_web_lite.py vs v3

ANALYST_PROMPT:
- "한 턴에 최소 5회 web_search. critic이 반려하면 그 소주제를 다시 web_search 보강."  # 재검색 루프
+ "소주제당 1회씩 약 5회만 검색하고 끝낸다. 재검색 루프 없이 한 번에 마친다(효율 우선)."

CRITIC_PROMPT:
- "출처 5개 이상 + 각 섹션 1개. 어느 소주제 재검색할지 지목해 반려."
+ "FINAL ANSWER + 출처 3개 이상이면 APPROVE. 그 외엔 한 번만 간단히 반려(루프 안 끔)."

- term = ... | MaxMessageTermination(18)   # 재검색 루프 여유
+ term = ... | MaxMessageTermination(10)   # 루프 없으니 상한 낮춤

토큰 97k→17.8k(−82%) · 지연 −65% · 턴 10.3→5.0. grounded 100% 유지. 교훈: grounding은 '도구 사용'에서 나오지 '검색 횟수'에서 안 나온다.

③ EXP-67 (v4 → v5): 전부 인용 강제 — 역행 rejected

출처가 줄어든 게(4.7→2.3) 아쉬워 synthesizer에 "검색 URL 전부 나열"을 강제 → 부작용.

teams/analyst_web_cited.py · SYNTH_PROMPT만 변경

SYNTH_PROMPT:
+ "검색 결과 출처 URL은 하나도 빠뜨리지 말고 인라인으로 달고,
+  '## 출처'에 모든 URL을 빠짐없이 나열한다(최소 4개 이상)."  # ← 양으로 밀어붙임

출처 2.3→15.7 (한 task는 37개 덤프·중복·노이즈) · 토큰 +61% · grounded 100→67%. 순개선 아님 → 기각. 교훈: 인용은 양(전부)이 아니라 질(핵심).

④ EXP-68 (v4 → v6, 현재): dedup 도구 + 출처 상한 promoted

v5의 목표(출처 회복)를 프롬프트 양치기 대신 도구·상한으로. 도메인 중복을 도구 레벨에서 제거.

research/web_tool.py — 신규 web_search_deduped

def web_search_deduped(query):
    raw = web_search(query)
    for block in raw.blocks:
        domain = urlsplit(url).netloc.removeprefix("www.")
        if domain in seen: continue      # ← 도메인당 1개만 (trendforce 반복 방지)
        kept.append(block)
        if len(kept) >= 4: break      # 상위 4개 고유 출처

teams/analyst_web_dedup.py — 도구 교체 + SYNTH 상한

analyst: tools=[web_search → web_search_deduped]
SYNTH_PROMPT:
+ "같은 URL·매체는 한 번만 — 중복 제거 후 핵심 5~8개만 '## 출처'에 인용
+  (전부 나열 금지, 대표성 있는 것만)."  # ← 질·상한

출처 2.3→4.7 회복(과다 없음) · grounded 100% · 지연 209→177s(최저). v5의 목표를 더 싸고 안정적으로 달성 → 현재 챔피언.

이 라인이 가르쳐준 구현 원칙: ① 측정 전에 하니스 버그(크래시·채점 오염)부터 잡아야 숫자가 신뢰된다. ② 능력(grounding)은 도구 한 번에 얻고, 이후는 전부 "어떻게 더 싸고 깔끔하게"의 튜닝. ③ 제약 추가(검색 강제·전부 인용)는 비용·부작용, 제약 제거/정제(루프 해제·dedup)가 dominant. ④ 한 번에 한 파일·한 변수만 — 그래야 어느 변경이 어느 metric을 움직였는지 귀속된다.

▸ 개선 메커니즘 총정리 — 근인 → 1변수 레버 → 측정 변화(DB) → 판정 → 원리

이 표 읽는 법 — 한 행(가로줄) = 실험 1건의 '4컷 만화'다: 왼쪽부터 ① 특이점/근인(무엇이 이상했고 왜 그랬나) → ② 1변수 레버(딱 한 곳만 바꿈) → ③ 측정 변화(숫자가 어떻게 움직였나, DB로 재계산) → ④ 부작용 → ⑤ 판정(채택=promoted / 기각=rejected) → ⑥ 원리(한 줄 교훈). 즉 "문제 발견 → 한 곳만 수정 → 측정 → 판정" 루프를 6칸으로 편 것.

표 안의 낯선 말 풀이: reflect_on_tool_use = AutoGen 옵션(도구 결과를 모델이 한 번 더 곱씹게 할지) — True면 '검색 결과 없음'에 빈 답을 만들다 에러로 죽음. CoT = 모델의 '생각 과정' 텍스트 — critic의 검수 생각을 최종답으로 오인한 게 채점 오염의 원인. 완화 게이트 = critic 승인 조건을 느슨하게(출처 5개→3개) 해서 재검색 루프를 줄인 것. MaxMsg = 대화 최대 메시지 수 상한(무한루프 방지). 양치기 = 프롬프트로 "더 많이 인용해"라고 다그쳐 양으로 미는 방식. 검색 ≠ 인용 = 검색을 해도 리포트에 출처가 꼭 박히는 건 아니다(EXP-69).

실험	특이점 / 근인 (root cause)	1변수 레버 (정확히 한 곳)	측정 변화 (DB 확인)	부작용	판정	원리
⓪ 하니스 측정 가능화	`reflect_on_tool_use=True`가 빈 검색에서 `RuntimeError` → 배치 전체 크래시. + critic의 검수 CoT("FINAL ANSWER 형식인지…")를 답으로 오인해 채점 오염.	`reflect_on_tool_use=False` · final_answer를 non-critic 마지막 메시지로 한정 · grounding은 텍스트 아닌 events로	크래시 0 · 채점 정상화 → 이후 숫자가 신뢰됨	—	🔧 필수	측정 전에 하니스 신뢰부터
EXP-65 v2→v3	grounded 0%·출처 0 — analyst에 도구가 없어 학습 컷오프(2024) 지식만 출력.	analyst +web_search · 런타임 오늘 날짜 주입	grounded 0→100% · 검색 0→17.3 · 토큰 29,409→97,089(3.3×) · 지연 280→602	과검색 + critic 재검색 루프 = 비용 폭증	promoted	능력은 도구 한 번에 얻는다
EXP-66 v3→v4	토큰 97k·지연 602s — 주범은 과검색 강제 + critic 재검색 루프.	검색 1라운드 · critic 완화 게이트 · MaxMsg 18→10	토큰 97,089→17,805(−82%) · 턴 10.3→5.0 · grounded 100% 유지	없음 — stale base(29k)보다도 쌈	promoted	grounding은 검색 횟수가 아니라 도구 사용에서
EXP-67 v4→v5	출처가 줄어든 게(4.7→2.3) 아쉬움 → 양으로 밀어붙이려 함.	synthesizer "검색 URL 전부 나열" 강제 (프롬프트만)	출처 2.3→15.7(37개 덤프) · 토큰 +61% · grounded 100→67%	중복·노이즈, grounded 역행	rejected	인용은 양이 아니라 질
EXP-68 v4→v6 (현재)	v5 부작용 — 프롬프트로 양치기는 실패. 도메인 중복이 진짜 노이즈원.	도구 web_search_deduped(도메인당 1·상위 4 고유) + synthesizer 5~8개 상한	출처 2.3→4.7 회복 · 토큰 21,285 · 지연 177(최저) · grounded 100%	없음	promoted	질은 프롬프트가 아니라 도구·상한으로
EXP-69 재측정	"출처 4.7"이 진짜 안정적인가 의심 → 개입 없이 N 늘려 재측정.	(개입 없음) 9 run 재측정	web_search 8/9 사용하나 report_sources ≥1은 3/9뿐 — "4.7은 N=3 행운"	—	inconclusive	검색 ≠ 인용 — 다음 과제로 분리

🔧 도구·입력 레벨 수정 · 📝 프롬프트/구조 수정. 토큰·턴 수치는 crosscheck DB로 독립 재계산된 값.

★ 메타 패턴 (1변수 격리가 드러낸 귀속 가능한 사실): 이 라인의 promoted는 전부 도구/입력 레벨 수정(EXP-65/66/68)이고, rejected는 전부 프롬프트/구조 추가(EXP-67 URL 전부 나열)였다. 같은 패턴이 다른 라인에서도 반복됐다 — rejected: EXP-57 SOURCES 강제 · EXP-60 토폴로지 교체(pass@1 0.967→0.067 붕괴) · EXP-63 disambiguation 프롬프트(0.8→0.27 붕괴). 교훈: 프롬프트 개입은 비단조적이다 — "더 신중히" 지시가 working flow를 깬다. 신뢰할 개선은 surgical한 도구/검색 레벨 수정이다.

1변수 원칙은 '의지'가 아니라 '코드 구조'로 강제된다: 개입 1건 = 새 팀 모듈 + 새 team_id + 새 prompt_bundle_hash. 바꾸지 않는 부분(executor·selector·다른 프롬프트)은 베이스라인에서 그대로 import한다. 재현성 가드(AC9): 프롬프트가 한 글자라도 바뀌면 해시가 달라져 새 team_id가 강제되고, "같은 team_id + 다른 해시" 조합은 즉시 에러로 중단된다 → 변경 없는 재측정과 변경 있는 개입이 DB 레벨에서 구분된다. (단 오늘 날짜는 실행 맥락이라 prompt_bundle_hash에서 제외 — 날짜가 팀 정체성을 바꾸지는 않으므로.)

7 ★ 각 실험(EXP)이 사실 무엇인가 — 완전 해설 + 부연

EXP = '1변수 실험' 한 건. base(v2)에서 현재 챔피언(v6)까지, 한 번에 딱 한 곳만 바꿔가며 측정한 실제 기록이다. 각 실험은 ① 가설 → ② 무엇을 딱 하나 바꿨나(실제 코드/프롬프트 전문) → ③ 무슨 일이 일어났나(DB 측정) → ④ 왜 그렇게 됐나(근인) → ⑤ 판정·교훈 + 부연 해석으로 읽으면 된다. 실제 코드: src/agent_eval/teams/analyst_*.py · research/web_tool.py.

팀 계보 (한 화살표 = 1변수 실험 1건)

v2-deepbase · 웹 없음

→EXP-65
+검색·날짜

v3-webgrounded 100%
단 토큰 97k

→EXP-66
검색 다이어트

v4-lite−82% 비용
grounded 유지

⇢EXP-67
전부 인용

v5-cited노이즈·역행
✗ rejected

v4-lite(비용 챔피언)

→EXP-68
dedup 도구+상한

v6-dedup출처 회복·지연 최저
🏆 현재 챔피언

⟳EXP-69
재측정(개입 0)

v6 재검증출처 3/9 flaky
= inconclusive

핵심: 능력(grounding)은 EXP-65 한 번에 얻고, 그 뒤 EXP-66·67·68은 전부 "같은 능력을 더 싸고 깔끔하게"의 튜닝이다. v5는 버려진 가지(rejected) — 그래서 현재 챔피언 v6는 v5가 아니라 v4에서 갈라져 나왔다(analyst_web_dedup.py가 v4의 critic·planner를 그대로 import).

EXP-65 · `v2-deep → v3-web` — 웹 검색을 처음 붙이다 promoted

한 줄: analyst가 기억(학습 컷오프 2024) 대신 실제 웹을 보게 만든 실험. 이 라인에서 유일하게 '능력' 자체를 획득한 개입.

가설

도구 없는 analyst는 학습 시점 일반론만 출력 → 2026 최신 사실을 못 댄다. analyst에 web_search 도구 + '오늘 날짜'를 주면 grounded(실검색 근거율)가 0→100%로 오른다.

1변수

analyst에 tools=[web_search] 추가 + 런타임 날짜 주입 + (검색 강제) 프롬프트. + 하니스: reflect_on_tool_use=False(빈 검색 크래시 방지), critic에 '출처 5개 미달 시 재검색 지목 반려', MaxMessage 12→18(재검색 루프 여유).

측정(DB)

grounded 0→100% · 검색 0→17.3회 · 출처 0→4.7 · 토큰 29,409→97,089 (3.3×) · 지연 280→602s · 턴 ~10.3.

근인

"무조건 한 턴에 5회+ 검색" + "critic이 출처 5개 미만이면 다시 검색하라고 반려" → 검색·재검색 루프가 토큰을 폭발시켰다. grounded가 오른 건 보너스가 아니라 도구가 생겨서다.

판정

promoted — 능력은 분명히 얻음. 단 비용 폭증이 다음 숙제로 남음.

바뀐 프롬프트 전문 (analyst·critic, before → after)

# ── analyst system_prompt ──
- 당신은 분석가다. planner가 지정한 각 소주제를 구체적 사실·수치·기업/제품명·사례와
  함께 깊이 있게 분석해 보고한다. 일반론을 피하고 구체적으로 쓴다.
+ 당신은 분석가다. planner가 지정한 각 소주제를 분석하되, 모든 핵심 수치·사건·날짜는
  반드시 web_search 도구로 확인한 뒤 인용한다. 다음을 반드시 지킨다:
+  - 검색을 먼저, 작성은 나중. 분석 문장을 한 줄이라도 쓰기 전에 web_search를 호출한다.
+  - 소주제 5~6개 각각에 최소 1회씩, 즉 한 턴에 최소 5회 web_search 호출(병렬). 1~2번만 하지 마라.
+  - 검색어에 반드시 현재 연도를 넣는다(예: 'HBM4 2026 양산'). 기억 속 연도가 아니라 '오늘' 기준.
+  - 각 사실 뒤에 출처 URL, 수치에 기준 시점. 미확인은 '미확인'.
+  - critic이 반려하면, 지적된 소주제를 다시 web_search 한 뒤 보강한다.   ← 재검색 루프(비용원)

# ── critic system_prompt ──
- (1)구체적인가 (2)균형 잡혔나 (3)구조가 명확한가 점검 → 부족하면 한 번 반려, 충분하면 APPROVE.
+ 다음을 모두 만족할 때만 APPROVE: (1)출처 URL 5개 이상·각 섹션 1개 (2)모든 수치에 기준 시점
+  (3)올해 이전 수치를 '현재'처럼 안 씀. 하나라도 불만족이면 어느 소주제를 다시 web_search 할지
+  구체적으로 지목해 반려한다.   ← '5개 미달=재검색' 게이트가 루프를 키움

# ── 런타임 날짜 주입 (프롬프트 정체성 해시에는 미포함 — 실행맥락) ──
+ date_ctx = "[현재 시점] 오늘은 {today}이다. '최근/올해'는 이 날짜 기준, 학습 시점이 아니다."

🔬 실제 로그 증거 — 과검색 + critic 재검색 루프 (DB eval_ph1.events · 배치 analysis_grounded_20260613)

analyst가 "한 턴에 최소 5회 병렬 검색" 지시를 유효 쿼리 6~9개 + 빈 쿼리 연타로 도구를 난사 → DuckDuckGo가 rate-limit(timed out) → 출처 없는 리포트 → critic이 '출처 5개 미만' 반려 → 재검색. 이 루프가 토큰을 3.3×로 밀어올린 실체다.

표의 'task 3개'가 무엇인지 (혼동 주의): 아래 3행은 서로 다른 분석 주제 3개다 — 한 프롬프트가 셋을 다 검색한 게 아니다. 각각 별도 run이고 자기 주제만 검색한다:
① 반도체: "반도체 업계 최근 동향을 분석해줘" · ② EV 배터리: "전기차 배터리 산업의 최근 동향을 분석해줘" · ③ AI 가속기: "데이터센터 AI 가속기(GPU) 시장의 최근 경쟁 구도를 분석해줘"
3개를 쓰는 이유 = N=3: 한 주제만 보면 우연일 수 있어, 성격이 다른 3개 평균이 더 믿을 만하다(그래서 §5·§6 헤드라인 수치 = 이 3개 평균). 아래 '반도체 궤적'의 검색어가 전부 반도체/HBM/파운드리인 게 "자기 주제만 검색"의 증거다.

task = 주제 (3개 모두 다른 프롬프트)	유효 검색	빈쿼리 연타	이벤트 합	critic 반려	턴	토큰	지연
AI 가속기	19	19	38	3회	13	143,275	878s
EV 배터리	18	18	36	1회	5	21,214	222s
반도체 (이 페이지 주제)	15	15	30	2회	13	126,778	704s
평균	17.3	17.3	34.7	2.0	10.3	97,089	601s

→ §5·§6의 헤드라인 "검색 17.3회 · 토큰 97k"가 바로 이 배치의 평균이다(검색 17.3 = 유효 쿼리 기준; 빈 쿼리 연타까지 세면 이벤트 ~34.7건/run, 지연 601s ≈ 602s, 턴 10.3).

반도체 run 궤적 전문 (13턴 · critic 반려 2회 · seq=event 순번)

v3-analyst-web · 질문: "반도체 업계 최근 동향을 분석해줘." · 13턴 · 126,778 tok · 704s

── 라운드 1 ─────────────────────────────────────
 s2  planner      소주제 분해 지시
 s4  analyst    🔍 "2026년 1분기 글로벌 반도체 매출 WSTS SIA 성장률"
 s5  analyst    🔍 "HBM4 2026 양산 양산일정 NVIDIA AMD"
 s6  analyst    🔍 "2026년 1분기 파운드리 점유율 TSMC 삼성전자 SMIC"
 s7  analyst    🔍 "2026년 미국 반도체 수출 통제 규제 GAA HBM"
 s8  analyst    🔍 "2026년 반도체 웨이퍼 리드타임 가격 원자재"
 s9  analyst    🔍 "2026년 반도체 시장 성장률 전망 투자은행 JP Morgan"
 s10–15 analyst 🔍 web_search ×6   ← 빈 쿼리로 도구 연타(헛호출)
 s16 analyst    ⚠️ (검색 실패: URLError: urlopen error timed out)   ← DDG rate-limit
 s18 synthesizer 💬 FINAL ANSWER (출처 없이 작성)
 s20 critic     ❌ 반려: "출처 URL 미포함 — '출처 URL 5개 이상'이 전혀 제공되지 않음"

── 라운드 2 (critic 반려 → 재검색 루프) ──────────────
 s22 planner      재지시
 s24 analyst    🔍 "SIA WSTS 2026 Q1 global semiconductor sales revenue..."
 s25 analyst    🔍 "TSMC 2nm GAA production yield 2026"
 s26 analyst    🔍 "SK Hynix HBM4 mass production 2026 NVIDIA"
 s27 analyst    🔍 "TrendForce 2026 Q1 foundry market share TSMC Samsung"
 s28–32 analyst 🔍 유효 검색 ×5 더 (대만 전력·수출규제·삼성 마진·JP모건·SOX 지수)
 s33–41 analyst 🔍 web_search ×9   ← 또 빈 쿼리 연타
 s42 analyst    ⚠️ (검색 실패: timed out)
 s44 synthesizer 💬 FINAL ANSWER: [검색 실패: 데이터 미확보]
 s46 critic     ❌ 반려 (또 출처 없음)

── 라운드 3 ─────────────────────────────────────
 s48 planner      재지시
 s50 analyst    💬 (검색 없이 기억으로 리포트 작성)
 s52 synthesizer 💬 FINAL ANSWER
 s54 critic     ✅ APPROVE   ← 13턴 만에 겨우 종료

합계: web_search 이벤트 30건(유효 15 + 빈쿼리 15) · critic 반려 2회 · 재검색 라운드 3

대조 — v6(EXP-68) 같은 "반도체" run: 5턴 · 검색 1라운드 · critic 반려 0회 · 21,498 tok · 143s로 끝. 같은 주제·같은 grounding을 토큰 1/6 · 지연 1/5에. (도구가 web_search_deduped라 연타·중복이 도구 단에서 차단되고, 완화 게이트라 재검색 루프가 없음)

부연 해석: "도구를 처음 쥐여줬더니 신이 나서 과하게 쓰는 신입"에 가깝다. 결정적 관찰은 — grounded가 100%가 된 건 '17번 검색해서'가 아니라 '검색 도구가 생겨서'다. 이 구분이 바로 다음 실험(EXP-66)의 씨앗이 된다.

EXP-66 · `v3-web → v4-lite` — 검색 다이어트: 능력은 두고 비용만 깎다 promoted

한 줄: 과검색·재검색 루프를 빼서 같은 grounding을 1/5 비용으로. "제약을 빼는 게 개선"의 대표 사례.

가설

토큰 폭발의 주범은 '턴당 5+회 강제 + critic 재검색 루프'다. 검색을 1라운드로 줄이고 critic을 완화하면 grounded는 유지되고 비용만 떨어진다.

1변수

analyst 프롬프트 "최소 5회+재검색" → "소주제당 1회씩 약 5회만, 재검색 루프 없이". critic "5개+재검색 지목" → "3개면 APPROVE, 한 번만 간단 반려". MaxMessage 18→10.

측정(DB)

토큰 97,089→17,805 (−82%) · 턴 10.3→5.0 · 지연 −65% · grounded 100% 그대로(검색 5.7회).

근인

grounding은 도구를 한 번이라도 쓰면 달성된다. 검색 횟수는 비용만 늘릴 뿐 grounding을 더 올리지 않는다 — 검색 17→5로 줄여도 grounded 100% 유지가 그 증거.

판정

promoted — 게다가 stale base(29k)보다도 싸짐(능력↑·비용↓ 동시 달성).

바뀐 프롬프트 전문 (analyst·critic, v3 → v4)

# ── analyst ──
- 소주제 각각 최소 1회씩, 한 턴에 최소 5회 web_search 호출. 1~2번만 하지 마라.
- critic이 반려하면 지적된 소주제를 다시 web_search 한 뒤 보강한다.   (재검색 루프)
+ 소주제당 1회씩, 한 턴에 약 5회만 검색하고 끝낸다. 재검색 루프 없이 한 번에 마친다(효율 우선).

# ── critic ──
- 출처 5개 이상·각 섹션 1개·기준 시점·stale 금지 모두 만족해야 APPROVE. 아니면 재검색 지목 반려.
+ FINAL ANSWER 형식이고 출처 URL이 3개 이상이면 APPROVE. 그 외엔 한 번만 간단히 반려
+  (재검색 루프를 길게 끌지 않는다).

# ── termination ──
- term = TextMention("APPROVE") | MaxMessageTermination(18)   # 재검색 루프 여유
+ term = TextMention("APPROVE") | MaxMessageTermination(10)   # 루프 없으니 상한 낮춤

부연 해석: 신입이 일을 익힌 뒤 효율을 찾은 셈. 보통은 품질을 위해 제약을 더하려 하지만, 여기선 제약을 빼서 비용이 5분의 1이 됐다. "더 많이 검색=더 grounded"라는 직관이 틀렸음을 데이터로 보인 게 이 실험의 진짜 수확이다.

EXP-67 · `v4-lite → v5-cited` — '출처 전부 나열' 강제: 역행 rejected

한 줄: 출처 수를 늘리려 "전부 인용"을 강제했다가 중복·노이즈·비용으로 기각된, 교훈이 큰 실패.

가설

v4에서 출처가 4.7→2.3으로 준 게 아쉽다. synthesizer에 "검색 결과 URL을 하나도 빠뜨리지 말고 전부 나열"을 강제하면 출처 수가 회복될 것.

1변수

synthesizer 프롬프트만 변경(analyst·critic·도구 전부 불변) — "모든 URL 빠짐없이 인라인+## 출처에 나열(최소 4개)".

측정(DB)

출처 2.3→15.7(한 task는 37개 덤프) · 토큰 +61% · grounded 100→67%.

근인

'전부 나열'은 같은 매체 반복(trendforce 등) 중복·노이즈를 그대로 토해냄. 출처 리스트가 본문을 밀어내며 일부 run이 검색 없이 작성으로 흐르자 grounded까지 역행.

판정

rejected — 순개선 아님. team_after를 베이스라인으로 채택하지 않음(버려진 가지).

바뀐 프롬프트 전문 (synthesizer만, v4 → v5)

# ── synthesizer (이 줄 하나만 추가됨) ──
- (v4) 각 수치에 기준 시점. 맨 끝 '## 출처'에 인용 URL을 나열. 첫 줄 '기준 시점:' 명시.
+ (v5) 각 수치에 기준 시점. 검색 결과에 등장한 출처 URL은 하나도 빠뜨리지 말고 해당 사실
+  옆에 인라인으로 달고, 맨 끝 '## 출처'에 검색 결과의 모든 URL을 빠짐없이 나열한다
+  (최소 4개 이상).   ← 양으로 밀어붙임 = 노이즈·비용

부연 해석: "양으로 밀면 질이 죽는다." 그리고 더 중요한 메타 교훈 — 이건 프롬프트로 메트릭을 직접 밀어붙인 개입이었다. 이 라인에서 프롬프트 개입은 거의 다 실패했고, 진짜 해법은 다음 실험(EXP-68)의 도구 레벨 수정이었다. 즉 v5의 목표(출처 회복)는 옳았고 수단(프롬프트 강제)이 틀렸다.

EXP-68 · `v4-lite → v6-dedup` — dedup 도구 + 출처 상한: 현재 챔피언 🏆 promoted

한 줄: v5의 목표(출처 회복)를 프롬프트 양치기 대신 '도구 dedupe + 상한'으로 더 싸고 안정적으로 달성.

가설

출처가 부푸는 진짜 원인은 같은 도메인 반복이다. 검색 도구 단에서 도메인 중복을 제거(상위 4 고유)하고 synthesizer는 핵심 5~8개만 인용하면, 비용은 v4 수준 유지하며 출처가 건강한 범위로 회복된다.

1변수

① 새 도구 web_search_deduped(도메인당 1개·상위 4) ② analyst 도구 교체 ③ synthesizer "중복 제거 후 핵심 5~8개만". critic·planner·날짜함수는 v4에서 그대로 import — 1변수 import 규율의 실증.

측정(DB)

출처 2.3→4.7 회복(과다 없음) · 토큰 21,285 · 지연 177s(전 버전 최저) · grounded 100%.

근인

노이즈를 '생성 후 프롬프트로 거르기'(v5) 대신 '입력 단에서 애초에 안 만들기'(도구 dedup)가 깔끔하고 안정적. 같은 목표를 다른 레벨에서 풀었다.

판정

promoted → 현재 베이스라인 챔피언.

실제 코드 전문 (web_search_deduped 도구 + synthesizer)

# ── research/web_tool.py · 신규 도구 ──
def web_search_deduped(query):
    """web_search와 동일하나 도메인 중복을 제거하고 상위 4개 고유 출처만 반환."""
    raw = web_search(query)
    if raw.startswith("("): return raw   # 실패/결과없음 사유는 그대로
    for block in raw:
        domain = urlsplit(url).netloc.removeprefix("www.")
        if domain in seen: continue      # ← 도메인당 1개만 (trendforce 반복 방지)
        kept.append(block)
        if len(kept) >= 4: break      # 상위 4개 고유 출처

# ── teams/analyst_web_dedup.py — v4를 그대로 물려받고 딱 2곳만 바꿈 ──
from agent_eval.teams.analyst_web_lite import CRITIC_PROMPT, PLANNER_PROMPT, _today_str  # ← 불변부 재사용
analyst: tools=[web_search → web_search_deduped], reflect_on_tool_use=False

# ── synthesizer ──
- (v4) 맨 끝 '## 출처'에 인용 URL을 나열한다.
+ (v6) 같은 URL·매체는 한 번만 — 중복을 제거한 핵심 출처 5~8개만 '## 출처'에 인용한다
+  (전부 나열 금지, 대표성 있는 것만).

부연 해석: "정리는 손으로 치우지 말고 애초에 안 어지르게." v5와 v6은 같은 목표·다른 수단이다 — 그리고 도구/입력 레벨 수정(v6)이 프롬프트 강제(v5)를 이겼다. 이 한 쌍이 이 프로젝트 전체의 핵심 교훈을 압축한다.

EXP-69 · `v6 재측정` (개입 0) — "출처 4.7은 진짜였나?" inconclusive

한 줄: 챔피언의 출처 수가 안정적인지 N을 늘려 재측정했더니 매우 불안정으로 판명 — 평가 시스템이 자기 결론을 검증하는 자정 작용.

가설

EXP-68의 '출처 4.7'이 재현되는 안정적 값인가? (개선 가설이 아니라 검증 가설)

1변수

없음(개입 0). 같은 v6를 9 run으로 재측정만.

측정(DB)

web_search는 8/9가 썼으나 report_sources≥1은 3/9뿐. "4.7은 N=3 행운", 실측 분포는 "대개 0, 가끔 분출".

근인

grounding(검색 행위)은 events로 견고하지만, synthesizer가 그 URL을 리포트로 옮기는지는 비결정적(LLM 변덕).

판정

inconclusive — report_sources를 KPI로 신뢰 불가. 다음 과제(클레임 단위 교차검증·인용 강제)로 분리.

부연 해석: "측정값 하나가 좋아 보여도 N을 늘리면 무너질 수 있다 — 단발 dramatic은 노이즈." 이 실험이 중요한 이유는, 좋은 평가 시스템은 자기가 'promoted'라고 적은 숫자조차 다시 의심한다는 것을 보여주기 때문이다. (그래서 이 페이지 §5의 '출처' 수치엔 정직한 ⚠️ 주의가 붙어 있다.)

5개 실험을 관통하는 한 문장: 능력은 도구 한 번(EXP-65)에 얻고, 이후는 전부 "어떻게 더 싸고 깔끔하게"의 튜닝이다 — 그리고 그 튜닝에서 이긴 건 전부 도구/입력 레벨(EXP-66 루프 제거, EXP-68 dedup 도구)이고 진 건 프롬프트로 메트릭을 직접 민 것(EXP-67 전부 인용)이며, 좋아 보이는 숫자조차 재측정(EXP-69)으로 의심한다.

8 team config — AutoGen 네이티브 vs 우리 스냅샷 + 버전 변경점 + 전체 파일

같은 팀을 두 포맷으로: AutoGen 네이티브(team.dump_component() = ComponentModel — provider/config 중첩, model_client(LLM 설정)가 인라인, load_component로 재로드 가능 — 회사에서 보시던 그 포맷)와 우리 관측 스냅샷(config_full — 프롬프트/도구/토폴로지만, 사람이 읽는 용). LLM 설정(model·temperature·seed)은 우리 시스템에선 team이 아니라 runs 테이블에 run마다 기록 → 그래서 우리 스냅샷엔 없고, 네이티브엔 있다(아래 펼치면 seed:42, temperature:0.2, model:glm-4.7, api_key:***). api_key는 마스킹.

🔬 v2-analyst-deep → v6-analyst-web · 기본 ↔ 개선 config 완전 diff (라인 단위) · 무엇이 같고 무엇이 바뀌었나

✅ 동일(불변): 토폴로지(RoundRobin) · 에이전트 4명과 순서 · LLM 설정(glm-4.7 · seed 42 · temperature 0.2) · planner·synthesizer·critic의 도구 없음.
🔧 변경(개선): ① analyst 도구([] → web_search_deduped) · ② 4개 에이전트 프롬프트(sha 전부 변경) · ③ 날짜 주입 · ④ synthesizer 출처 상한 · ⑤ critic 완화 게이트.

이 diff 읽는 법 — 줄 맨 앞 부호가 전부다: 회색 줄 = 양쪽 동일(안 바뀜) · − 빨강 = base에만 있던 것(제거/이전 버전) · + 초록 = 개선에서 새로 들어간 것 · 회색 # … = 설명 주석.

sha

프롬프트의 '지문'(내용 해시값). 글자 하나만 달라도 sha가 바뀐다 → sha가 다르면 프롬프트 내용이 바뀐 것. 4개 에이전트 sha가 전부 달라진 게 "프롬프트를 전부 손댔다"의 증거.

tools: []

그 에이전트가 쓸 수 있는 도구 목록. [] = 없음(빈손). 두 팀 통틀어 analyst만 검색 도구를 갖는다(나머지 3명은 양쪽 다 빈손).

team_type /
participants

팀 작동 방식(RoundRobin = 정해진 순서로 돌아가며 발언) / 에이전트 명단·순서. 둘 다 두 팀 동일.

model_client

어떤 LLM을 어떤 설정(seed·temperature)으로 쓰는지. 두 팀 완전 동일 = LLM은 안 건드렸다는 뜻(1변수 원칙의 핵심).

reflect_on_tool_use:
False

도구 결과를 모델이 다시 곱씹을지 여부. False라야 빈 검색에 안 죽는다. base에선 무의미(도구가 없어서), 개선 analyst에선 load-bearing(없으면 크래시하는 핵심 설정).

… (말줄임)

프롬프트가 길어 핵심만 보이고 줄였다는 표시. 전문(全文)은 아래 버전별 카드의 'AutoGen 네이티브' 펼치기에서.

# ══ 토폴로지 · LLM · 에이전트 구성 — 전부 동일 (1변수 원칙) ══
  team_type:    RoundRobinGroupChat                       (동일)
  participants: planner → analyst → synthesizer → critic  (동일 · 순서까지)
  model_client: model=glm-4.7 · seed=42 · temperature=0.2 (동일 · LLM은 손 안 댐)

# ══ planner ════════════════  tools: [] (동일, 도구 없음)
- sha e4b9d0478516
+ sha b835617358a0
+   …각 소주제마다 web_search로 확인할 최신 수치/사건을 구체 지정한다…  # ← 검색 지시 추가
+   [현재 시점] 오늘은 2026-06-13이다. '최근/올해'는 이 날짜 기준, 학습 시점 아님.  # ← 날짜 주입

# ══ analyst ════════════════  ★★ 유일한 도구 변경 ★★
- tools: []                              # base: 도구 없음 → 학습지식으로만 (검색 불가)
+ tools: [web_search_deduped]            # 개선: 도메인당 1개·상위 4 고유출처 (도구 레벨 dedupe)
- sha b34ccf53e029
+ sha dad3f8e68e23
-   …구체적 사실·수치·기업/제품명과 함께 깊이 분석한다. 일반론을 피한다. (학습지식)
+   핵심 수치·사건·날짜는 검색 도구로 확인. 소주제당 1회씩 약 5회만(재검색 루프 없이).  # ← 1라운드
+   각 사실 뒤 출처 URL, 수치에 기준 시점. 미확인은 '미확인'.                  # ← 환각 대신 정직한 공백
  reflect_on_tool_use: False                  # 도구가 생겨 이제 load-bearing — 빈 검색 크래시 방지(⓪)

# ══ synthesizer ════════════  tools: [] (동일)
- sha a8bf71e53245
+ sha df3e90baccd0
+   같은 URL·매체는 한 번만 — 중복 제거 후 핵심 5~8개만 '## 출처'에 인용(전부 나열 금지).  # ← 출처 상한(질)
+   첫 줄에 '기준 시점:' 명시.                                          # ← 최신성 표기

# ══ critic ═════════════════  tools: [] (동일)
- sha 2e9df711ce26
+ sha 14ec736d8c69
-   구체성·균형·구조를 점검 → 부족하면 한 번 반려, 충분하면 APPROVE.
+   FINAL ANSWER 형식 + 출처 URL ≥3개면 APPROVE. 그 외 한 번만 간단히 반려(재검색 루프 안 끔).  # ← 완화 게이트

↑ 의미 단위 diff (핵심 변경만). 각 버전의 완전한 JSON(우리 스냅샷 config_full + AutoGen 네이티브 dump_component())은 아래 버전별 카드에서 펼쳐 볼 수 있다.

📄 전체 config 파일 (생성된 그대로 · 내려받기) · AutoGen Studio로 그대로 임포트/load_component() 재로드

아래 버전별 카드의 'AutoGen 네이티브'를 펼치면 각 팀의 완전한 JSON 전문(全文)이 보인다. 그 파일은 코드의 한 명령으로 생성된다 — dump_component() 직렬화 후 api_key 스크럽 · 박힌 날짜 동적화:

# 등록된 팀을 AutoGen Studio 임포트용 JSON 파일로 추출
$ python cli.py export-team --team v6-analyst-web --out v6-analyst-web.json
  export 완료: v6-analyst-web.json
    비밀값 스크럽: 4곳 (REPLACE_WITH_YOUR_KEY)        # api_key 제거
    날짜 동적화: 4개 프롬프트 (박힌 날짜 → web_search 기준 시점)  # 날짜는 실행맥락
    도구 주입: 1개 에이전트                           # 클로저 도구를 self-contained로

↓ 이 페이지에 임베드된 전문을 .json 파일로 바로 저장:

네이티브 = team.dump_component()(provider/config 중첩, model_client 인라인 — 회사에서 보던 포맷, 그대로 재로드 가능). 스냅샷 = 사람이 읽는 config_full(프롬프트/도구/토폴로지만). api_key는 마스킹됨.

📜 v2 ↔ v6 전체 네이티브 JSON 직접 표기 · 개선 영향 부분 강조 · 다운로드 없이 페이지에서 바로

초록 = v6에서 새로 들어가거나 바뀐 줄(=결과에 개선 영향을 준 부분) · 빨강 = v2의 이전 줄 · 나머지(회색) = 두 팀 완전 동일(model_client·토폴로지·구조). 노란 주석이 "왜 개선인지"를 표시. v6에서 강조된 줄은 26개뿐 — 그게 v2 대비 바뀐 전부다.

🟢 v6-analyst-web · 전체 네이티브 JSON (319줄, 개선 줄 강조)

{  "provider": "autogen_agentchat.teams.RoundRobinGroupChat",  "component_type": "team",  "version": 1,  "component_version": 1,  "description": "A team that runs a group chat with participants taking turns in a round-robin fashion\n    to publish a message to all.",  "label": "RoundRobinGroupChat",  "config": {    "participants": [      {        "provider": "autogen_agentchat.agents.AssistantAgent",        "component_type": "agent",        "version": 2,        "component_version": 2,        "description": "An agent that provides assistance with tool use.\n    The :meth:`on_messages` returns a :class:`~autogen_agentchat.base.Response`\n    in which :attr:`~autogen_agentchat.base.Response.chat_message` is the final\n    response message.",        "label": "AssistantAgent",        "config": {          "name": "planner",          "model_client": {            "provider": "autogen_ext.models.openai.OpenAIChatCompletionClient",            "component_type": "model",            "version": 1,            "component_version": 1,            "description": "Chat completion client for OpenAI hosted models.",            "label": "OpenAIChatCompletionClient",            "config": {              "seed": 42,              "temperature": 0.2,              "model": "glm-4.7",              "api_key": "***",              "model_info": {                "vision": false,                "function_calling": true,                "json_output": true,                "family": "unknown",                "structured_output": true,                "multiple_system_messages": true              },              "base_url": "https://api.z.ai/api/coding/paas/v4"            }          },          "workbench": [            {              "provider": "autogen_core.tools.StaticStreamWorkbench",              "component_type": "workbench",              "version": 1,              "component_version": 1,              "description": "A workbench that provides a static set of tools that do not change after\n    each tool execution, and supports streaming results.",              "label": "StaticStreamWorkbench",              "config": {                "tools": [],                "tool_overrides": {}              }            }          ],          "model_context": {            "provider": "autogen_core.model_context.UnboundedChatCompletionContext",            "component_type": "chat_completion_context",            "version": 1,            "component_version": 1,            "description": "An unbounded chat completion context that keeps a view of the all the messages.",            "label": "UnboundedChatCompletionContext",            "config": {}          },          "description": "Decomposes the analysis and specifies what to search.",          "system_message": "당신은 리서치 리드다. 분석 요청을 5~6개 핵심 소주제(예: 시장규모·수요동인, 기술/공정 트렌드, 경쟁구도, 공급망·지정학, 리스크, 전망)로 분해해 analyst에게 무엇을 다룰지 지시한다. 각 소주제마다 web_search로 확인할 최신 수치/사건을 구체적으로 지정한다. 직접 분석하지 않는다.\n\n[현재 시점] 오늘은 2026-06-14이다. '최근/현재/올해'는 모두 이 날짜 기준이며, 당신의 학습 데이터 시점이 아니다. 검색·분석은 이 시점을 현재로 삼는다.", # ← 프롬프트 개선(검색지시·날짜·출처상한·완화게이트)          "model_client_stream": false,          "reflect_on_tool_use": false,          "tool_call_summary_format": "{result}",          "max_tool_iterations": 1,          "metadata": {}        }      },      {        "provider": "autogen_agentchat.agents.AssistantAgent",        "component_type": "agent",        "version": 2,        "component_version": 2,        "description": "An agent that provides assistance with tool use.\n    The :meth:`on_messages` returns a :class:`~autogen_agentchat.base.Response`\n    in which :attr:`~autogen_agentchat.base.Response.chat_message` is the final\n    response message.",        "label": "AssistantAgent",        "config": {          "name": "analyst",          "model_client": {            "provider": "autogen_ext.models.openai.OpenAIChatCompletionClient",            "component_type": "model",            "version": 1,            "component_version": 1,            "description": "Chat completion client for OpenAI hosted models.",            "label": "OpenAIChatCompletionClient",            "config": {              "seed": 42,              "temperature": 0.2,              "model": "glm-4.7",              "api_key": "***",              "model_info": {                "vision": false,                "function_calling": true,                "json_output": true,                "family": "unknown",                "structured_output": true,                "multiple_system_messages": true              },              "base_url": "https://api.z.ai/api/coding/paas/v4"            }          },          "workbench": [            {              "provider": "autogen_core.tools.StaticStreamWorkbench",              "component_type": "workbench",              "version": 1,              "component_version": 1,              "description": "A workbench that provides a static set of tools that do not change after\n    each tool execution, and supports streaming results.",              "label": "StaticStreamWorkbench",              "config": {                "tools": [ # ← 도구 목록                  {                    "provider": "autogen_core.tools.FunctionTool",                    "component_type": "tool",                    "version": 1,                    "component_version": 1,                    "description": "Create custom tools by wrapping standard Python functions.",                    "label": "FunctionTool",                    "config": {                      "source_code": "def web_search_deduped(query: str) -> str:\n    \"\"\"web_search와 동일하나 **도메인 중복을 제거**하고 상위 4개 고유 출처만 반환한다.\n\n    여러 소주제 검색이 같은 매체(trendforce 등)를 반복 인용해 출처가 부풀고 노이즈가\n    되는 문제를 줄인다(도구 레벨 dedupe). 도메인당 1개만 남긴다.\n    \"\"\"\n    import re\n    import urllib.parse\n\n    raw = web_search(query)\n    if raw.startswith(\"(\"):  # 실패/결과없음 사유 문자열은 그대로\n        return raw\n\n    # web_search 출력은 \"[n] 제목\\n    요약\\n    URL\" 블록의 연속.\n    blocks = re.split(r\"\\n(?=\\[\\d+\\])\", raw)\n    seen: set[str] = set()\n    kept: list[str] = []\n    for b in blocks:\n        urls = re.findall(r\"https?://\\S+\", b)\n        if not urls:\n            continue\n        domain = urllib.parse.urlsplit(urls[-1]).netloc.lower().removeprefix(\"www.\")\n        if domain in seen:\n            continue\n        seen.add(domain)\n        kept.append(b.strip())\n        if len(kept) >= 4:\n            break\n    return \"\\n\".join(f\"[{i + 1}] \" + re.sub(r\"^\\[\\d+\\]\\s*\", \"\", b)\n                     for i, b in enumerate(kept)) or \"(검색 결과 없음)\"\n", # ← 도구 실제 코드(도메인 dedupe)                      "name": "web_search_deduped", # ← ★ 핵심: 검색 도구 추가                      "description": "web_search와 동일하나 **도메인 중복을 제거**하고 상위 4개 고유 출처만 반환한다.\n\n    여러 소주제 검색이 같은 매체(trendforce 등)를 반복 인용해 출처가 부풀고 노이즈가\n    되는 문제를 줄인다(도구 레벨 dedupe). 도메인당 1개만 남긴다.\n    ",                      "global_imports": [],                      "has_cancellation_support": false                    }                  }                ],                "tool_overrides": {}              }            }          ],          "model_context": {            "provider": "autogen_core.model_context.UnboundedChatCompletionContext",            "component_type": "chat_completion_context",            "version": 1,            "component_version": 1,            "description": "An unbounded chat completion context that keeps a view of the all the messages.",            "label": "UnboundedChatCompletionContext",            "config": {}          },          "description": "Retrieves current data via domain-deduped search (single round).",          "system_message": "당신은 분석가다. planner가 지정한 소주제를 분석하되, 핵심 수치·사건·날짜는 검색 도구로 확인한다. 소주제당 1회씩 한 턴에 약 5회만 검색하고 끝낸다(재검색 루프 없이). 검색어에 현재 연도를 넣는다(시스템이 알려준 '오늘' 기준). 각 사실 뒤에 출처 URL을 붙이고 수치에 기준 시점을 명시한다. 미확인은 '미확인'.\n\n[현재 시점] 오늘은 2026-06-14이다. '최근/현재/올해'는 모두 이 날짜 기준이며, 당신의 학습 데이터 시점이 아니다. 검색·분석은 이 시점을 현재로 삼는다.", # ← 프롬프트 개선(검색지시·날짜·출처상한·완화게이트)          "model_client_stream": false,          "reflect_on_tool_use": false,          "tool_call_summary_format": "{result}",          "max_tool_iterations": 1,          "metadata": {}        }      },      {        "provider": "autogen_agentchat.agents.AssistantAgent",        "component_type": "agent",        "version": 2,        "component_version": 2,        "description": "An agent that provides assistance with tool use.\n    The :meth:`on_messages` returns a :class:`~autogen_agentchat.base.Response`\n    in which :attr:`~autogen_agentchat.base.Response.chat_message` is the final\n    response message.",        "label": "AssistantAgent",        "config": {          "name": "synthesizer",          "model_client": {            "provider": "autogen_ext.models.openai.OpenAIChatCompletionClient",            "component_type": "model",            "version": 1,            "component_version": 1,            "description": "Chat completion client for OpenAI hosted models.",            "label": "OpenAIChatCompletionClient",            "config": {              "seed": 42,              "temperature": 0.2,              "model": "glm-4.7",              "api_key": "***",              "model_info": {                "vision": false,                "function_calling": true,                "json_output": true,                "family": "unknown",                "structured_output": true,                "multiple_system_messages": true              },              "base_url": "https://api.z.ai/api/coding/paas/v4"            }          },          "workbench": [            {              "provider": "autogen_core.tools.StaticStreamWorkbench",              "component_type": "workbench",              "version": 1,              "component_version": 1,              "description": "A workbench that provides a static set of tools that do not change after\n    each tool execution, and supports streaming results.",              "label": "StaticStreamWorkbench",              "config": {                "tools": [],                "tool_overrides": {}              }            }          ],          "model_context": {            "provider": "autogen_core.model_context.UnboundedChatCompletionContext",            "component_type": "chat_completion_context",            "version": 1,            "component_version": 1,            "description": "An unbounded chat completion context that keeps a view of the all the messages.",            "label": "UnboundedChatCompletionContext",            "config": {}          },          "description": "Writes a report citing 5-8 deduped representative sources.",          "system_message": "당신은 리포트 작성자다. analyst가 검색으로 수집한 결과를 바탕으로 구조화한 최종 리포트를 작성한다. 'FINAL ANSWER:' 로 시작하고, 마크다운 섹션(## 시장/수요, ## 기술·공정, ## 경쟁·공급망, ## 리스크, ## 전망)으로 구성한다. 각 수치에 기준 시점을 적는다. **같은 URL·매체는 한 번만 — 중복을 제거한 핵심 출처 5~8개만** '## 출처'에 인용한다(전부 나열 금지, 대표성 있는 것만). 첫 줄에 '기준 시점:' 명시.\n\n[현재 시점] 오늘은 2026-06-14이다. '최근/현재/올해'는 모두 이 날짜 기준이며, 당신의 학습 데이터 시점이 아니다. 검색·분석은 이 시점을 현재로 삼는다.", # ← 프롬프트 개선(검색지시·날짜·출처상한·완화게이트)          "model_client_stream": false,          "reflect_on_tool_use": false,          "tool_call_summary_format": "{result}",          "max_tool_iterations": 1,          "metadata": {}        }      },      {        "provider": "autogen_agentchat.agents.AssistantAgent",        "component_type": "agent",        "version": 2,        "component_version": 2,        "description": "An agent that provides assistance with tool use.\n    The :meth:`on_messages` returns a :class:`~autogen_agentchat.base.Response`\n    in which :attr:`~autogen_agentchat.base.Response.chat_message` is the final\n    response message.",        "label": "AssistantAgent",        "config": {          "name": "critic",          "model_client": {            "provider": "autogen_ext.models.openai.OpenAIChatCompletionClient",            "component_type": "model",            "version": 1,            "component_version": 1,            "description": "Chat completion client for OpenAI hosted models.",            "label": "OpenAIChatCompletionClient",            "config": {              "seed": 42,              "temperature": 0.2,              "model": "glm-4.7",              "api_key": "***",              "model_info": {                "vision": false,                "function_calling": true,                "json_output": true,                "family": "unknown",                "structured_output": true,                "multiple_system_messages": true              },              "base_url": "https://api.z.ai/api/coding/paas/v4"            }          },          "workbench": [            {              "provider": "autogen_core.tools.StaticStreamWorkbench",              "component_type": "workbench",              "version": 1,              "component_version": 1,              "description": "A workbench that provides a static set of tools that do not change after\n    each tool execution, and supports streaming results.",              "label": "StaticStreamWorkbench",              "config": {                "tools": [],                "tool_overrides": {}              }            }          ],          "model_context": {            "provider": "autogen_core.model_context.UnboundedChatCompletionContext",            "component_type": "chat_completion_context",            "version": 1,            "component_version": 1,            "description": "An unbounded chat completion context that keeps a view of the all the messages.",            "label": "UnboundedChatCompletionContext",            "config": {}          },          "description": "Lenient gate: APPROVE if FINAL ANSWER + >=3 source URLs.",          "system_message": "당신은 검수자다. FINAL ANSWER 형식이고 출처 URL이 **3개 이상**이면 APPROVE 만 출력한다. 그 외엔 무엇이 부족한지 한 번만 간단히 반려한다(재검색 루프를 길게 끌지 않는다).\n\n[현재 시점] 오늘은 2026-06-14이다. '최근/현재/올해'는 모두 이 날짜 기준이며, 당신의 학습 데이터 시점이 아니다. 검색·분석은 이 시점을 현재로 삼는다.", # ← 프롬프트 개선(검색지시·날짜·출처상한·완화게이트)          "model_client_stream": false,          "reflect_on_tool_use": false,          "tool_call_summary_format": "{result}",          "max_tool_iterations": 1,          "metadata": {}        }      }    ],    "termination_condition": {      "provider": "autogen_agentchat.base.OrTerminationCondition",      "component_type": "termination",      "version": 1,      "component_version": 1,      "label": "OrTerminationCondition",      "config": {        "conditions": [          {            "provider": "autogen_agentchat.conditions.TextMentionTermination",            "component_type": "termination",            "version": 1,            "component_version": 1,            "description": "Terminate the conversation if a specific text is mentioned.",            "label": "TextMentionTermination",            "config": {              "text": "APPROVE"            }          },          {            "provider": "autogen_agentchat.conditions.MaxMessageTermination",            "component_type": "termination",            "version": 1,            "component_version": 1,            "description": "Terminate the conversation after a maximum number of messages have been exchanged.",            "label": "MaxMessageTermination",            "config": {              "max_messages": 10,              "include_agent_event": false            }          }        ]      }    },    "emit_team_events": true  }}

🔴 v2-analyst-deep · 전체 네이티브 JSON (303줄, v6와 다른 줄 강조)

{  "provider": "autogen_agentchat.teams.RoundRobinGroupChat",  "component_type": "team",  "version": 1,  "component_version": 1,  "description": "A team that runs a group chat with participants taking turns in a round-robin fashion\n    to publish a message to all.",  "label": "RoundRobinGroupChat",  "config": {    "participants": [      {        "provider": "autogen_agentchat.agents.AssistantAgent",        "component_type": "agent",        "version": 2,        "component_version": 2,        "description": "An agent that provides assistance with tool use.\n    The :meth:`on_messages` returns a :class:`~autogen_agentchat.base.Response`\n    in which :attr:`~autogen_agentchat.base.Response.chat_message` is the final\n    response message.",        "label": "AssistantAgent",        "config": {          "name": "planner",          "model_client": {            "provider": "autogen_ext.models.openai.OpenAIChatCompletionClient",            "component_type": "model",            "version": 1,            "component_version": 1,            "description": "Chat completion client for OpenAI hosted models.",            "label": "OpenAIChatCompletionClient",            "config": {              "seed": 42,              "temperature": 0.2,              "model": "glm-4.7",              "api_key": "***",              "model_info": {                "vision": false,                "function_calling": true,                "json_output": true,                "family": "unknown",                "structured_output": true,                "multiple_system_messages": true              },              "base_url": "https://api.z.ai/api/coding/paas/v4"            }          },          "workbench": [            {              "provider": "autogen_core.tools.StaticStreamWorkbench",              "component_type": "workbench",              "version": 1,              "component_version": 1,              "description": "A workbench that provides a static set of tools that do not change after\n    each tool execution, and supports streaming results.",              "label": "StaticStreamWorkbench",              "config": {                "tools": [],                "tool_overrides": {}              }            }          ],          "model_context": {            "provider": "autogen_core.model_context.UnboundedChatCompletionContext",            "component_type": "chat_completion_context",            "version": 1,            "component_version": 1,            "description": "An unbounded chat completion context that keeps a view of the all the messages.",            "label": "UnboundedChatCompletionContext",            "config": {}          },          "description": "Decomposes the analysis into subtopics.",          "system_message": "당신은 리서치 리드다. 분석 요청을 5~6개 핵심 소주제(예: 시장규모·수요동인, 기술/공정 트렌드, 경쟁구도, 공급망·지정학, 리스크, 전망)로 분해해 analyst에게 무엇을 다룰지 지시한다. 직접 분석하지 않는다.", # ← 프롬프트 개선(검색지시·날짜·출처상한·완화게이트)          "model_client_stream": false,          "reflect_on_tool_use": false,          "tool_call_summary_format": "{result}",          "max_tool_iterations": 1,          "metadata": {}        }      },      {        "provider": "autogen_agentchat.agents.AssistantAgent",        "component_type": "agent",        "version": 2,        "component_version": 2,        "description": "An agent that provides assistance with tool use.\n    The :meth:`on_messages` returns a :class:`~autogen_agentchat.base.Response`\n    in which :attr:`~autogen_agentchat.base.Response.chat_message` is the final\n    response message.",        "label": "AssistantAgent",        "config": {          "name": "analyst",          "model_client": {            "provider": "autogen_ext.models.openai.OpenAIChatCompletionClient",            "component_type": "model",            "version": 1,            "component_version": 1,            "description": "Chat completion client for OpenAI hosted models.",            "label": "OpenAIChatCompletionClient",            "config": {              "seed": 42,              "temperature": 0.2,              "model": "glm-4.7",              "api_key": "***",              "model_info": {                "vision": false,                "function_calling": true,                "json_output": true,                "family": "unknown",                "structured_output": true,                "multiple_system_messages": true              },              "base_url": "https://api.z.ai/api/coding/paas/v4"            }          },          "workbench": [            {              "provider": "autogen_core.tools.StaticStreamWorkbench",              "component_type": "workbench",              "version": 1,              "component_version": 1,              "description": "A workbench that provides a static set of tools that do not change after\n    each tool execution, and supports streaming results.",              "label": "StaticStreamWorkbench",              "config": {                "tools": [], # ← 도구 목록                "tool_overrides": {}              }            }          ],          "model_context": {            "provider": "autogen_core.model_context.UnboundedChatCompletionContext",            "component_type": "chat_completion_context",            "version": 1,            "component_version": 1,            "description": "An unbounded chat completion context that keeps a view of the all the messages.",            "label": "UnboundedChatCompletionContext",            "config": {}          },          "description": "Analyzes each subtopic with concrete facts.",          "system_message": "당신은 분석가다. planner가 지정한 각 소주제를 구체적 사실·수치·기업/제품명·사례와 함께 깊이 있게 분석해 보고한다. 일반론을 피하고 구체적으로 쓴다.", # ← 프롬프트 개선(검색지시·날짜·출처상한·완화게이트)          "model_client_stream": false,          "reflect_on_tool_use": false,          "tool_call_summary_format": "{result}",          "max_tool_iterations": 1,          "metadata": {}        }      },      {        "provider": "autogen_agentchat.agents.AssistantAgent",        "component_type": "agent",        "version": 2,        "component_version": 2,        "description": "An agent that provides assistance with tool use.\n    The :meth:`on_messages` returns a :class:`~autogen_agentchat.base.Response`\n    in which :attr:`~autogen_agentchat.base.Response.chat_message` is the final\n    response message.",        "label": "AssistantAgent",        "config": {          "name": "synthesizer",          "model_client": {            "provider": "autogen_ext.models.openai.OpenAIChatCompletionClient",            "component_type": "model",            "version": 1,            "component_version": 1,            "description": "Chat completion client for OpenAI hosted models.",            "label": "OpenAIChatCompletionClient",            "config": {              "seed": 42,              "temperature": 0.2,              "model": "glm-4.7",              "api_key": "***",              "model_info": {                "vision": false,                "function_calling": true,                "json_output": true,                "family": "unknown",                "structured_output": true,                "multiple_system_messages": true              },              "base_url": "https://api.z.ai/api/coding/paas/v4"            }          },          "workbench": [            {              "provider": "autogen_core.tools.StaticStreamWorkbench",              "component_type": "workbench",              "version": 1,              "component_version": 1,              "description": "A workbench that provides a static set of tools that do not change after\n    each tool execution, and supports streaming results.",              "label": "StaticStreamWorkbench",              "config": {                "tools": [],                "tool_overrides": {}              }            }          ],          "model_context": {            "provider": "autogen_core.model_context.UnboundedChatCompletionContext",            "component_type": "chat_completion_context",            "version": 1,            "component_version": 1,            "description": "An unbounded chat completion context that keeps a view of the all the messages.",            "label": "UnboundedChatCompletionContext",            "config": {}          },          "description": "Writes a structured FINAL ANSWER report.",          "system_message": "당신은 리포트 작성자다. analyst의 분석을 구조화한 최종 리포트를 작성한다. 'FINAL ANSWER:' 로 시작하고, 마크다운 섹션(## 시장/수요, ## 기술·공정, ## 경쟁·공급망, ## 리스크, ## 전망)으로 구성하며 각 섹션에 구체 근거를 담는다.", # ← 프롬프트 개선(검색지시·날짜·출처상한·완화게이트)          "model_client_stream": false,          "reflect_on_tool_use": false,          "tool_call_summary_format": "{result}",          "max_tool_iterations": 1,          "metadata": {}        }      },      {        "provider": "autogen_agentchat.agents.AssistantAgent",        "component_type": "agent",        "version": 2,        "component_version": 2,        "description": "An agent that provides assistance with tool use.\n    The :meth:`on_messages` returns a :class:`~autogen_agentchat.base.Response`\n    in which :attr:`~autogen_agentchat.base.Response.chat_message` is the final\n    response message.",        "label": "AssistantAgent",        "config": {          "name": "critic",          "model_client": {            "provider": "autogen_ext.models.openai.OpenAIChatCompletionClient",            "component_type": "model",            "version": 1,            "component_version": 1,            "description": "Chat completion client for OpenAI hosted models.",            "label": "OpenAIChatCompletionClient",            "config": {              "seed": 42,              "temperature": 0.2,              "model": "glm-4.7",              "api_key": "***",              "model_info": {                "vision": false,                "function_calling": true,                "json_output": true,                "family": "unknown",                "structured_output": true,                "multiple_system_messages": true              },              "base_url": "https://api.z.ai/api/coding/paas/v4"            }          },          "workbench": [            {              "provider": "autogen_core.tools.StaticStreamWorkbench",              "component_type": "workbench",              "version": 1,              "component_version": 1,              "description": "A workbench that provides a static set of tools that do not change after\n    each tool execution, and supports streaming results.",              "label": "StaticStreamWorkbench",              "config": {                "tools": [],                "tool_overrides": {}              }            }          ],          "model_context": {            "provider": "autogen_core.model_context.UnboundedChatCompletionContext",            "component_type": "chat_completion_context",            "version": 1,            "component_version": 1,            "description": "An unbounded chat completion context that keeps a view of the all the messages.",            "label": "UnboundedChatCompletionContext",            "config": {}          },          "description": "Checks specificity/balance/structure.",          "system_message": "당신은 검수자다. 리포트가 (1)구체적인가(수치·사례) (2)균형 잡혔나(기회+리스크) (3)구조가 명확한가를 점검한다. 부족하면 무엇을 보강할지 한 번만 반려하고, 충분하면 APPROVE 만 출력한다.", # ← 프롬프트 개선(검색지시·날짜·출처상한·완화게이트)          "model_client_stream": false,          "reflect_on_tool_use": false,          "tool_call_summary_format": "{result}",          "max_tool_iterations": 1,          "metadata": {}        }      }    ],    "termination_condition": {      "provider": "autogen_agentchat.base.OrTerminationCondition",      "component_type": "termination",      "version": 1,      "component_version": 1,      "label": "OrTerminationCondition",      "config": {        "conditions": [          {            "provider": "autogen_agentchat.conditions.TextMentionTermination",            "component_type": "termination",            "version": 1,            "component_version": 1,            "description": "Terminate the conversation if a specific text is mentioned.",            "label": "TextMentionTermination",            "config": {              "text": "APPROVE"            }          },          {            "provider": "autogen_agentchat.conditions.MaxMessageTermination",            "component_type": "termination",            "version": 1,            "component_version": 1,            "description": "Terminate the conversation after a maximum number of messages have been exchanged.",            "label": "MaxMessageTermination",            "config": {              "max_messages": 12,              "include_agent_event": false            }          }        ]      }    },    "emit_team_events": true  }}

이 JSON이 곧 §8 상단 다운로드 버튼이 주는 파일이다(dump_component() 결과, api_key 마스킹). 강조 줄 외 나머지가 전부 동일하다는 게 "1변수 원칙"의 시각적 증거.

버전	도구(tools)	이전 버전 대비 변경점
v2-analyst-deep base · 웹 없음	—	base
v3-analyst-web EXP-65 · 웹검색+날짜	web_search	📝 planner 프롬프트 변경 · 📅 planner 날짜맥락 주입 · 🔧 analyst 도구 [없음] → [web_search] · 📝 analyst 프롬프트 변경 · 📅 analyst 날짜맥락 주입 · 📝 synthesizer 프롬프트 변경 · 📅 synthesizer 날짜맥락 주입 · 📝 critic 프롬프트 변경 · 📅 critic 날짜맥락 주입
v4-analyst-web EXP-66 · 검색 다이어트	web_search	📝 planner 프롬프트 변경 · 📝 analyst 프롬프트 변경 · 📝 synthesizer 프롬프트 변경 · 📝 critic 프롬프트 변경
v5-analyst-web EXP-67 · 전부 인용 (rejected)	web_search	📝 synthesizer 프롬프트 변경
v6-analyst-web EXP-68 · dedup+상한 (현재)	web_search_deduped	🔧 analyst 도구 [web_search] → [web_search_deduped] · 📝 analyst 프롬프트 변경 · 📝 synthesizer 프롬프트 변경

🔧 도구 변경 · 📝 프롬프트 변경 · 📅 날짜맥락 주입. (날짜 자체는 prompt_bundle_hash에서 제외 — 실행맥락이라 팀 정체성 아님)

v2-analyst-deep · base · 웹 없음

우리 관측 스냅샷 · config_full

{
    "agents": [
        {
            "name": "planner",
            "tools": [
            ],
            "system_prompt": "당신은 리서치 리드다. 분석 요청을 5~6개 핵심 소주제(예: 시장규모·수요동인, 기술/공정 트렌드, 경쟁구도, 공급망·지정학, 리스크, 전망)로 분해해 analyst에게 무엇을 다룰지 지시한다. 직접 분석하지 않는다.",
            "system_prompt_sha": "e4b9d0478516"
        },
        {
            "name": "analyst",
            "tools": [
            ],
            "system_prompt": "당신은 분석가다. planner가 지정한 각 소주제를 구체적 사실·수치·기업/제품명·사례와 함께 깊이 있게 분석해 보고한다. 일반론을 피하고 구체적으로 쓴다.",
            "system_prompt_sha": "b34ccf53e029"
        },
        {
            "name": "synthesizer",
            "tools": [
            ],
            "system_prompt": "당신은 리포트 작성자다. analyst의 분석을 구조화한 최종 리포트를 작성한다. 'FINAL ANSWER:' 로 시작하고, 마크다운 섹션(## 시장/수요, ## 기술·공정, ## 경쟁·공급망, ## 리스크, ## 전망)으로 구성하며 각 섹션에 구체 근거를 담는다.",
            "system_prompt_sha": "a8bf71e53245"
        },
        {
            "name": "critic",
            "tools": [
            ],
            "system_prompt": "당신은 검수자다. 리포트가 (1)구체적인가(수치·사례) (2)균형 잡혔나(기회+리스크) (3)구조가 명확한가를 점검한다. 부족하면 무엇을 보강할지 한 번만 반려하고, 충분하면 APPROVE 만 출력한다.",
            "system_prompt_sha": "2e9df711ce26"
        }
    ],
    "team_type": "RoundRobinGroupChat",
    "termination": "TextMentionTermination OR MaxMessageTermination",
    "selector_prompt": null,
    "selector_prompt_sha": null,
    "max_selector_attempts": null,
    "allow_repeated_speaker": null
}