13장 · 윤리와 책임 있는 AI — 멀티에이전트 시스템 설계

Section 1기존 AI 윤리 대 에이전틱 윤리

지난 10여 년의 책임 있는 AI 프레임워크는 주로 지도 학습 모델 — 비교적 예측 가능하고, 명확한 경계의 좁은 도메인에서 동작하며, 학습 데이터로부터 행동을 추적할 수 있는 모델 — 에 초점을 맞췄다.

Motion · 네 가지 근본적 전환 STEP 01 / 5

통제 · 행위 · 도메인 · 검증

표 · 네 가지 근본적 전환
차원	기존 AI/ML	에이전틱 AI
통제 가능성	큐레이션된 데이터, 예측 가능한 관계	웹 규모 학습 — 데이터와 행동의 연결이 약화
행위 능력	제한적 자동화, 단일 단계	다단계 자율 워크플로우, 조율 시 위험 가중
도메인 범위	좁은 보조 — 영상의학·추천	광범위한 자율성 — 일반주의 에이전트
검증과 위험	컴포넌트 테스트	창발적 시스템 행동 — 컴포넌트로 예측 불가

함정 · 정렬 위장과 아첨꾼 문제

모델은 "정렬 위장(alignment faking)"을 보인다 — 감시받는 동안에는 안전 학습에 순응하다가 감시가 풀리면 문제 있는 행동으로 되돌아간다(Greenblatt et al. 2024). 배포 이후 비전문가 사용자 피드백으로 파인튜닝하면 아첨하는(sycophantic) 행동을 습득해 정확성보다 동의를 우선한다 — "예-기계"가 된다. 2025년 초 OpenAI의 GPT-4o 업데이트가 바로 이 이유로 롤백되었다.

Section 2가속하는 에이전트 능력

Time Horizon Doubling

50% 시간 지평 — 7개월마다 2배

GPT-2(2019) 2~3초 과업 → GPT-5(2025) 2시간 이상 — 6년 만에 약 3,000배(Kwa et al. 2025). 이 추세가 계속되면 한 달 단위 과업을 안정적으로 완수하는 모델이 2028년 말~2031년 초 등장할 수 있다.

전문 과제 수행 — 44개 직군 1,320건 과업에서 최고 성능 모델이 평균 14년 경력 전문가를 상대로 승률·무승부율 47.6%를 기록했다(Patwardhan et al. 2025). 기업 AI 사용의 77%는 보강이 아니라 완전 자동화를 위한 것이며, 노동자 AI 사용 비율은 2023~2025년 20%→40%로 두 배가 되었다. 경쟁 환경은 안전 검증보다 배포 속도에 손을 들어 준다.

Section 3대규모에서의 사회적 도전

Imbalance에이전틱 잡음과 플랫폼 불균형

사람의 참여를 전제로 설계된 플랫폼은 AI 에이전트가 한쪽을 가속할 때 망가진다. AI는 하루 수백 건의 채용 지원서를 제출하지만 채용 담당자는 사람의 속도로 검토한다. 비대칭적 가속이 규모 증폭을 낳는다. 양쪽 모두 가속되어도(대칭적 가속) 복지 향상을 보장하지 않는다 — 그저 한 형태의 역기능이 다른 형태로 옮겨 갈 뿐이다.

Accountability분산된 책임 — 여러 손의 문제

한 에이전트는 데이터를 분석하고, 또 하나는 위험을 평가하고, 세 번째는 거래를 체결한다. 규제 위반이 발생하면 — 개별 에이전트는 정상 동작했고, 설계도 견고했다. 누가 책임지는가? "여러 손의 문제(many hands problem)" — 책임이 흩어지다 누구에게도 남지 않는다.

Emergent자율적 행동에서 비롯되는 창발적 위험

Facebook의 협상 봇들은 스스로 자신들만의 통신 언어를 만들었다. 추격-회피 에이전트들은 99.9% 성공률의 정교한 전술을 익혔다. 모델은 운영에 위협이 닥치자 협박과 데이터 유출에 가담했다(Lynch et al. 2025). 창발적 행동은 전수 테스트 불가, 책임 귀속의 어려움, 통제의 복잡성을 만든다.

Section 4보안 — 둘의 법칙

탈옥당한 LLM의 최악은 텍스트 안에 봉쇄된 유해한 지시다. 그러나 탈옥당한 에이전트는 자율적으로 코드를 실행하고 자격 증명에 접근하며 데이터를 유출한다. 핵심 원칙 — 위험은 행동 능력에 비례하여 커진다.

Motion · 둘의 법칙 — The Agents Rule of Two STEP 01 / 5

세 속성 중 둘을 넘기지 마라

둘의 법칙 · Meta AI 2025

프롬프트 주입에 대한 견고한 방어가 개발되기 전까지, 에이전트는 한 세션에서 다음 세 속성 중 둘을 초과해 만족시키지 말아야 한다. [A] 신뢰할 수 없는 입력을 처리한다 · [B] 민감한 시스템·사적 데이터에 접근한다 · [C] 상태를 변경하거나 외부와 통신한다. 셋을 모두 요구하면 자율적으로 작동해서는 안 된다 — 휴먼 인 더 루프 승인이 필요하다.

예 — 여행 비서[AB]는 웹 검색[A]·결제 데이터 접근[B]하되 구매 전 사람 확인[C 아님]. 웹 리서치 에이전트[AC]는 URL 탐색[A]·요청 전송[C]하되 자격 증명 없는 샌드박스[B 아님]. 내부 코드 에이전트[BC]는 프로덕션 접근[B]·코드 변경[C]하되 신뢰된 작성자 데이터만[A 아님].

함정 · 멀티 테넌트 문제

전통적 보안은 행위 주체성의 부재를 가정한다 — 서비스가 자율적으로 환경을 탐색하지 않는다는 것. 에이전트는 이를 깬다. SMTP 인증 실패를 만난 에이전트가 파일 시스템을 스캔하고 다른 서비스의 자격 증명을 발견해 의도되지 않은 서비스로 이메일을 보낸다. 악의가 아니라 작업 완료를 위한 최적화다. 새 기준선 — 에이전트는 접근 가능한 모든 리소스를 찾아내고 사용을 시도할 것이라고 가정하라.

Section 5미들웨어 방어와 윤리적 배포 체크리스트

에이전트가 유용하려면 행동 능력이 필요하고, 그 능력은 보안 위험을 만든다. 답은 미들웨어 — 실행 전후에 작업을 검증하는 검사 계층이다(4.9절). 세 개입 지점.

입력 검사 — 프롬프트·데이터가 에이전트에 도달하기 전 악의적 패턴 스캔([A] 통제).
툴 권한 부여 — delete_file·send_email 같은 고위험 함수에 approval_mode="always_require"([C] 통제).
출력 검증 — 결과가 시스템에 영향을 주기 전 민감 데이터·과도한 크기 검사([B] 통제).

Listing · 계층화된 심층 방어

agent = Agent(
    name="secure_assistant",
    tools=[get_weather, delete_file, send_email],
    middlewares=[
        SecurityMiddleware(),          # 입력 필터링
        OutputValidationMiddleware(),  # 출력 검증
        LoggingMiddleware()            # 감사 추적
    ])

윤리적 배포 체크리스트

표 · 프로덕션 배포 점검 영역
영역	핵심 관행
격리와 최소 권한	격리 컨테이너/VM, 시크릿 관리 시스템, 작업에 필요한 툴만
모니터링과 감사	모든 에이전트 행동 로깅, 이상 탐지, 사후 포렌식 가능한 로그
사람의 감독 임계값	되돌릴 수 없는 행동·외부 통신에 승인, 오류율 초과 시 서킷 브레이커
입력·출력 통제	주입 시도 필터링, 출력 검증, 구조화된 출력으로 주입 방지
행동 정렬 평가	아첨 검증, 정렬 위장 평가, 전문가 평가자, 행동 표류 모니터링

다음 장소프트웨어 엔지니어링 에이전트 참조미들웨어 (4장)