2 Parts11 Chapters Part I. 순방향 네트워크 — 심층 학습 (Ch.6) 01XOR 학습 예제은닉층의 필요성과 비선형 변환의 역할 02경사 기반 학습경사 하강, 미니배치, 출력 유닛 선택 03은닉 유닛ReLU, 시그모이드, tanh 활성화 함수 비교 04아키텍처 설계보편적 근사, 깊이 vs 너비, 층 수 선택 05역전파연쇄 법칙, 계산 그래프, 효율적 기울기 전파 Part II. 정규화와 최적화 (Ch.7-8) 06노름 페널티 정규화L1, L2 정규화와 가중치 제약 07조기 종료검증 세트 기반 학습 중단 08드롭아웃무작위 유닛 제거로 앙상블 효과 09데이터셋 증강이미지/음성/텍스트 변형으로 학습 데이터 확대 10합성곱 신경망국소 연결, 가중치 공유, 풀링 11최적화의 도전 과제지역 최솟값, 안장점, 고원, 절벽 12SGD와 모멘텀확률적 경사 하강과 관성 가속 13적응적 학습률 — Adam1차/2차 모멘트 추정과 편향 보정 14매개변수 초기화Xavier, He, 직교 초기화