Stable Diffusion with Python 파이썬으로 배우는 확산 모델
cho.books 10 Chapters
Andrew Zhu · Packt Publishing 2024 · 모션 학습판

노이즈에서 이미지를 빚는 법

GUI의 노브를 추측으로 돌리는 대신, Python으로 Stable Diffusion을 끝까지 제어한다. 확산의 수학에서 산업 수준 애플리케이션까지 — 22개 장을 10개의 모션 학습 페이지로.

Diffusers Latent Diffusion LoRA · ControlNet SDXL AnimateDiff Gradio

Stable Diffusion이 2022년 8월 출시되었을 때, 이 확산 기반 이미지 생성 모델은 빠르게 전 세계의 주목을 받았다. 모델도 소스 코드도 완전히 오픈 소스다.

Stable Diffusion WebUI 같은 도구는 환상적인 이미지를 만들지만 사용성이 제한적이다. Hugging Face의 Diffusers 패키지는 Python으로 완전한 제어권을 주지만, 커스텀 LoRA·Textual Inversion 로딩, 커뮤니티 모델 활용, 스케줄링·가중치 프롬프트, 무제한 토큰, 고해상도 업스케일링 같은 핵심 기능이 빠져 있다.

이 학습 사이트는 Diffusion 모델의 내부 관점에서 모든 복잡한 용어와 노브를 풀어낸다. 그리고 Diffusers의 한계를 직접 구현으로 메워, 완전히 커스터마이즈된 산업 수준의 Stable Diffusion 애플리케이션을 짓는 길을 안내한다. 각 장에는 확산 과정을 한 단계씩 따라가는 모션 스테이지가 담겨 있다 — 재생 버튼을 눌러보라.

제1부 — Stable Diffusion의 빠른 소개
Chapter 01

Stable Diffusion 입문과 환경 설정

확산 모델의 진화 계보, CLIP과 Transformer, 그리고 모델을 손에 쥐기 위한 CUDA·Python·PyTorch 환경.

Diffusion · CLIP · CUDA · Hardware

읽기 ▸
Chapter 02

이미지 생성 첫걸음

Diffusers 파이프라인으로 첫 이미지를 만들고, 시드·스케줄러·모델·가이던스 스케일 네 손잡이를 다룬다.

Pipeline · Seed · Scheduler · CFG

읽기 ▸
Chapter 03

Diffusion 모델의 이론

DDPM의 심장부 — 순방향 확산, 재매개변수화 트릭, UNet 훈련, 샘플링, 분류기 가이던스.

DDPM · Forward / Reverse · UNet Loss

읽기 ▸
Chapter 04

Stable Diffusion의 작동 원리

latent space의 발상, VAE 인코딩, CLIP 텍스트 임베딩, 그리고 처음부터 조립하는 텍스트-이미지 파이프라인.

Latent Diffusion · VAE · Cross-Attention

읽기 ▸
제2부 — 커스텀 기능으로 Diffusers 개선
Chapter 05

모델 다루기와 성능 최적화

checkpoint·safetensors·SDXL 2단계 파이프라인, 그리고 8.4GB를 3.6GB로 끌어내리는 여섯 최적화.

safetensors · SDXL · float16 · ToMe

읽기 ▸
Chapter 06

LoRA와 Textual Inversion

저랭크 분해로 가중치 변화를 압축하는 LoRA, 새 임베딩 키를 찾는 Textual Inversion.

Low-Rank · PEFT · Embedding

읽기 ▸
Chapter 07

프롬프트 엔지니어링과 토큰 제한

CLIP의 77 토큰 벽을 청크로 허물고, Compel로 개념을 블렌딩하며, 좋은 프롬프트의 원칙을 익힌다.

77 Token · Compel · Scheduled Prompt

읽기 ▸
제3부 — 고급 주제
Chapter 08

이미지 복원, 초해상도, ControlNet

img2img 디퓨전으로 초해상도를 달성하고, ControlNet의 zero convolution으로 형태를 정밀 제어한다.

Super-Resolution · ControlNet · Zero Conv

읽기 ▸
Chapter 09

비디오 생성·이미지 캡셔닝·SDXL

AnimateDiff의 motion 모듈로 일관된 프레임을, BLIP-2·LLaVA로 캡션을, 그리고 SDXL의 확장을.

AnimateDiff · BLIP-2 · LLaVA · SDXL

읽기 ▸
제4부 — 애플리케이션에 통합
Chapter 10

애플리케이션·UI·전이학습·전망

객체 편집·스타일 전이, PNG에 새기는 메타데이터, Gradio 웹 UI, LoRA 전이 학습, 그리고 AI의 미래.

IP-Adapter · PNG · Gradio · Training

읽기 ▸