리처드 서튼과 앤드루 바토의 『강화학습 입문』을 개념 중심으로 다시 엮었다. 16개 장 각각의 핵심 아이디어를 직관 우선으로 풀어내고, 벨만 방정식·시간차 오차·정책 경사 같은 결정적 순간을 단계별 모션으로 눈에 보이게 했다.
이 책은 하나의 질문에서 출발한다 — 가르쳐 주는 교사 없이, 오직 보상 신호만으로 좋은 행동을 어떻게 배울 수 있는가? 답은 세 부분에 걸쳐 점점 깊어진다.
I 부는 상태의 수가 표에 다 담길 만큼 작은 세계에서 — 정확한 해를 구하는 방법을 다룬다. 밴딧에서 출발해 MDP로 문제를 형식화하고, 동적계획법·몬테카를로·시간차 학습이라는 세 갈래 해법을 만난다. II 부는 상태가 우주보다 많을 때 — 가치 함수를 함수 근사로 압축한다. III 부는 알고리즘을 넘어, 강화학습이 심리학·신경과학과 맺는 관계, 그리고 세상에서 이룬 성취를 본다.
상태가 충분히 적어 가치를 표 하나에 적을 수 있을 때. 핵심 아이디어를 가장 단순한 설정에서 끝까지 개발한다.
상태가 너무 많아 표에 담을 수 없을 때. 가치 함수를 매개변수화된 근사기로 표현하고, 경험을 일반화한다.
강화학습이 동물의 학습 심리학, 뇌의 보상 시스템과 맺는 관계, 그리고 책을 떠나 세상에서 이룬 성취들.