alxndrTL/little-book-rl 딥다이브
— 강화학습을 몬테카를로에서 PPO까지 154쪽으로 압축한 책 + 실행 가능한 코드

1프로젝트 한 줄 요약

little-book-rl은 "짧은 강화학습 책 1권 + 그 책에 나오는 알고리즘의 PyTorch 참조 구현 6종 + 동적계획법 증명 부록"이 전부인, 학습 전용 저장소다. 코드베이스가 아니라 교재(courseware)에 가깝다.

구체적으로 저장소에는 세 덩어리가 들어 있다.

구현된 알고리즘 6종은 강화학습을 배우는 표준적인 순서를 그대로 따른다: tabular(표 기반: MC·SARSA·Q-러닝·n-step SARSA·SARSA(λ)) → DQN(딥 Q-네트워크) → SPG(단순 정책 경사) → REINFORCE → VPG(바닐라 정책 경사) → PPO. 즉 "값을 배우는 방법"에서 시작해 "정책을 직접 배우는 방법"으로 넘어가는 두 개의 큰 갈래를 모두 담았다.

2왜 지금 주목받는가

강화학습 자료는 세상에 넘친다. 그런데도 이 저장소가 TrendShift Daily 상위권(#8)에 오른 데에는 뚜렷한 이유가 있다.

① "얇다"는 것 자체가 셀링 포인트

강화학습 입문의 사실상 표준인 Sutton & Barto의 『Reinforcement Learning: An Introduction』은 500쪽이 넘는다. 정확하지만 처음 보는 사람에게는 완주 자체가 벽이다. little-book-rl은 154쪽으로 "MC부터 PPO까지"의 큰 지도를 먼저 손에 쥐여주는 것을 노린다. 세부를 다 담기보다, 전체 지형을 빠르게 훑고 나서 두꺼운 책으로 넘어가게 하는 진입로 역할이다.

② 이론과 코드가 같은 표기법으로 짝지어져 있다

많은 사람이 강화학습에서 막히는 지점은 "수식은 봤는데 코드로 어떻게 옮기는지 모르겠다"이다. 이 저장소는 각 스크립트 맨 위 주석에 "책에는 없지만 코드에는 넣은 실전 디테일"을 명시한다. 예를 들어 REINFORCE 코드 상단에는 "책과 달리 (1) 정책망 가중치 특수 초기화, (2) 병렬 벡터 환경, (3) 경사하강 대신 Adam 옵티마이저를 썼다"고 적혀 있다. "교과서 버전"과 "돌아가는 버전"의 간극을 저자가 대신 메워 준 것이다.

③ 신뢰받는 CleanRL 계보를 따른다

DQN·PPO 구현은 아예 유명한 오픈소스 CleanRL(vwxyzjn/cleanrl)의 코드를 "완결성을 위해" 그대로 가져왔다고 밝힌다. CleanRL은 "알고리즘 하나 = 파일 하나, 숨은 추상화 없음"을 원칙으로 하는 강화학습 교육용 레포의 사실상 표준이다. TensorBoard·Weights & Biases 로깅, tyro 기반 CLI 인자, 재현용 시드 고정 같은 관행을 그대로 물려받아, 초보자가 "실제 연구자들이 쓰는 실험 코드"의 생김새를 익히게 한다.

④ 저자의 신뢰 자본

저자 Alexandre Torres-Leguet(GitHub alxndrTL, X @AlexandreTL2)는 프랑스 École Centrale Lille 소속으로, ML 논문을 해설·재현하는 유튜브 채널(구독 7천+·영상 70편+)과 인기 오픈소스 mamba.py로 이미 알려진 인물이다. "설명을 잘하는 사람이 쓴 입문서"라는 기대가 초기 확산을 밀어 올렸고, Hacker News·X에서 화제가 되며 며칠 만에 별이 1천 개를 넘었다.

3기술 스택 전체 지도

스택은 의도적으로 단순하다. "학습용"이라는 목적에 맞게, 요즘 파이썬 강화학습 실험에서 가장 널리 쓰는 최소 세트만 골랐다.

핵심 라이브러리

두 가지 실험 환경

코드가 기본으로 쓰는 환경은 강화학습 교육의 "Hello World" 두 개다.

• FrozenLake-v1 — 얼어붙은 호수 격자에서 구멍을 피해 목표 칸에 도달. 상태·행동이 모두 이산(discrete)이라 표(tabular) 알고리즘용. 여기선 신경망이 필요 없다.
• CartPole-v1 — 카트 위 막대를 쓰러뜨리지 않고 세워두기. 상태가 연속(위치·속도·각도…)이라 신경망 기반(DQN·정책 경사)용. 함수 근사(function approximation)가 왜 필요한지 몸으로 느끼게 한다.

CleanRL 유틸리티 재사용

DQN은 from cleanrl_utils.buffers import ReplayBuffer로 경험 재현 버퍼(replay buffer)를 가져온다. 즉 이 저장소만 클론해서는 DQN이 바로 안 돌고, CleanRL 유틸을 함께 설치해야 한다(뒤 7장 참고). 이는 "이미 검증된 부품은 다시 짜지 않는다"는 교육적 선택이다.

4아키텍처 심화 분석 — 강화학습의 사다리

이 저장소의 "아키텍처"는 소프트웨어 구조가 아니라 알고리즘들이 쌓이는 개념의 사다리다. 이걸 이해하면 강화학습 입문의 절반은 끝난 것이다.

모든 강화학습의 공통 뼈대: 에이전트–환경 루프

구현이 6개든 60개든, 강화학습은 전부 아래 한 개의 순환 위에서 돈다.

두 갈래: 값을 배울 것인가, 정책을 배울 것인가

강화학습 알고리즘은 크게 두 진영으로 갈린다. 이 저장소의 algos/ 폴더가 value_based/와 policy_based/로 나뉜 이유가 바로 이것이다.

값 기반 계단: tabular → DQN

tabular.py는 상태·행동이 적어서 Q값을 그냥 표(2차원 배열 Q[s,a])에 적어둘 수 있을 때의 방법 5종을 한 파일에 담았다. 여기서 강화학습의 가장 근본 아이디어인 시간차 학습(TD)과 부트스트래핑을 배운다. Q-러닝의 심장은 딱 한 줄이다:

# Q-러닝 갱신 (tabular.py) — "예측을 실제로 조금씩 끌어당긴다"
bootstrap = 0.0 if term else float(np.max(Q[s_next]))
Q[s, a] += args.learning_rate * (r + args.gamma * bootstrap - Q[s, a])
#                                └── 목표(target) ──┘   └현재추정┘
#      새 추정 = 현재 추정 + 학습률 × (더 나은 목표 - 현재 추정)

같은 파일 안에서 SARSA(실제 한 행동으로 배움=on-policy), n-step SARSA(한 걸음 대신 n걸음 뒤를 봄), SARSA(λ)(적격 흔적, eligibility trace로 여러 걸음을 한꺼번에)로 확장하며 "얼마나 멀리 내다볼까"라는 축을 실험한다. 그 다음 dqn.py에서 표가 너무 커지면(연속 상태) Q표를 신경망으로 바꾼다. 이때 딥 강화학습의 두 안정화 장치가 등장한다.

# DQN 핵심 (dqn.py)
# ① 타깃 네트워크: 목표값 계산엔 "천천히 따라오는 복제망"을 씀
target_max, _ = target_network(data.next_observations).max(dim=1)
td_target = data.rewards.flatten() + args.gamma * target_max * (1 - data.dones.flatten())
loss = F.mse_loss(td_target, old_val)
# ② 경험 재현(replay buffer): 과거 경험을 무작위로 꺼내 상관관계를 깬다

정책 기반 계단: SPG → REINFORCE → VPG → PPO

정책 기반은 "Q값을 거치지 않고 정책 자체를 신경망으로 두고 밀어붙인다". 이 저장소는 가장 단순한 형태에서 시작해, 학습을 불안정하게 만드는 "분산(variance)"을 한 단계씩 줄여가는 아름다운 순서로 배치돼 있다.

세 갈래를 관통하는 정책 경사의 코드는 놀랍도록 짧다. SPG의 손실 계산이 대표적이다:

# SPG 손실 (spg.py) — "좋은 결과를 낸 행동의 로그 확률을 높인다"
log_probs = agent.log_prob(batch_obs, batch_actions)
loss = -(batch_G * log_probs).sum() / args.num_trajectories
#        └ 보상이 크면(batch_G↑) 그 행동의 확률(log_probs)을 더 강하게 밀어올림

REINFORCE는 batch_G를 "reward-to-go"로, VPG는 아래 GAE(일반화 어드밴티지 추정)로 바꾼다. 이 한 줄만 갈아끼우며 분산을 줄여가는 게 정책 경사 계단의 전부다.

# GAE (vpg.py) — 어드밴티지를 뒤에서 앞으로 굴려 계산
for t in reversed(range(T)):
    next_value = values[t + 1] if t + 1 < T else 0.0   # V(종료상태)=0
    delta = rewards[t] + gamma * next_value - values[t]
    advantages[t] = last_gae = delta + gamma * lam * last_gae

5디렉토리 구조 해부

구조가 곧 커리큘럼이다. 폴더 2개(값 기반/정책 기반) × 파일들이 그대로 책의 목차 순서를 반영한다. 특이점 몇 가지:

• tabular.py 하나에 5개 알고리즘을 담고 --algo q_learning처럼 CLI로 골라 돌린다. 표 기반 방법들은 뼈대가 같아 한 파일로 비교하기 좋다.
• dqn.py·ppo.py는 "CleanRL에서 복사"임을 주석에 명시. 나머지 4개(tabular·spg·reinforce·vpg)는 저자가 책 설명에 맞춰 직접 쓴 버전이다.
• supplementary/는 본문에서 "간단히만" 다룬 동적계획법의 엄밀한 증명을 따로 뺀 것. 이론을 더 파고들 사람을 위한 별첨이다.

6학습 포인트 — 알고리즘별 배울 것

7시스템 · 실행 요구사항

하드웨어 요구는 매우 가볍다. 예제 환경(CartPole·FrozenLake)은 작아서 GPU 없이 노트북 CPU로도 몇 분이면 학습된다. DQN·PPO도 CUDA가 있으면 쓰지만(cuda: bool = True) 필수는 아니다.

가장 확실한 설치·실행 순서:

# 1) 저장소 클론
git clone https://github.com/alxndrTL/little-book-rl.git
cd little-book-rl

# 2) 의존성 설치 (requirements.txt가 없으므로 수동)
pip install torch gymnasium numpy tyro tensorboard
pip install cleanrl_utils        # DQN용 ReplayBuffer

# 3) 표 기반 Q-러닝부터 (GPU 불필요, 수십 초)
python algos/value_based/tabular.py --algo q_learning --env-id FrozenLake-v1

# 4) 정책 경사 계단 오르기
python algos/policy_based/ppo.py --env-id CartPole-v1

# 5) 학습 곡선 보기
tensorboard --logdir runs

8직접 해볼 수 있는 실습 과제

9관련 기술 심화 학습 로드맵

10핵심 키워드 사전

11참고 링크

• 저장소: github.com/alxndrTL/little-book-rl
• 저자 홈페이지: alxndrtl.github.io (Alexandre Torres-Leguet, École Centrale Lille)
• 종이책(아마존): The Little Book of Reinforcement Learning
• CleanRL(코드 계보): github.com/vwxyzjn/cleanrl · docs.cleanrl.dev
• 정식 교과서: Sutton & Barto, Reinforcement Learning: An Introduction (무료 PDF 공개)
• Gymnasium 문서: gymnasium.farama.org