强化学习(RL)是机器学习的一个分支:智能体通过与环境交互来学习,而不是依靠固定的数据集。本文从经典的 Q-learning 出发,逐步介绍深度 Q 网络(DQN),也就是能够直接读取原始像素并学会玩 Atari 游戏的方法,同时构建一个最小 DQN 智能体。
强化学习的交互循环
核心交互很简单:
智能体 ── 动作 a_t ──▶ 环境
智能体 ◀── 状态 s_t、奖励 r_t ─ 环境
在每个时间步 t:
- 智能体观察状态
s_t; - 根据策略
π选择一个动作a_t; - 环境返回下一个状态
s_{t+1}和标量奖励r_t。
智能体的目标是最大化长期的累计奖励:
G_t = r_t + γ·r_{t+1} + γ²·r_{t+2} + …
折扣因子 γ 通常接近 1,它让未来奖励的价值略低于即时奖励。这一过程可以形式化为马尔可夫决策过程(MDP):下一个状态只取决于当前状态和动作,而不依赖完整历史。
Q-learning:学习动作的价值
Q-learning 的核心是学习函数 Q(s, a),用来估计“在状态 s 下执行动作 a,之后遵循最优策略,究竟能获得多大的价值”。
贝尔曼方程以递归形式定义 Q:
Q(s, a) = r + γ · max_{a'} Q(s', a')
换句话说,在 s 中执行 a 会立即获得奖励 r,之后再加上下一个状态能够达到的最优价值。Q-learning 将这个方程转化为更新规则:
Q(s, a) ← Q(s, a) + α · (r + γ · max_{a'} Q(s', a') − Q(s, a))
其中 α 是学习率。如果状态空间较小,就可以把 Q 存在表格中,反复执行更新直到收敛,这就是表格型 Q-learning。
def q_learning(env, episodes, alpha=0.1, gamma=0.99, epsilon=0.1):
q = {} # 以 (state, action) 为键的字典
def get(s, a):
return q.get((s, a), 0.0)
for _ in range(episodes):
s = env.reset()
done = False
while not done:
# ε-贪心策略:少量探索,其余时间利用已有经验
if random.random() < epsilon:
a = random.choice(env.actions)
else:
a = max(env.actions, key=lambda x: get(s, x))
s2, r, done = env.step(a)
best_next = max(get(s2, x) for x in env.actions) if not done else 0.0
q[(s, a)] = get(s, a) + alpha * (r + gamma * best_next - get(s, a))
s = s2
return q
在一个小型网格世界中试试,它就能学会寻找最短路径。但这种方法只适用于状态数量较少的情况。面对国际象棋棋盘、机器人或 Atari 游戏画面(原始画面有 256^(210·160) 种可能),用表格记录所有状态几乎不可能。
从查表到函数近似
我们可以让神经网络近似 Q(s, a),代替查找表。神经网络是一个可以包含数百万参数的可微函数,它能够在相似状态之间泛化,而不必逐个记忆。
训练目标是缩小预测值与“目标值”的差距:
target = r + γ · max_{a'} Q_target(s', a')
loss = mean( (Q_net(s, a) − target)² )
直接这样替换会导致训练不稳定。Atari DQN 论文《Playing Atari with Deep Reinforcement Learning》(Mnih 等,2013)采用了三个关键设计:
1. 经验回放。 把状态转移 (s, a, r, s') 存入缓冲区,再随机抽取小批量样本训练。打破连续样本之间的相关性,可以稳定梯度下降,并让每段经验得到多次利用。
2. 目标网络。 维护另一个网络 Q_target,每隔 C 步才更新一次,或者通过缓慢混合参数来更新。使用暂时固定的网络计算目标值,可以避免目标随着在线网络的每次更新不断变化,减少追逐移动目标导致的发散。
3. ε-贪心探索。 从较大的 ε 开始,让大多数动作随机产生,然后逐渐降低它,使智能体前期充分探索、后期更多利用已有经验。
一个最小 DQN 智能体
下面用 PyTorch 简要展示训练循环:
import torch, torch.nn as nn, random
from collections import deque
class DQN(nn.Module):
def __init__(self, n_states, n_actions):
super().__init__()
self.net = nn.Sequential(
nn.Linear(n_states, 128), nn.ReLU(),
nn.Linear(128, 128), nn.ReLU(),
nn.Linear(128, n_actions),
)
def forward(self, x):
return self.net(x)
def train_dqn(env, episodes=500, batch_size=64, gamma=0.99,
lr=1e-3, epsilon_start=1.0, epsilon_end=0.02, target_sync=500):
n_states, n_actions = env.observation_space.n, env.action_space.n
online, target = DQN(n_states, n_actions), DQN(n_states, n_actions)
target.load_state_dict(online.state_dict())
opt = torch.optim.Adam(online.parameters(), lr=lr)
replay = deque(maxlen=20_000)
eps = epsilon_start
for step in range(episodes * 200):
# ……每一步都逐渐减小 epsilon……
eps = max(epsilon_end, epsilon_start * (1 - step / (episodes * 200)))
# 收集并存储一次状态转移
# s, a, r, s2, done = env.step(...)
# replay.append((s, a, r, s2, done))
if len(replay) < batch_size:
continue
batch = random.sample(replay, batch_size)
s, a, r, s2, done = map(lambda x: torch.tensor(x, dtype=torch.float32),
zip(*batch))
q_vals = online(s).gather(1, a.long().unsqueeze(1)).squeeze(1)
with torch.no_grad():
targets = r + gamma * target(s2).max(1).values * (1 - done)
loss = nn.functional.mse_loss(q_vals, targets)
opt.zero_grad(); loss.backward(); opt.step()
if step % target_sync == 0:
target.load_state_dict(online.state_dict())
return online
整个方法就体现在这个循环中:采样、存储、组成批次、预测、向目标值回归,并定期同步目标网络。
为什么有效,又会在哪里出问题
- 经验回放打破时间相关性。 相邻帧几乎相同,直接使用随机梯度下降容易过度拟合不断变化的局部趋势。
- 目标网络提供稳定的回归目标。 没有它,每一步更新都会改变正在拟合的标签。
- 实践中仍然容易不稳定。 DQN 对奖励尺度、网络大小和
ε的变化计划都很敏感。如果奖励过小,可以调整尺度(r / max_abs_r);如果训练震荡,就检查目标网络同步频率和回放缓冲区大小。
对于像素输入,上面的线性层需要换成卷积层。原始 DQN 就是这样做的:将四帧灰度画面堆叠后,交给一个小型 CNN 处理。
DQN 之后
DQN 开启了现代深度强化学习的时代。接下来可以学习这些对基础版本的改进:
- Double DQN:用在线网络
Q_net选择最佳动作,再用目标网络Q_target评估它,减轻价值高估。 - Dueling DQN:把输出拆分为状态价值
V(s)和动作优势A(s, a)。 - 优先经验回放:更频繁地采样重要的状态转移。
- DDPG / SAC:把相关思路扩展到连续动作空间。
小结
- 强化学习通过
(state, action, reward, next_state)这样的交互学习。 - 表格型 Q-learning 通过贝尔曼更新解决小型 MDP。
- DQN 用神经网络替代表格,并借助经验回放和目标网络稳定训练。
- 掌握这些内容,就为继续学习后续深度强化学习算法打下了基础。