← Back to the notebookVEINSURE / WRITING

Technical Articles

从 Q-learning 到 DQN:动手入门深度强化学习

从马尔可夫决策过程和表格型 Q-learning 出发,理解深度 Q 网络如何借助经验回放和目标网络扩展能力,并用 PyTorch 搭建一个最小 DQN 智能体。

强化学习(RL)是机器学习的一个分支:智能体通过与环境交互来学习,而不是依靠固定的数据集。本文从经典的 Q-learning 出发,逐步介绍深度 Q 网络(DQN),也就是能够直接读取原始像素并学会玩 Atari 游戏的方法,同时构建一个最小 DQN 智能体。

强化学习的交互循环

核心交互很简单:

智能体 ── 动作 a_t ──▶ 环境
智能体 ◀── 状态 s_t、奖励 r_t ─ 环境

在每个时间步 t:

  • 智能体观察状态 s_t;
  • 根据策略 π 选择一个动作 a_t;
  • 环境返回下一个状态 s_{t+1} 和标量奖励 r_t。

智能体的目标是最大化长期的累计奖励:

G_t = r_t + γ·r_{t+1} + γ²·r_{t+2} + …

折扣因子 γ 通常接近 1,它让未来奖励的价值略低于即时奖励。这一过程可以形式化为马尔可夫决策过程(MDP):下一个状态只取决于当前状态和动作,而不依赖完整历史。

Q-learning:学习动作的价值

Q-learning 的核心是学习函数 Q(s, a),用来估计“在状态 s 下执行动作 a,之后遵循最优策略,究竟能获得多大的价值”。

贝尔曼方程以递归形式定义 Q:

Q(s, a) = r + γ · max_{a'} Q(s', a')

换句话说,在 s 中执行 a 会立即获得奖励 r,之后再加上下一个状态能够达到的最优价值。Q-learning 将这个方程转化为更新规则:

Q(s, a) ← Q(s, a) + α · (r + γ · max_{a'} Q(s', a') − Q(s, a))

其中 α 是学习率。如果状态空间较小,就可以把 Q 存在表格中,反复执行更新直到收敛,这就是表格型 Q-learning。

def q_learning(env, episodes, alpha=0.1, gamma=0.99, epsilon=0.1):
    q = {}  # 以 (state, action) 为键的字典

    def get(s, a):
        return q.get((s, a), 0.0)

    for _ in range(episodes):
        s = env.reset()
        done = False
        while not done:
            # ε-贪心策略:少量探索,其余时间利用已有经验
            if random.random() < epsilon:
                a = random.choice(env.actions)
            else:
                a = max(env.actions, key=lambda x: get(s, x))
            s2, r, done = env.step(a)
            best_next = max(get(s2, x) for x in env.actions) if not done else 0.0
            q[(s, a)] = get(s, a) + alpha * (r + gamma * best_next - get(s, a))
            s = s2
    return q

在一个小型网格世界中试试,它就能学会寻找最短路径。但这种方法只适用于状态数量较少的情况。面对国际象棋棋盘、机器人或 Atari 游戏画面(原始画面有 256^(210·160) 种可能),用表格记录所有状态几乎不可能。

从查表到函数近似

我们可以让神经网络近似 Q(s, a),代替查找表。神经网络是一个可以包含数百万参数的可微函数,它能够在相似状态之间泛化,而不必逐个记忆。

训练目标是缩小预测值与“目标值”的差距:

target = r + γ · max_{a'} Q_target(s', a')
loss   = mean( (Q_net(s, a) − target)² )

直接这样替换会导致训练不稳定。Atari DQN 论文《Playing Atari with Deep Reinforcement Learning》(Mnih 等,2013)采用了三个关键设计:

1. 经验回放。 把状态转移 (s, a, r, s') 存入缓冲区,再随机抽取小批量样本训练。打破连续样本之间的相关性,可以稳定梯度下降,并让每段经验得到多次利用。

2. 目标网络。 维护另一个网络 Q_target,每隔 C 步才更新一次,或者通过缓慢混合参数来更新。使用暂时固定的网络计算目标值,可以避免目标随着在线网络的每次更新不断变化,减少追逐移动目标导致的发散。

3. ε-贪心探索。 从较大的 ε 开始,让大多数动作随机产生,然后逐渐降低它,使智能体前期充分探索、后期更多利用已有经验。

一个最小 DQN 智能体

下面用 PyTorch 简要展示训练循环:

import torch, torch.nn as nn, random
from collections import deque

class DQN(nn.Module):
    def __init__(self, n_states, n_actions):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(n_states, 128), nn.ReLU(),
            nn.Linear(128, 128), nn.ReLU(),
            nn.Linear(128, n_actions),
        )

    def forward(self, x):
        return self.net(x)

def train_dqn(env, episodes=500, batch_size=64, gamma=0.99,
              lr=1e-3, epsilon_start=1.0, epsilon_end=0.02, target_sync=500):
    n_states, n_actions = env.observation_space.n, env.action_space.n
    online, target = DQN(n_states, n_actions), DQN(n_states, n_actions)
    target.load_state_dict(online.state_dict())
    opt = torch.optim.Adam(online.parameters(), lr=lr)
    replay = deque(maxlen=20_000)
    eps = epsilon_start

    for step in range(episodes * 200):
        # ……每一步都逐渐减小 epsilon……
        eps = max(epsilon_end, epsilon_start * (1 - step / (episodes * 200)))

        # 收集并存储一次状态转移
        # s, a, r, s2, done = env.step(...)
        # replay.append((s, a, r, s2, done))

        if len(replay) < batch_size:
            continue
        batch = random.sample(replay, batch_size)
        s, a, r, s2, done = map(lambda x: torch.tensor(x, dtype=torch.float32),
                                zip(*batch))

        q_vals = online(s).gather(1, a.long().unsqueeze(1)).squeeze(1)
        with torch.no_grad():
            targets = r + gamma * target(s2).max(1).values * (1 - done)
        loss = nn.functional.mse_loss(q_vals, targets)

        opt.zero_grad(); loss.backward(); opt.step()

        if step % target_sync == 0:
            target.load_state_dict(online.state_dict())
    return online

整个方法就体现在这个循环中:采样、存储、组成批次、预测、向目标值回归,并定期同步目标网络。

为什么有效,又会在哪里出问题

  • 经验回放打破时间相关性。 相邻帧几乎相同,直接使用随机梯度下降容易过度拟合不断变化的局部趋势。
  • 目标网络提供稳定的回归目标。 没有它,每一步更新都会改变正在拟合的标签。
  • 实践中仍然容易不稳定。 DQN 对奖励尺度、网络大小和 ε 的变化计划都很敏感。如果奖励过小,可以调整尺度(r / max_abs_r);如果训练震荡,就检查目标网络同步频率和回放缓冲区大小。

对于像素输入,上面的线性层需要换成卷积层。原始 DQN 就是这样做的:将四帧灰度画面堆叠后,交给一个小型 CNN 处理。

DQN 之后

DQN 开启了现代深度强化学习的时代。接下来可以学习这些对基础版本的改进:

  • Double DQN:用在线网络 Q_net 选择最佳动作,再用目标网络 Q_target 评估它,减轻价值高估。
  • Dueling DQN:把输出拆分为状态价值 V(s) 和动作优势 A(s, a)。
  • 优先经验回放:更频繁地采样重要的状态转移。
  • DDPG / SAC:把相关思路扩展到连续动作空间。

小结

  • 强化学习通过 (state, action, reward, next_state) 这样的交互学习。
  • 表格型 Q-learning 通过贝尔曼更新解决小型 MDP。
  • DQN 用神经网络替代表格,并借助经验回放和目标网络稳定训练。
  • 掌握这些内容,就为继续学习后续深度强化学习算法打下了基础。
END OF NOTEBack to top ↑

Search the notebook

Search published writing. Use ↑ ↓ to select, Enter to open.