简介这份资源面向计算机、人工智能、自动化等专业的在校学生与教师以及希望入门或进阶深度强化学习的开发者提供基于PyTorch的PPO、DQN、SAC、DDPG等主流算法实现可用于课程设计、大作业、毕业设计或项目初期立项演示。压缩包共30个文件以23个Python源码为主辅以少量编译缓存、说明文档与配置文件整体约57KB体量轻便便于快速阅读与二次修改。代码覆盖CartPole、Pendulum、MountainCar、FrozenLake、CliffWalking、MsPacman等多种经典环境并包含DDQN、PER、Duel、RDQN、TD3等扩展变体同时提供buffer、normalization、model、runner、env_wrappers等通用模块目录结构清晰方便按算法与环境组合检索学习。项目代码均经过测试运行成功已有1456人学习下载适合在现有实现上修改以完成其他功能或直接用于课设、作业与毕设参考。1. 从一份 PyTorch 深度强化学习源码包说起PPO、DQN、SAC、DDPG 到底怎么跑起来很多人第一次拿到「基于 PyTorch 深度强化学习的 PPO、DQN、SAC、DDPG 等算法实现 python 源码」这类压缩包时第一反应是解压、找main.py、直接python main.py然后被一堆ImportError、CUDA out of memory、env.reset()返回值数量不对拍在脸上。这份源码包真正值钱的地方不是「有四个算法」而是它把连续动作和离散动作、同策略和异策略、随机策略和确定性策略这几条分叉线用同一套训练循环骨架串了起来。你如果只是把它当黑匣子跑一遍学不到任何东西但如果你能拆开看清 PPO 的 clip、DQN 的 target network、SAC 的 entropy 温度、DDPG 的确定性策略梯度各自挂在哪一层这套代码就能变成你自己项目的起点。这篇笔记面向的是已经会写 PyTorch 训练循环、想把这四个算法真正跑通并改到自己环境里的工程师不是零基础入门。下面按「环境怎么搭 → 四个算法各自怎么跑 → 参数怎么调 → 坑在哪 → 怎么验证」的顺序讲。2. 环境搭建与源码目录结构先让 PyTorch 和 Gym 对上话2.1 用 conda 隔离环境别在 base 里装深度强化学习对版本极其敏感gym从 0.21 到 0.26 改了reset()和step()的返回签名numpy2.x 又会和不少老代码打架。我一般用 conda 建一个干净环境Python 锁 3.9 或 3.10这两个版本对 PyTorch 和 Gym 的兼容性最稳。conda create -n drl python3.10 -y conda activate drl # 先装 PyTorch按你的 CUDA 版本去官网选对应命令这里以 CUDA 11.8 为例 pip install torch2.1.0 torchvision0.16.0 --index-url https://download.pytorch.org/whl/cu118 # 再装强化学习常用依赖 pip install gym0.26.2 numpy1.24.3 matplotlib pandas tensorboard逻辑说明先装 PyTorch 再装其他包是因为gym和numpy的依赖解析有时会把 torch 的 CUDA 版本覆盖掉。参数说明gym0.26.2是reset()返回(obs, info)元组的分界版本如果你拿到的源码用的是老式obs env.reset()要么降 gym 到 0.21要么改代码。numpy1.24.3是为了避开 numpy 2.x 移除np.float_等别名导致的报错。2.2 源码目录的典型分层这类源码包通常长这样先认清每一层职责再动手目录/文件职责你改动的频率envs/环境封装统一 reset/step 接口换环境时改algorithms/PPO、DQN、SAC、DDPG 各自实现调算法时改networks/Actor、Critic 网络定义改网络结构时改buffers/经验回放池DQN/SAC/DDPG 用很少改configs/超参数 yaml 或 argparse调参时改train.py/main.py训练入口偶尔改utils/日志、种子、绘图很少改先跑python train.py --algo ppo --env CartPole-v1这种最小组合确认整条链路通了再上连续动作环境。别一上来就 MuJoCo那会同时引入环境安装问题和算法问题排查起来是灾难。2.3 固定随机种子的最小改动import random, numpy as np, torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) # 下面两行会让 cudnn 变慢但结果可复现调试阶段值得 torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False逻辑说明强化学习方差极大同一个算法跑两次曲线能差出一倍不固定种子你根本分不清是改代码起了作用还是运气。参数说明seed建议在 0~100 之间多跑几个取平均单次结果没有说服力。注意deterministicTrue会牺牲约 10%~20% 训练速度正式跑大规模实验时可以关掉。3. 四个算法的训练循环PPO、DQN、SAC、DDPG 各自的最小可跑命令3.1 PPO同策略、clip 目标、GAE 优势估计PPO 是这四个里最适合入门连续控制的因为它对超参不敏感、训练稳定。核心是「重要性采样比率的 clip」和「GAE 优势估计」两块。# PPO 更新核心片段 def ppo_update(self, batch): obs, actions, old_log_probs, advantages, returns batch for _ in range(self.epochs): # 同一批数据反复用 dist self.actor(obs) log_probs dist.log_prob(actions) ratio torch.exp(log_probs - old_log_probs) # clip 目标限制策略更新幅度 surr1 ratio * advantages surr2 torch.clamp(ratio, 1 - self.clip, 1 self.clip) * advantages actor_loss -torch.min(surr1, surr2).mean() # Critic 拟合回报 value self.critic(obs) critic_loss ((value - returns) ** 2).mean() loss actor_loss 0.5 * critic_loss - 0.01 * dist.entropy().mean() self.optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(self.parameters(), 0.5) self.optimizer.step()逻辑说明ratio是新旧策略概率比clip把它的更新幅度限制在[1-ε, 1ε]防止一步更新太猛导致策略崩溃。参数说明clip一般取 0.1~0.2epochs取 10 左右entropy系数 0.01 是鼓励探索连续控制任务可以调到 0.001。clip_grad_norm_的 0.5 是梯度裁剪防止偶发的巨大梯度把网络带飞。跑 PPO 的最小命令python train.py --algo ppo --env HalfCheetah-v4 --total_steps 1000000 --rollout_len 2048 --clip 0.2 --lr 3e-43.2 DQN异策略、经验回放、目标网络DQN 只适合离散动作别拿它跑连续控制。它的两个命根子是「经验回放池」和「目标网络」。# DQN 单步更新 def dqn_update(self, batch): obs, actions, rewards, next_obs, dones batch q_values self.q_net(obs).gather(1, actions) with torch.no_grad(): # 目标网络算下一状态最大 Q切断梯度 next_q self.target_net(next_obs).max(1, keepdimTrue)[0] target rewards self.gamma * next_q * (1 - dones) loss torch.nn.functional.mse_loss(q_values, target) self.optimizer.zero_grad() loss.backward() self.optimizer.step() # 软更新目标网络 for p, tp in zip(self.q_net.parameters(), self.target_net.parameters()): tp.data.copy_(self.tau * p.data (1 - self.tau) * tp.data)逻辑说明target_net提供稳定的回归目标tau控制软更新速度。参数说明gamma取 0.99tau取 0.005回放池容量 10 万到 100 万batch_size64~256。注意dones要转成 float否则1 - dones会报类型错误这是新手最常见的翻车点之一。3.3 SAC最大熵、双 Q、自动温度SAC 是连续控制里综合表现最好的核心是「最大化回报的同时最大化熵」让策略保持探索。# SAC 的 actor loss重参数化采样 def sac_actor_loss(self, obs): action, log_prob self.actor.sample(obs) # 重参数化梯度可回传 q1 self.q1_net(obs, action) q2 self.q2_net(obs, action) q torch.min(q1, q2) # 温度 alpha 自动调节 actor_loss (self.alpha * log_prob - q).mean() return actor_loss逻辑说明min(q1, q2)是双 Q 网络取小抑制 Q 值高估alpha是熵温度越大越鼓励探索。参数说明alpha建议用自动调节target entropy 设为-action_dim学习率 actor 3e-4、critic 3e-4、alpha 3e-4回放池 100 万。SAC 对 reward scale 敏感如果环境 reward 量级是几百先把 reward 归一化再喂进去。3.4 DDPG确定性策略、只适合连续动作DDPG 可以看成 SAC 去掉熵、去掉双 Q 的简化版训练不稳定是它的老毛病。# DDPG actor 更新确定性策略梯度 def ddpg_actor_loss(self, obs): action self.actor(obs) # 确定性输出不是分布采样 q self.q_net(obs, action) return -q.mean() # 最大化 Q 就是最小化负 Q逻辑说明确定性策略直接输出动作梯度通过 Q 网络回传到 actor。参数说明actor 学习率要比 critic 小一个量级actor 1e-4critic 1e-3否则容易震荡。探索靠给动作加高斯噪声噪声标准差从 0.1 线性衰减到 0.01。DDPG 对超参极其敏感如果 SAC 能跑通优先用 SAC。4. 超参数怎么调四个算法最容易翻车的参数清单4.1 学习率与网络结构算法actor lrcritic lr隐藏层备注PPO3e-43e-4[64,64]共享或分离都行DQN—1e-3[128,128]离散动作专用SAC3e-43e-4[256,256]网络大一点更稳DDPG1e-41e-3[256,256]actor 必须更小网络不是越大越好MuJoCo 这类任务[256,256]足够再大反而过拟合、训练慢。激活函数统一用 ReLU输出层连续动作用 tanh 并乘上动作上界。4.2 折扣因子与 GAE 参数gamma在大多数任务取 0.99episode 特别长的任务比如 1000 步以上可以取 0.995。PPO 的gae_lambda取 0.95这个值越大优势估计方差越大、偏差越小0.95 是经验平衡点。别把gamma设成 1.0那会让 Q 值无界增长。4.3 回放池与批量大小DQN、SAC、DDPG 依赖回放池容量太小样本相关性去不掉太大会拖慢采样效率。常见做法是容量 100 万、batch_size256、预热步数 1 万前 1 万步只采样不训练。PPO 是同策略不需要回放池但rollout_len要够大2048 是连续控制的常用值。5. 避坑与排查源码跑不起来时先看这几条5.1 现象env.reset()返回两个值代码只接一个原因gym 0.26 之后reset()返回(obs, info)step()返回(obs, reward, terminated, truncated, info)五元组。解决要么把 gym 降到 0.21要么在环境封装层统一处理obs, info env.reset() obs, reward, terminated, truncated, info env.step(action) done terminated or truncated5.2 现象训练几百步后 Q 值爆炸成 NaN原因学习率太大、没做梯度裁剪、或者 reward 量级过大。解决先把 critic 学习率降到 1e-4加上clip_grad_norm_(params, 10)再把 reward 除以一个常数归一化。SAC 和 DDPG 尤其容易出这个问题。5.3 现象PPO 曲线先涨后崩原因clip太大或epochs太多同一批数据反复更新导致策略跑偏。解决clip从 0.2 降到 0.1epochs从 10 降到 5同时监控approx_kl超过 0.02 就提前停止这批更新。5.4 现象CUDA out of memory原因回放池存在 GPU 上或者batch_size太大。解决回放池放 CPU 内存采样后再.to(device)batch_size从 256 降到 64。别把整个回放池塞进显存100 万条 256 维的样本轻松吃掉几十 G。5.5 现象四个算法在同一个环境上表现差异巨大原因这很正常。DQN 只能离散动作你拿它跑连续环境会直接报错或学不动DDPG 在 reward 稀疏的任务上几乎不收敛。解决先按动作空间选算法——离散用 DQN连续优先 SAC追求稳定用 PPODDPG 只在你有明确理由时用。6. 验证与进阶怎么确认你的实现真的对了跑通不等于实现对。我一般用三个层次验证。第一层用CartPole-v1这种简单环境PPO 和 DQN 应该在 10 万步内稳定到 475 分以上如果连这个都到不了八成是 GAE 或 target 计算写错了。第二层固定种子跑 5 次看均值和方差方差过大说明实现里有不稳定因素。第三层把训练好的策略导出用独立脚本加载权重跑 100 个 episode确认推理阶段没有依赖训练时的随机性。# 策略验证脚本骨架 def evaluate(policy, env, episodes100): returns [] for _ in range(episodes): obs, _ env.reset() done, ep_ret False, 0.0 while not done: with torch.no_grad(): action policy.act(obs, deterministicTrue) # 验证时关掉探索噪声 obs, reward, terminated, truncated, _ env.step(action) done terminated or truncated ep_ret reward returns.append(ep_ret) print(fmean{np.mean(returns):.1f}, std{np.std(returns):.1f})逻辑说明deterministicTrue是关键验证时必须关掉 SAC/DDPG 的探索噪声和 PPO 的随机采样否则你测的是带噪声的策略。参数说明episodes至少 100少于 30 个 episode 的均值没有统计意义。进阶方向有两个。一是把 PyTorch 模型转 ONNX 部署注意强化学习策略网络通常有动态输入维度导出时要指定dynamic_axes否则推理时会因为 batch 维度不匹配报错。二是把四个算法统一到一个抽象基类下只保留select_action、update、save、load四个接口这样换算法只改配置不改训练循环。我自己维护这类代码时最大的教训是每次改动只动一个变量改完立刻用固定种子跑一遍短实验对比曲线别攒一堆改动一起跑——强化学习的玄学程度攒改动等于放弃归因。希望帮到你。本文还有配套的精品资源点击获取