别再死磕PPO公式了！用PyTorch手搓一个能玩CartPole的智能体（附完整代码）

weixin_30715523

355人浏览 · 2026-06-06 11:27:37

weixin_30715523 · 2026-06-06 11:27:37 发布

从零实现PPO算法：用PyTorch打造CartPole智能体实战指南

在强化学习领域，近端策略优化(PPO)算法因其出色的稳定性和样本效率成为众多研究者和工程师的首选。但许多人在理论学习后，面对实际代码实现时仍感到无从下手。本文将彻底打破这一障碍，带你用PyTorch从零构建一个能玩转CartPole游戏的PPO智能体。

1. 环境搭建与核心概念速览

CartPole-v1是OpenAI Gym中的经典控制问题，目标是平衡一根连接在小车上的杆子。虽然看起来简单，但作为算法验证环境具有典型意义：

状态空间 ：4维向量 [小车位置, 小车速度, 杆子角度, 杆子角速度]
动作空间 ：2个离散动作 [向左推, 向右推]
奖励机制 ：每步存活获得+1奖励，最大步数500

PPO的核心优势在于：

样本效率 ：通过重要性采样复用旧数据
训练稳定 ：使用裁剪机制防止策略更新过大
调参友好 ：相比TRPO更易实现

安装基础环境只需两行命令：

pip install gym torch numpy

2. 网络架构设计与实现

2.1 Actor-Critic网络结构

PPO采用共享特征提取层的双分支架构：

import torch
import torch.nn as nn
import torch.nn.functional as F

class PPONet(nn.Module):
    def __init__(self, state_dim, action_dim):
        super().__init__()
        self.fc1 = nn.Linear(state_dim, 64)
        self.fc2 = nn.Linear(64, 64)
        
        # Actor分支输出动作概率
        self.actor = nn.Linear(64, action_dim)
        
        # Critic分支输出状态价值
        self.critic = nn.Linear(64, 1)
        
    def forward(self, x):
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        return torch.softmax(self.actor(x), dim=-1), self.critic(x)

2.2 关键组件解析

策略网络(Actor) ：输出动作概率分布
价值网络(Critic) ：评估当前状态价值
共享层 ：提取通用特征，提升训练效率

提示：适当添加层归一化(LayerNorm)可以提升训练稳定性

3. PPO核心算法实现

3.1 优势函数计算

采用GAE(Generalized Advantage Estimation)计算优势值：

def compute_advantages(rewards, values, gamma=0.99, lam=0.95):
    deltas = rewards[:-1] + gamma * values[1:] - values[:-1]
    advantages = []
    advantage = 0
    for delta in reversed(deltas):
        advantage = delta + gamma * lam * advantage
        advantages.insert(0, advantage)
    return torch.tensor(advantages)

3.2 PPO-Clip损失函数

实现策略更新的核心裁剪机制：

def ppo_loss(old_probs, states, actions, advantages, clip_epsilon=0.2):
    new_probs = policy_net(states).gather(1, actions)
    ratio = new_probs / old_probs
    
    # 裁剪目标函数
    clipped_ratio = torch.clamp(ratio, 1-clip_epsilon, 1+clip_epsilon)
    policy_loss = -torch.min(ratio*advantages, clipped_ratio*advantages).mean()
    
    # 价值函数损失
    value_loss = F.mse_loss(value_net(states), returns)
    
    # 加入熵正则项
    entropy_loss = -torch.sum(new_probs * torch.log(new_probs))
    
    return policy_loss + 0.5*value_loss - 0.01*entropy_loss

4. 训练流程与调优技巧

4.1 完整训练循环

for epoch in range(epochs):
    # 收集轨迹数据
    states, actions, rewards = collect_trajectories(env)
    
    # 计算优势和价值目标
    values = value_net(states).detach()
    advantages = compute_advantages(rewards, values)
    returns = advantages + values[:-1]
    
    # 多轮策略优化
    for _ in range(update_iters):
        optimizer.zero_grad()
        loss = ppo_loss(old_probs, states, actions, advantages)
        loss.backward()
        optimizer.step()

4.2 关键超参数设置

参数	推荐值	作用
clip_epsilon	0.1-0.3	控制策略更新幅度
GAE lambda	0.9-0.99	平衡偏差与方差
学习率	3e-4	优化器步长
批量大小	64-256	每次更新样本数
熵系数	0.01	鼓励探索