GPT-OSS Windows GPU部署实操指南

以下为Windows系统下GPU驱动适配与运行配置的完整流程，包含关键步骤和故障排查方案：

一、GPU驱动预检

1. 硬件确认

   • 执行Win+R → 输入dxdiag → 查看"显示"选项卡
   • 验证GPU型号（如NVIDIA RTX 3090）和显存容量
   • 需满足：
     $$ \text{显存} \geq 8\text{GB}, \quad \text{CUDA核心数} > 3000 $$

2. 驱动更新

   # 管理员模式运行PowerShell
   winget install --id NVIDIA.GeForceExperience
   

   • 通过GeForce Experience安装最新驱动（建议版本≥526.47）

二、CUDA环境部署

1. 安装CUDA Toolkit

   • 访问NVIDIA开发者官网
   • 下载与驱动兼容的版本（推荐CUDA 11.7）
   • 安装时勾选：

     [✓] CUDA
     [✓] Visual Studio Integration
     [ ] Nsight Compute (可选)
     

2. 环境变量配置

   # 新增系统变量
   [Environment]::SetEnvironmentVariable("CUDA_PATH", "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7", "Machine")
   # 添加PATH
   $env:Path += ";$env:CUDA_PATH\bin;$env:CUDA_PATH\libnvvp"
   

三、cuDNN集成

1. 下载安装

   • 登录NVIDIA cuDNN页面（需注册账号）
   • 选择与CUDA版本匹配的cuDNN（如cudnn 8.5.0 for CUDA 11.x）

2. 文件部署

   # 解压后执行
   Copy-Item -Path ".\cuda\bin\*" -Destination "$env:CUDA_PATH\bin" -Force
   Copy-Item -Path ".\cuda\include\*" -Destination "$env:CUDA_PATH\include" -Force
   Copy-Item -Path ".\cuda\lib\x64\*" -Destination "$env:CUDA_PATH\lib\x64" -Force
   

四、Python环境配置

1. 创建虚拟环境

   conda create -n gpt-oss python=3.9
   conda activate gpt-oss
   

2. 安装PyTorch GPU版

   pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
   

3. 验证GPU可用性

   import torch
   print(f"GPU可用: {torch.cuda.is_available()}")
   print(f"设备数: {torch.cuda.device_count()}")
   print(f"当前设备: {torch.cuda.get_device_name(0)}")
   

五、GPT-OSS运行配置

1. 项目部署

   git clone https://github.com/gpt-oss/gpt-core.git
   cd gpt-core
   pip install -r requirements.txt
   

2. 启动参数优化
   修改config.yaml：

   compute:
     device: cuda:0  # 指定GPU
     precision: fp16  # 半精度加速
   memory:
     max_alloc: 0.8   # 显存占用上限80%
   

3. 启动测试

   python launch.py --model gpt-4x --quantize bitsandbytes
   

六、故障排查

关键提示：每次更新驱动后需重新验证CUDA环境，建议定期执行torch.cuda.empty_cache()释放显存碎片。

(示意图：驱动→CUDA→cuDNN→框架→应用层级调用链)