从零部署AI炼丹炉：在CentOS 7.9离线服务器上为Tesla A100配置PyTorch GPU环境全记录

当企业或研究机构需要在严格隔离的网络环境中搭建深度学习开发平台时，如何高效部署GPU计算环境成为技术团队面临的首要挑战。本文将详细记录在CentOS 7.9离线服务器上，为NVIDIA Tesla A100显卡配置完整PyTorch GPU开发环境的全流程，涵盖从驱动安装到虚拟环境迁移的每个技术细节。

1. 环境准备与基础配置

1.1 操作系统与硬件检查

在开始部署前，需确认服务器满足以下基础条件：

• 操作系统 ：CentOS 7.9.2009（内核版本不低于3.10.0-1160）
• 硬件配置 ：
  • Tesla A100 40GB显卡（PCIe版本）
  • 至少64GB系统内存
  • 500GB可用磁盘空间（推荐NVMe SSD）

通过以下命令验证系统信息：

# 检查系统版本
cat /etc/redhat-release
# 检查内核版本
uname -r
# 查看PCI设备
lspci | grep -i nvidia

1.2 建立本地软件仓库

由于服务器处于离线环境，需要预先准备CentOS安装镜像作为本地yum源：

# 创建挂载点
mkdir -p /media/cdrom
# 挂载ISO镜像
mount -o loop CentOS-7-x86_64-DVD-2207-02.iso /media/cdrom
# 配置本地源
cd /etc/yum.repos.d/
mkdir backup && mv *.repo backup/
cat > local.repo <<EOF
[local]
name=Local Repository
baseurl=file:///media/cdrom
enabled=1
gpgcheck=0
EOF
# 更新缓存
yum clean all && yum makecache

注意：确保已安装基础开发工具包： yum install -y gcc make kernel-devel kernel-headers

2. NVIDIA驱动与CUDA工具链安装

2.1 驱动版本选择策略

针对Tesla A100显卡，推荐使用以下组合：

• 驱动版本 ：515.105.01（R515系列长期支持版）
• CUDA Toolkit ：11.7（与PyTorch稳定版本兼容性最佳）

版本选择考虑因素：

• 企业级环境的稳定性需求
• PyTorch官方预编译二进制包的CUDA版本支持
• NVIDIA官方长期支持周期

2.2 离线安装NVIDIA驱动

1. 下载驱动包（需在联网机器完成）：

   • 从 NVIDIA官网 获取： nvidia-driver-local-repo-rhel7-515.105.01-1.0-1.x86_64.rpm

2. 安装流程：

# 安装本地仓库
rpm -i nvidia-driver-local-repo-rhel7-515.105.01-1.0-1.x86_64.rpm
# 安装驱动组件
yum --disablerepo="*" --enablerepo="nvidia-driver-local-repo-rhel7" install -y cuda-drivers
# 验证安装
modprobe nvidia
nvidia-smi

预期输出应显示Tesla A100显卡信息，包括驱动版本515.105.01和CUDA版本11.7。

2.3 CUDA Toolkit部署

虽然PyTorch不直接依赖系统CUDA Toolkit，但部分工具链需要：

yum --disablerepo="*" --enablerepo="nvidia-driver-local-repo-rhel7" install -y cuda-toolkit-11-7

配置环境变量：

echo 'export PATH=/usr/local/cuda-11.7/bin:$PATH' >> /etc/profile
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.7/lib64:$LD_LIBRARY_PATH' >> /etc/profile
source /etc/profile

3. Anaconda虚拟环境离线部署

3.1 环境迁移方案设计

离线部署conda环境的核心挑战是解决依赖关系。我们采用"联网机器预装+完整环境迁移"的方案：

步骤	联网机器操作	离线服务器操作
1	安装Anaconda	安装相同版本Anaconda
2	创建虚拟环境	接收环境打包文件
3	安装PyTorch GPU版	解压到对应目录
4	测试环境功能	直接使用已验证环境

3.2 具体实施步骤

在联网机器上：

# 下载Anaconda3-2023.03-Linux-x86_64.sh
bash Anaconda3-2023.03-Linux-x86_64.sh -b -p /opt/anaconda3
# 初始化conda
source /opt/anaconda3/bin/activate
# 创建专用环境
conda create -n torch-gpu python=3.9 -y
conda activate torch-gpu
# 安装PyTorch（匹配CUDA 11.7）
conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia -y
# 验证安装
python -c "import torch; print(torch.cuda.is_available())"
# 打包环境
tar -czvf torch-gpu.tar.gz /opt/anaconda3/envs/torch-gpu

在离线服务器上：

# 安装相同版本Anaconda
bash Anaconda3-2023.03-Linux-x86_64.sh -b -p /opt/anaconda3
# 部署预装环境
mkdir -p /opt/anaconda3/envs
tar -xzvf torch-gpu.tar.gz -C /
# 验证环境
source /opt/anaconda3/bin/activate torch-gpu
python -c "import torch; print(torch.rand(3,3).cuda())"

4. 系统优化与问题排查

4.1 性能调优配置

编辑 /etc/security/limits.conf 添加：

* soft memlock unlimited
* hard memlock unlimited
* soft stack  unlimited
* hard stack  unlimited

NVIDIA持久化模式设置：

nvidia-smi -pm 1

4.2 常见问题解决方案

驱动加载失败 ：

1. 检查内核头文件是否匹配： rpm -qa | grep kernel-devel
2. 重建驱动模块： dkms install -m nvidia -v 515.105.01

CUDA不可用 ：

# 检查CUDA编译器
which nvcc
nvcc --version
# 验证PyTorch CUDA状态
python -c "import torch; print(torch.version.cuda)"

环境迁移后报错 ：

1. 确保conda版本一致
2. 检查 LD_LIBRARY_PATH 包含CUDA库路径
3. 重新安装特定包： conda install --offline pytorch torchvision -y

5. 完整验证流程

建立标准验证脚本 gpu_test.py ：

import torch
print(f"PyTorch版本: {torch.__version__}")
print(f"CUDA可用: {torch.cuda.is_available()}")
print(f"GPU数量: {torch.cuda.device_count()}")
print(f"当前GPU: {torch.cuda.current_device()}")
print(f"设备名称: {torch.cuda.get_device_name(0)}")
tensor = torch.rand(1000,1000).cuda()
print(f"矩阵计算: {tensor @ tensor.t()}")

执行验证：

conda activate torch-gpu
python gpu_test.py
nvidia-smi

预期应看到：

1. Python脚本输出各检测项成功
2. nvidia-smi 显示python进程正在使用GPU
3. GPU利用率随计算任务波动