环境地基：编译器与用户组的“硬门槛”

从 NVIDIA 生态迁移到 AMD Instinct GPU 平台，最大的心理障碍往往不是硬件性能，而是对 ROCm 生态复杂度的恐惧。很多开发者在 DevCloud 上起步时，习惯性地直接跳进 pip install 的坑里，结果遭遇各种链接错误或运行时崩溃。实际上，只要把地基打牢，后续的流程比想象中顺畅得多。

在动手安装任何深度学习框架之前，必须先清理操作系统层面的依赖。我强烈建议使用 Ubuntu 22.04 LTS，这是目前 ROCm 7.x 支持最完善的发行版。第一步常被忽略的是用户权限配置：ROCm 驱动需要访问特定的设备文件，因此必须将当前用户加入 video 和 render 组。

sudo usermod -aG video,render $USER
# 执行后务必重启系统，否则后续驱动调用会直接报错

重启后，真正的“拦路虎”出现了：编译器版本。ROCm 7.x 对工具链非常挑剔，系统默认的 GCC 如果版本过高（如 GCC 13+）或过低，都会导致后续 PyTorch 编译失败。经过多次试错，GCC 11 或 Clang 15 是最稳妥的选择。你可以用以下命令检查并切换：

gcc --version
# 如果版本不对，使用 update-alternatives 切换到 gcc-11
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-11 100

同时，确保 CMake 版本在 3.20 以上。这一步看似枯燥，但能规避掉后续 80% 因底层工具链不兼容导致的“玄学”报错。

核心编译：PYTORCH_ROCM_ARCH 的关键设置

环境准备就绪后，不要急着去装预编译包。在生产级场景下，为了获得最佳算子支持和避免指令集不匹配，源码编译 PyTorch 是必经之路。这里有一个极易踩坑的参数：PYTORCH_ROCM_ARCH。

AMD 的不同显卡架构代码（如 MI250 是 gfx90a，MI300 是 gfx942）差异巨大。如果编译时未指定或指定错误，生成的二进制文件在运行时会直接报 illegal instruction，且没有任何友好的错误提示。

在激活 Conda 虚拟环境后，安装构建依赖（ninja, wheel, hipblaslt 等），然后设置关键环境变量：

export PYTORCH_ROCM_ARCH="gfx90a;gfx942" 
# 请根据实际显卡型号填写，多卡环境可用分号分隔多个架构
export MAX_JOBS=32  # 利用多核 CPU 加速编译

接着开始编译安装：

git clone --recursive https://github.com/pytorch/pytorch.git
cd pytorch
python setup.py install

PyTorch 编译完成后，再安装 vLLM。注意 vLLM 强依赖 Triton 编译器，需确保其版本与当前的 PyTorch ROCm 后端匹配。安装时同样需要传入 HIP 路径：

export HIP_PATH=/opt/rocm
pip install vllm --no-build-isolation

验证环节不能省，运行 python -c "import torch; print(torch.cuda.is_available())"（ROCm 下通常兼容该接口）确认后端识别正常。

实战排坑：显存碎片与 Block Size 调优

理论部署完成后，真正的挑战才刚开始。我在一次加载 70B 参数模型时，明明计算过显存总量足够（显卡 128GB，模型 +KV Cache 预估 110GB），服务却在启动瞬间崩溃，日志直指 OOM（内存溢出）。

排查发现，罪魁祸首是显存碎片化。vLLM 的 PagedAttention 机制虽然高效，但在 AMD 驱动层面对非连续内存块的分配策略较为敏感。当 block_size 默认值与实际序列长度分布不匹配时，会产生大量无法利用的细小显存碎片，导致实际可用显存远低于理论值。

解决方案是手动调整 --block-size 参数。经过实测，将 block size 从默认的 16 调整为 32 或 64，能显著减少碎片率。以下是我最终稳定运行的启动命令：

vllm serve /path/to/model \
    --host 0.0.0.0 \
    --port 8000 \
    --gpu-memory-utilization 0.92 \
    --block-size 32 \
    --quantization fp8 \
    --tensor-parallel-size 2

这里有两个细节值得注意：

1. --gpu-memory-utilization：建议设为 0.92 而非 0.95。留出 8% 的余量给系统开销和驱动缓冲，能有效防止因瞬时峰值导致的崩溃。
2. 量化加速：如果模型支持，开启 fp8 量化不仅减少显存占用，还能在 Instinct GPU 上获得显著的推理提速。

调整完 block size 后，服务顺利拉起，显存利用率曲线也变得平滑。对于正在从 NVIDIA 转投 AMD 的朋友，遇到显存问题不要只盯着总容量看，细粒度的内存管理参数往往是破局的关键。这套流程跑通后，后续的并发测试和 API 对接就水到渠成了。

🎁 开发者“神装”补给站｜CSDN 6 月宠粉专属福利
工欲善其事，必先利其器。为了帮大家扫清 AI 实践的障碍，CSDN AI 开发者计划，在文末为大家准备了一份「AI 开发者能量包」！