小白也能懂：Qwen2.5-7B在昇腾310上的完整部署流程

1. 学习目标与价值

你是不是也对大语言模型充满好奇，想自己动手部署一个玩玩，但一看到复杂的命令行和配置就头疼？别担心，这篇文章就是为你准备的。

今天，我将带你从零开始，手把手在昇腾310平台上部署阿里开源的Qwen2.5-7B大模型。整个过程就像搭积木，我会把每一步都拆解得清清楚楚，即使你之前没接触过昇腾芯片，也能跟着做下来。

学完这篇教程，你将能：

1. 在昇腾310环境中，从零搭建起一个能运行大模型的Python环境。
2. 成功下载并部署Qwen2.5-7B模型，让它能通过网页和你对话。
3. 理解部署过程中的关键步骤和常见“坑点”，以后部署其他模型也能举一反三。

我们不走弯路，直接上最实用、最清晰的流程。准备好了吗？让我们开始吧。

2. 环境准备：搭建你的“模型小屋”

部署模型就像盖房子，第一步得把地基打好。这里的地基，就是我们的Docker容器环境。别被“容器”这个词吓到，你可以把它理解为一个干净、独立的“小房间”，专门用来运行我们的模型，不会和你电脑上其他软件“打架”。

2.1 获取“建筑图纸”：拉取Docker镜像

昇腾社区为我们准备好了现成的“建筑图纸”——适配好的Docker镜像。我们只需要把它下载下来。打开你的终端，输入下面这行命令：

docker pull --platform=arm64 swr.cn-south-1.myhuaweicloud.com/ascendhub/cann:8.3.rc2-310-ubuntu22.04-py3.11

命令解释：

• docker pull：下载镜像的命令。
• --platform=arm64：指定我们要下载ARM64架构的版本，因为昇腾310平台是基于ARM的。
• 后面那一长串地址：就是镜像在仓库里的具体位置和版本号。

下载完成后，可以用 docker images 命令看看它是不是已经躺在你的“镜像仓库”里了。

2.2 开工建造：创建并运行容器

有了图纸，现在要开始盖“房子”了。我们需要创建一个容器实例。这里有个小技巧，为了让容器创建后不会马上退出，我们需要在启动命令里加一个“保持运行”的指令。

docker run -it -d --net=host --shm-size=1g \
    --privileged \
    --name qwen_deploy \
    --device=/dev/davinci_manager \
    --device=/dev/hisi_hdc \
    --device=/dev/devmm_svm \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
    -v /usr/local/sbin:/usr/local/sbin:ro \
    -v /home/your_username/model_weights:/path-to-weights:ro \
    -v /home:/home \
    [你的镜像ID] \
    bash -c "tail -f /dev/null"

重要提示：

• --name qwen_deploy：给你的容器起个名字，这里叫qwen_deploy，方便管理。
• -v /home/your_username/model_weights:/path-to-weights:ro：这一行是把你自己电脑上的一个文件夹（比如放模型权重的/home/your_username/model_weights）挂载到容器里。请把your_username换成你电脑实际的用户名，这样后面下载的模型就能在容器里访问了。
• [你的镜像ID]：这里需要替换成你刚才用docker images命令看到的那个镜像的真实ID，是一串字母数字组合。
• bash -c "tail -f /dev/null"：这个小尾巴命令能让容器一直运行，不会创建完就退出。

运行成功后，用 docker ps 命令检查一下，看到 qwen_deploy 的状态是 Up，就说明你的“模型小屋”已经盖好并正常运行了。

2.3 进入“小屋”：配置Python环境

房子盖好了，我们得进去装修。首先进入容器：

docker exec -it qwen_deploy bash

现在，你就在容器内部了。我们需要安装一个Python环境管理工具——Miniconda，它能让不同项目用不同版本的Python和软件包，互不干扰。

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh
bash Miniconda3-latest-Linux-aarch64.sh

安装过程中，一直按回车，看到询问是否初始化conda时，输入 yes 就行。

安装完，运行一下 conda --version，如果提示命令找不到，别慌，执行 source ~/.bashrc 刷新一下环境，再试一次就好了。

接下来，我们创建一个专属于这个项目的Python 3.10环境：

conda create -n qwen_env python=3.10

看到提示，输入 y 确认。创建完成后，激活这个环境：

conda activate qwen_env

你会发现命令行前面从 (base) 变成了 (qwen_env)，恭喜，专属环境激活成功！

3. 安装核心“家具”：PyTorch与昇腾适配

我们的“小屋”现在有了基本结构（系统）和空间规划（Python环境），接下来要搬进最重要的“家具”——深度学习框架PyTorch，以及让它能在昇腾芯片上跑的“适配器”。

3.1 安装PyTorch

因为是在ARM架构的昇腾环境，我们需要安装预编译好的版本。这里我们从ModelScope的仓库获取：

git clone https://oauth2:A_HhBt9-qWdhdTFy66k9@www.modelscope.cn/DanteQ/torch2.5.1.git
cd torch2.5.1
pip install torch-2.5.1-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl

安装过程会自动解决依赖，看到 Successfully installed torch-2.5.1 就成功了。

3.2 安装关键“适配器”：torch-npu

这是让PyTorch认识并使用昇腾NPU芯片的核心桥梁。这里版本必须严格匹配，PyTorch 2.5.1 对应的是 torch-npu 2.5.1rc1。

pip install pyyaml setuptools
pip install torch-npu==2.5.1rc1

安装完成后，我们可以写个简单的Python脚本来测试一下环境是否就绪：

# test_npu.py
import torch
print(f"PyTorch version: {torch.__version__}")
print(f"NPU available: {torch.npu.is_available()}")
if torch.npu.is_available():
    print(f"NPU device count: {torch.npu.device_count()}")
    device = torch.npu.set_device(0)
    print(f"Current NPU device: {torch.npu.current_device()}")

运行 python test_npu.py，如果看到输出显示NPU可用，并且有设备数量，那么最基础、最关键的一步就完成了！

4. 部署模型：让Qwen2.5-7B“住”进来

环境万事俱备，现在请出今天的主角——Qwen2.5-7B模型。

4.1 下载模型

我们直接在容器内，从镜像描述中提到的仓库下载模型。为了速度，我们可以使用国内的镜像源。

# 假设我们在挂载的模型权重目录下操作
cd /path-to-weights
git clone https://gitcode.com/hf_mirrors/Qwen/Qwen2.5-7B-Instruct.git

这个命令会把Qwen2.5-7B-Instruct模型（指令微调版，更适合对话）克隆到当前目录。由于模型较大（约14GB），下载需要一些时间，请耐心等待。

4.2 准备网页推理服务

根据镜像描述，部署完成后可以通过“网页服务”进行交互。这意味着我们需要一个简单的Web界面来调用模型。这里我们可以使用一个非常轻量级的工具——Gradio。

首先，安装Gradio：

pip install gradio

然后，创建一个简单的Python脚本作为我们的Web服务入口：

# app.py
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
import gradio as gr

# 1. 加载模型和分词器
print("正在加载模型和分词器，请稍候...")
model_path = "/path-to-weights/Qwen2.5-7B-Instruct" # 请修改为你的实际路径
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

# 注意：在NPU上运行需要使用`device_map="npu:0"`，并确保模型支持加速
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.float16, # 使用半精度节省内存
    device_map="npu:0", # 指定使用NPU设备
    trust_remote_code=True
).eval()
print("模型加载完成！")

# 2. 定义对话函数
def chat_with_model(message, history):
    # 将历史记录和当前消息构建成模型需要的格式
    # Qwen2.5使用特定的对话格式，这里做简化处理
    prompt = f"Human: {message}\nAssistant:"
    inputs = tokenizer(prompt, return_tensors="pt").to("npu:0")
    
    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_new_tokens=512,
            do_sample=True,
            temperature=0.7,
            top_p=0.9
        )
    response = tokenizer.decode(outputs[0][inputs['input_ids'].shape[1]:], skip_special_tokens=True)
    return response

# 3. 创建Gradio界面
demo = gr.ChatInterface(
    fn=chat_with_model,
    title="Qwen2.5-7B 智能助手 (昇腾310)",
    description="欢迎使用部署在昇腾310上的Qwen2.5-7B模型。请输入您的问题。",
    examples=["你好，介绍一下你自己", "用Python写一个快速排序函数", "今天天气怎么样？"]
)

# 4. 启动服务
if __name__ == "__main__":
    # 共享链接，方便在局域网内其他设备访问
    demo.launch(server_name="0.0.0.0", server_port=7860, share=False)

重要提示：

• 将脚本中的 /path-to-weights/Qwen2.5-7B-Instruct 替换为你实际下载模型的路径。
• 首次运行需要加载模型，耗时较长，请耐心等待。
• device_map="npu:0" 是关键，它告诉Hugging Face的transformers库将模型加载到NPU上。

4.3 启动服务并访问

在容器内，运行我们的脚本：

python app.py

你会看到类似下面的输出，说明服务启动成功：

Running on local URL:  http://0.0.0.0:7860

现在，打开你宿主机（你自己的电脑）的浏览器，访问 http://你的服务器IP地址:7860。

如何获取服务器IP地址？ 在宿主机终端输入 hostname -I 或 ip addr 查看。如果服务器就是你的本地电脑，也可以直接访问 http://localhost:7860。

一个简洁的聊天界面就会出现在你面前！尝试在输入框里问它一些问题吧，比如“你好”、“写一首关于春天的诗”。

5. 你可能遇到的问题与解决思路

第一次部署，难免会遇到一些小麻烦。这里我总结几个常见问题，帮你提前避坑。

5.1 模型加载慢或内存不足

现象：运行 app.py 时卡在“正在加载模型”，或者直接报内存错误。 原因：Qwen2.5-7B模型参数量大，加载需要时间和足够的内存。 解决：

1. 耐心等待：首次加载可能需要几分钟。
2. 使用半精度：脚本中已经设置了 torch_dtype=torch.float16，这能大幅减少内存占用。
3. 检查NPU内存：确保你的昇腾310设备有足够的NPU内存。可以通过 npu-smi info 命令查看。

5.2 网页无法访问

现象：浏览器显示无法连接。 原因：可能是防火墙阻止了端口，或者Docker网络配置问题。 解决：

1. 检查端口：确保宿主机的7860端口是开放的。
2. 检查Docker命令：回顾我们创建容器时使用了 --net=host，这表示容器使用宿主机的网络，理论上端口是直接映射的。如果不行，可以尝试在docker run命令中改用端口映射 -p 7860:7860。
3. 检查IP地址：确认你访问的IP地址是否正确。

5.3 推理速度慢

现象：模型回答一个问题要等很久。 原因：大模型推理本身需要计算时间，另外首次生成也会较慢。 解决：

1. 调整生成参数：在 model.generate() 函数中，可以减小 max_new_tokens（生成的最大长度），或提高 temperature（降低生成多样性以加快速度）。
2. 理解正常耗时：对于7B参数模型，在昇腾310上生成一段话等待数秒到十几秒是正常范围。

6. 总结

恭喜你！走到这一步，你已经成功在昇腾310平台上部署了强大的Qwen2.5-7B大语言模型，并拥有了一个可以对话的网页界面。

我们来快速回顾一下今天的旅程：

1. 打好地基：我们通过Docker创建了一个干净、独立的昇腾运行环境。
2. 安装核心：我们配置了Python环境，并安装了适配昇腾NPU的PyTorch和关键驱动。
3. 请入主角：我们下载了Qwen2.5-7B模型，并用一个简单的Gradio脚本搭建了Web交互界面。
4. 对话测试：最终通过浏览器，我们实现了与本地部署的大模型对话。

这个过程看似步骤不少，但每一步都是构建AI应用的基础。你获得的不仅仅是一个能对话的模型，更是一套在国产AI硬件上部署开源大模型的标准方法论。

下一步，你可以尝试：

• 探索更多功能：Qwen2.5支持长达128K的上下文，试试给它一篇长文章让它总结。
• 尝试其他模型：用同样的方法，去部署其他你感兴趣的模型，比如绘画模型、语音模型。
• 深入性能优化：了解如何通过量化、图编译等技术进一步提升在昇腾平台上的推理速度。

部署只是开始，真正的乐趣在于探索和创造。希望这篇指南能成为你探索AI世界的一块坚实垫脚石。如果在实践中遇到新的问题，记住，昇腾开发者社区和丰富的技术文档是你的强大后援。祝你玩得开心！

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。