ChatGLM3-6B-128K部署教程：Ollama支持多卡GPU并行推理配置详解

1. 环境准备与快速部署

在开始部署ChatGLM3-6B-128K之前，我们先来了解一下这个模型的特点。这是ChatGLM系列的最新长文本版本，专门针对128K超长上下文进行了优化。如果你需要处理长文档、技术手册、或者复杂的多轮对话，这个版本会是更好的选择。

1.1 系统要求检查

首先确认你的硬件环境是否满足要求：

• GPU配置：至少2张NVIDIA显卡（推荐RTX 3090或A100以上）
• 显存要求：每张卡至少12GB显存，总显存建议24GB以上
• 系统环境：Ubuntu 18.04+或CentOS 7+，已安装NVIDIA驱动和CUDA 11.7+

检查GPU状态的命令：

nvidia-smi

如果看到多张GPU信息，说明硬件环境就绪。

1.2 Ollama安装与配置

Ollama是一个强大的模型部署工具，让大模型部署变得简单。安装步骤：

# 下载并安装Ollama
curl -fsSL https://ollama.ai/install.sh | sh

# 启动Ollama服务
sudo systemctl start ollama

# 设置开机自启
sudo systemctl enable ollama

安装完成后，验证服务状态：

systemctl status ollama

2. 多卡GPU并行配置

这是本教程的核心部分，我们将配置多卡GPU来运行ChatGLM3-6B-128K模型。

2.1 模型下载与加载

使用Ollama拉取ChatGLM3-6B-128K模型：

# 拉取模型（会自动识别并下载适合的版本）
ollama pull chatglm3:6b-128k

# 查看已下载的模型
ollama list

这个过程可能会花费一些时间，因为模型大小约12GB，取决于你的网络速度。

2.2 多GPU并行配置

创建自定义模型配置文件，启用多卡并行：

# 创建配置目录
mkdir -p ~/.ollama/models

# 创建配置文件
cat > ~/.ollama/models/chatglm3-6b-128k.yaml << EOF
model: chatglm3:6b-128k
parameters:
  num_gpu: 2  # 使用2张GPU卡
  num_thread: 16  # 总线程数
  temperature: 0.7
  top_p: 0.9
EOF

关键参数说明：

• num_gpu：指定使用的GPU数量，设置为2表示使用两张卡
• num_thread：总计算线程数，建议设置为CPU核心数的70-80%

2.3 启动多卡推理服务

使用配置好的参数启动服务：

# 启动服务，指定使用多GPU
ollama serve --gpu 0,1 --model chatglm3-6b-128k

# 或者使用后台运行方式
nohup ollama serve --gpu 0,1 --model chatglm3-6b-128k > ollama.log 2>&1 &

这里的--gpu 0,1表示使用第0和第1张GPU卡，你可以根据实际的GPU编号调整。

3. 验证部署效果

服务启动后，我们需要验证多卡配置是否生效。

3.1 检查GPU使用情况

在新的终端窗口中检查GPU使用状态：

watch -n 1 nvidia-smi

你应该能看到两张GPU卡都有显存占用和计算活动，这表明多卡并行正在工作。

3.2 测试模型推理

使用curl命令测试模型服务：

# 简单的文本生成测试
curl http://localhost:11434/api/generate -d '{
  "model": "chatglm3:6b-128k",
  "prompt": "请用中文介绍一下ChatGLM3模型的主要特点",
  "stream": false
}'

如果配置正确，你会收到模型生成的响应内容。

3.3 长文本能力测试

测试128K长文本处理能力：

# 创建一个长文本测试文件
echo "这是一个测试长文本处理能力的输入。" > long_input.txt
for i in {1..10000}; do
  echo "这是第$i行测试文本，用于验证模型的128K上下文处理能力。" >> long_input.txt
done

# 使用长文本进行测试
curl http://localhost:11434/api/generate -d '{
  "model": "chatglm3:6b-128k",
  "prompt": "'"$(head -c 50000 long_input.txt)"'",
  "stream": false,
  "options": {
    "num_predict": 100
  }
}'

4. 性能优化与监控

多卡配置完成后，我们还需要进行一些优化调整。

4.1 性能调优参数

根据你的硬件配置调整这些参数：

# 创建优化配置文件
cat > ~/.ollama/config.yaml << EOF
host: "0.0.0.0:11434"
gpu_layers: 35  # 使用更多的GPU层数
main_gpu: 0     # 主GPU设备
tensor_split: "0.5,0.5"  # 显存分配比例
EOF

参数说明：

• gpu_layers：在GPU上运行的模型层数，增加这个值可以提升速度
• tensor_split：多卡间的显存分配比例，"0.5,0.5"表示平均分配

4.2 监控与维护

设置监控脚本，确保服务稳定运行：

# 创建监控脚本
cat > monitor_ollama.sh << 'EOF'
#!/bin/bash
while true; do
  # 检查服务状态
  if ! curl -s http://localhost:11434/api/tags > /dev/null; then
    echo "$(date): 服务异常，重新启动..."
    pkill -f "ollama serve"
    nohup ollama serve --gpu 0,1 --model chatglm3-6b-128k > ollama.log 2>&1 &
  fi
  
  # 记录GPU使用情况
  nvidia-smi --query-gpu=utilization.gpu,memory.used --format=csv >> gpu_usage.log
  
  sleep 60
done
EOF

chmod +x monitor_ollama.sh
./monitor_ollama.sh &

5. 常见问题解决

在多卡部署过程中可能会遇到一些问题，这里提供解决方案。

5.1 GPU显存不足

如果遇到显存不足的错误，可以调整批处理大小：

# 修改配置，减少批处理大小
cat >> ~/.ollama/models/chatglm3-6b-128k.yaml << EOF
batch_size: 512  # 减少批处理大小
EOF

然后重启Ollama服务。

5.2 多卡负载不均衡

如果发现一张卡负载很高，另一张很低，可以调整显存分配：

# 调整显存分配比例
cat >> ~/.ollama/config.yaml << EOF
tensor_split: "0.7,0.3"  # 第一张卡70%，第二张卡30%
EOF

5.3 模型响应速度慢

如果推理速度不理想，可以尝试这些优化：

# 增加GPU计算层数
ollama serve --gpu 0,1 --model chatglm3-6b-128k --num-gpu-layers 40

6. 总结

通过本教程，我们成功部署了ChatGLM3-6B-128K模型，并配置了多卡GPU并行推理。现在你可以享受这个强大长文本模型带来的便利了。

关键收获：

• 学会了Ollama多卡GPU的配置方法
• 掌握了ChatGLM3-6B-128K的部署技巧
• 了解了性能监控和优化方法
• 获得了常见问题的解决方案

下一步建议：

1. 尝试不同的提示词工程技巧，充分发挥128K上下文优势
2. 探索模型的工具调用和代码执行功能
3. 考虑使用负载均衡部署多个实例，服务更多用户

现在你可以开始使用这个强大的长文本处理模型了，无论是处理技术文档、长篇文章还是复杂对话，都能得心应手。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。