GLM-4.7-Flash实战教程：GLM-4.7-Flash+Docker Compose实现多模型服务编排

你是不是也遇到过这样的烦恼？手头有几个不同的大模型，有的擅长写代码，有的擅长写文案，有的擅长对话。每次要用的时候，得一个个手动启动，管理起来特别麻烦。要是能像管理家里的电器一样，一个开关就能控制所有模型，那该多好。

今天，我就来分享一个特别实用的方案：用 Docker Compose 来编排 GLM-4.7-Flash 和其他模型服务。简单来说，就是写一个“说明书”，告诉电脑怎么同时启动和管理多个模型。这样一来，你只需要一条命令，所有服务就都跑起来了，省时省力。

GLM-4.7-Flash 是智谱AI最新推出的一个“大块头”模型，有300亿个参数，特别聪明。它采用了 MoE（混合专家）架构，你可以理解为它内部有一群各有所长的“专家”，每次回答问题只请最相关的几位出来工作，所以又快又好，尤其是在中文理解和生成上，表现非常出色。

下面，我就带你一步步搭建这个“模型服务指挥中心”。

1. 为什么需要服务编排？

在深入技术细节之前，我们先聊聊为什么这件事值得做。

想象一下，你开了一家“AI服务超市”。GLM-4.7-Flash 是你的王牌商品，但顾客可能还需要一些“小零食”，比如一个专门做文本摘要的模型，或者一个翻译模型。如果每来一个顾客，你都得临时从仓库里把对应的商品搬出来，效率就太低了。

服务编排就是帮你提前把所有这些“商品”（模型服务）都摆上货架，并且安排好谁先启动、谁依赖谁、怎么互相通信。它的好处显而易见：

• 一键启停：不用再记住每个模型的启动命令，一条 docker-compose up -d 全搞定。
• 依赖管理：如果 Web 界面依赖后端的推理引擎，编排工具会确保推理引擎先启动。
• 配置集中：所有服务的配置都写在一个 docker-compose.yml 文件里，修改、备份、版本管理都方便。
• 资源隔离：每个服务都在独立的容器里运行，互不干扰，一个服务崩溃不会影响其他服务。
• 轻松扩展：未来想增加一个新模型，只需要在配置文件里加几行代码就行。

接下来，我们就开始动手搭建。

2. 环境准备与项目结构

在开始编排之前，我们需要确保“舞台”已经搭好。这里假设你已经对 Docker 和 Docker Compose 有基本的了解。

2.1 确保 Docker 环境

首先，打开你的终端，检查 Docker 和 Docker Compose 是否已经安装：

# 检查Docker版本
docker --version

# 检查Docker Compose版本
docker-compose --version

如果还没安装，可以去 Docker 官网下载安装包，步骤很简单，这里就不赘述了。

2.2 创建项目目录

我们为这个多模型编排项目创建一个专属的文件夹，这样所有文件都能井井有条。

mkdir glm-multi-service-orchestration
cd glm-multi-service-orchestration

在这个文件夹里，我们最终会看到这样的结构：

glm-multi-service-orchestration/
├── docker-compose.yml       # 核心编排配置文件
├── config/
│   └── vllm_config.json    # vLLM引擎的详细配置（可选）
├── logs/                   # 用于挂载日志目录（可选）
└── README.md               # 项目说明文档

现在，舞台已经清空，主角该登场了。

3. 编写 Docker Compose 编排文件

docker-compose.yml 是这个项目的“总指挥脚本”。我们将在这个文件里定义三个服务：

1. glm-vllm：GLM-4.7-Flash 的推理引擎，使用 vLLM 进行高效推理。
2. glm-ui：一个基于 Gradio 的 Web 聊天界面，方便我们直接和模型对话。
3. summary-service（示例）：一个额外的文本摘要模型服务，展示如何扩展。

下面是完整的 docker-compose.yml 文件内容，我会逐段解释。

version: '3.8'

services:
  # 服务1: GLM-4.7-Flash 推理引擎
  glm-vllm:
    image: registry.cn-beijing.aliyuncs.com/your_namespace/glm-4.7-flash-vllm:latest
    container_name: glm-4.7-flash-vllm
    restart: unless-stopped
    ports:
      - "8000:8000"  # 将容器的8000端口映射到主机的8000端口，用于API调用
    volumes:
      - ./logs:/root/workspace/logs  # 把容器内的日志挂载出来，方便查看
      - ./config:/root/workspace/config  # 挂载自定义配置文件目录
    environment:
      - MODEL_PATH=/root/.cache/huggingface/ZhipuAI/GLM-4.7-Flash
      - MAX_MODEL_LEN=4096
      - TENSOR_PARALLEL_SIZE=4  # 使用4卡张量并行，根据你的GPU数量调整
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]  # 声明需要GPU资源
    command: >
      python -m vllm.entrypoints.openai.api_server
      --model ${MODEL_PATH}
      --served-model-name glm-4.7-flash
      --max-model-len ${MAX_MODEL_LEN}
      --tensor-parallel-size ${TENSOR_PARALLEL_SIZE}
      --port 8000
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:8000/health"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 40s  # 给模型加载留出足够时间

  # 服务2: Web聊天界面
  glm-ui:
    image: registry.cn-beijing.aliyuncs.com/your_namespace/glm-4.7-flash-ui:latest
    container_name: glm-4.7-flash-ui
    restart: unless-stopped
    ports:
      - "7860:7860"  # Gradio默认端口
    depends_on:
      glm-vllm:
        condition: service_healthy  # 确保推理引擎健康后再启动UI
    environment:
      - BACKEND_API_URL=http://glm-vllm:8000/v1  # 注意这里使用服务名通信
    volumes:
      - ./logs:/app/logs

  # 服务3: 示例 - 文本摘要服务 (展示如何扩展)
  summary-service:
    image: registry.cn-beijing.aliyuncs.com/your_namespace/summary-model:latest
    container_name: text-summary-service
    restart: unless-stopped
    ports:
      - "8001:8000"  # 映射到主机不同端口，避免冲突
    environment:
      - MODEL_NAME=facebook/bart-large-cnn

我来解释一下里面的关键点：

• depends_on 和 condition: service_healthy：这是编排的精华。它告诉 Docker Compose，glm-ui 服务必须等 glm-vllm 服务通过健康检查（即模型加载完成，API可访问）之后才能启动。这样就完美解决了 Web 界面启动时后端还没准备好的问题。
• 服务间通信：在 glm-ui 的环境变量 BACKEND_API_URL 中，我们用的是 http://glm-vllm:8000，而不是 http://127.0.0.1:8000。因为在 Docker 网络内部，容器可以通过在 docker-compose.yml 中定义的服务名直接访问对方，这是 Docker 自带的 DNS 功能，非常方便。
• GPU 声明：deploy.resources 部分声明了该服务需要 GPU。确保你的 Docker 已经配置了 NVIDIA Container Toolkit。
• 健康检查：为 glm-vllm 配置了健康检查，定期调用其 /health 端点。这不仅是 depends_on 的条件，也方便我们监控服务状态。

4. 启动与管理多模型服务

配置文件写好了，指挥棒在手，现在可以启动整个“乐团”了。

4.1 一键启动所有服务

在你的项目目录（glm-multi-service-orchestration）下，运行这个“魔法命令”：

docker-compose up -d

-d 参数代表“后台运行”。执行后，你会看到 Docker Compose 依次拉取镜像（如果本地没有）、创建网络、启动容器。因为配置了依赖关系，它会先启动 glm-vllm，等它健康后，再启动 glm-ui。

4.2 查看服务状态

启动后，怎么知道一切是否正常呢？

# 查看所有容器的运行状态
docker-compose ps

# 查看更详细的状态和最近日志
docker-compose logs --tail 50

# 单独查看某个服务的日志（非常实用）
docker-compose logs -f glm-vllm  # -f 表示持续跟踪输出

当你看到 glm-vllm 的日志中出现类似 "Uvicorn running on http://0.0.0.0:8000" 和模型加载完成的提示，并且 docker-compose ps 显示所有服务状态都是 Up (healthy)，那就恭喜你，成功了！

4.3 访问服务

• Web 聊天界面：打开浏览器，访问 http://你的服务器IP:7860。一个干净清爽的聊天界面就在眼前，可以直接和 GLM-4.7-Flash 对话了。
• 推理引擎 API：你的其他应用现在可以通过 http://你的服务器IP:8000/v1/chat/completions 这个地址，使用 OpenAI 兼容的格式来调用 GLM-4.7-Flash。
• API 文档：访问 http://你的服务器IP:8000/docs，你会看到一个自动生成的交互式 API 文档（Swagger UI），里面可以查看所有接口甚至直接测试，超级方便。

4.4 日常管理命令

日常运维，靠下面几条命令就够了：

# 停止所有服务，但保留容器和数据
docker-compose stop

# 启动所有已停止的服务
docker-compose start

# 停止并移除所有容器、网络（数据卷不会被删除，除非指定 -v）
docker-compose down

# 重启某个特定服务（比如更新了UI镜像后）
docker-compose restart glm-ui

# 在运行的服务中执行命令（例如进入容器查看）
docker-compose exec glm-vllm bash

5. 进阶：API调用与集成

服务跑起来了，我们来看看怎么真正用起来。GLM-4.7-Flash 通过 vLLM 提供了标准的 OpenAI API 接口，这意味着几乎所有现成的工具和代码都能直接对接。

5.1 使用 Python 调用

这里是一个简单的 Python 脚本示例，演示如何调用这个服务进行对话：

import requests
import json

# API 端点地址，注意指向你部署的服务
api_url = "http://localhost:8000/v1/chat/completions"

# 准备请求数据，格式和调用 OpenAI 一模一样
payload = {
    "model": "glm-4.7-flash",  # 与启动参数 --served-model-name 一致
    "messages": [
        {"role": "system", "content": "你是一个乐于助人的AI助手。"},
        {"role": "user", "content": "用简单的语言解释一下什么是 Docker Compose？"}
    ],
    "temperature": 0.7,  # 控制创造性，越低越确定
    "max_tokens": 500,
    "stream": False  # 设为 True 可以体验流式输出，一个字一个字出来
}

# 发送请求
headers = {"Content-Type": "application/json"}
response = requests.post(api_url, json=payload, headers=headers)

# 处理响应
if response.status_code == 200:
    result = response.json()
    # 提取模型返回的内容
    reply = result['choices'][0]['message']['content']
    print("GLM-4.7-Flash 的回答：")
    print(reply)
else:
    print(f"请求失败，状态码：{response.status_code}")
    print(response.text)

5.2 流式输出体验

如果你把上面的 "stream": True，就可以体验更流畅的对话效果。这里展示如何处理流式响应：

import requests

api_url = "http://localhost:8000/v1/chat/completions"
payload = {
    "model": "glm-4.7-flash",
    "messages": [{"role": "user", "content": "写一首关于春天的五言绝句。"}],
    "stream": True
}

print("模型正在思考...", end="\n\n")
with requests.post(api_url, json=payload, stream=True) as response:
    for line in response.iter_lines():
        if line:
            decoded_line = line.decode('utf-8')
            if decoded_line.startswith('data: '):
                json_str = decoded_line[6:]  # 去掉 'data: ' 前缀
                if json_str != '[DONE]':
                    try:
                        data = json.loads(json_str)
                        content = data['choices'][0]['delta'].get('content', '')
                        print(content, end='', flush=True)  # 逐字打印
                    except json.JSONDecodeError:
                        pass
print("\n\n--- 生成完毕 ---")

运行这段代码，你会看到诗句像真人打字一样，逐字出现在屏幕上，体验感非常好。

6. 总结

回过头看，我们通过 Docker Compose 这个工具，轻松实现了 GLM-4.7-Flash 等多模型服务的编排。从单一的模型部署，进化到了多服务、可管理、易扩展的“模型服务矩阵”。

这个方法的核心价值在于：

1. 标准化与简化：将复杂的模型部署和管理流程，抽象成一个简单的配置文件和一两条命令。
2. 提升可靠性：通过健康检查、依赖管理和自动重启机制，让服务更加稳定。
3. 赋能集成：提供标准化的 API，让 GLM-4.7-Flash 的强大能力可以无缝嵌入到你现有的任何应用、工作流或系统中。

无论你是想搭建一个内部使用的 AI 工具平台，还是为你的产品注入大模型智能，这套基于 Docker Compose 的编排方案都是一个坚实、高效的起点。它处理好了基础设施的繁琐问题，让你能更专注于发挥模型本身的创造力。

下次当你需要管理多个 AI 服务时，不妨试试这个“指挥家”，让它来帮你协调整个乐团，奏响更美妙的智能乐章。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。