星图平台监控方案：Prometheus+Grafana实现AI服务观测

loretta bu

134人浏览 · 2026-02-14 01:00:40

loretta bu · 2026-02-14 01:00:40 发布

星图平台监控方案：Prometheus+Grafana实现AI服务观测

1. 为什么AI服务需要专业监控

最近在星图GPU平台上部署Qwen3-VL:30B模型时，遇到一个很实际的问题：服务运行几天后响应变慢，但日志里没看到明显报错。重启服务后暂时恢复，可过段时间又出现类似情况。这种"间歇性亚健康"状态，光靠人工盯屏和翻日志根本抓不住根因。

AI服务和传统Web应用不太一样。它对GPU资源极度敏感，显存占用、CUDA核心利用率、推理延迟这些指标稍有异常，就可能影响整个业务链路。更麻烦的是，Qwen3-VL这类多模态大模型的请求处理路径更长——从HTTP入口、模型加载、图像预处理、文本编码、跨模态融合到最终输出，每个环节都可能成为瓶颈。

这时候，一套能深入AI服务内部的监控体系就特别重要。不是简单看CPU和内存用了多少，而是要能回答这些问题：当前有多少并发请求在排队？GPU显存是不是被某个异常请求占满了？模型推理平均耗时有没有悄悄上涨？API成功率是否在缓慢下降？

Prometheus+Grafana这套组合，正好能解决这些痛点。它不依赖复杂的Agent安装，通过暴露标准的metrics端点就能采集数据；Grafana的可视化能力又足够灵活，能把那些抽象的数字变成一眼就能看懂的趋势图和热力图。更重要的是，在星图平台上部署这套监控，其实比想象中简单得多。

2. 环境准备与快速部署

2.1 星图平台基础配置确认

在开始部署监控之前，先确认几个关键点。星图平台已经为我们做了很多基础工作，我们要做的只是把它们串起来。

首先检查GPU驱动和CUDA版本是否匹配。Qwen3-VL:30B这类大模型对CUDA版本比较敏感，建议使用CUDA 12.4，对应驱动版本550.90.07。可以在星图控制台的实例详情页查看，或者直接登录服务器执行：

nvidia-smi
nvcc --version

如果版本不匹配，星图平台提供了一键切换CUDA版本的功能，在实例管理页面的"环境配置"里就能操作，不需要重装系统。

其次确认网络策略。Prometheus需要定期抓取Qwen3-VL服务的指标，所以要确保监控服务所在节点能访问到模型服务的metrics端口（默认是8000端口）。在星图平台的安全组设置里，添加一条入站规则：允许来自监控节点IP的TCP 8000端口访问。

最后，星图平台默认为每个实例分配了足够的磁盘空间（至少40GB数据盘），这对Prometheus存储时间序列数据很关键。我们不需要额外挂载存储卷，开箱即用。

2.2 一键部署监控栈

星图平台提供了预置的监控镜像，省去了手动安装的繁琐步骤。在镜像市场搜索"prometheus-ai-monitor"，选择最新版本部署即可。

部署时注意几个关键配置：

服务名称建议设为ai-monitor
实例规格选择2核4GB（监控本身资源消耗不大，但要给Grafana留出渲染空间）
挂载点保持默认，星图会自动创建必要的数据目录

部署完成后，通过SSH连接到监控实例，验证服务状态：

# 查看容器运行状态
docker ps | grep -E "(prometheus|grafana)"

# 检查Prometheus配置文件
cat /etc/prometheus/prometheus.yml

你会看到配置文件里已经预置了针对Qwen3-VL服务的job定义，包括正确的target地址和抓取间隔。这比从零开始写配置省心多了。

2.3 Qwen3-VL服务指标暴露配置

Qwen3-VL:30B服务需要开启metrics端点才能被Prometheus抓取。幸运的是，星图平台部署的Qwen3-VL镜像默认就支持这个功能，只需要一个简单的环境变量就能启用。

在Qwen3-VL服务的启动配置中，添加以下环境变量：

environment:
  - METRICS_ENABLED=true
  - METRICS_PORT=8000

如果使用的是Clawdbot网关模式，还需要在Clawdbot的配置文件中添加metrics相关设置：

# config.yaml
metrics:
  enabled: true
  port: 8000
  path: /metrics

重启Qwen3-VL服务后，可以直接在浏览器访问http://<qwen3-vl-ip>:8000/metrics，看到类似这样的指标输出：

# HELP qwen3_vl_request_total Total number of requests
# TYPE qwen3_vl_request_total counter
qwen3_vl_request_total{status="200"} 1245
qwen3_vl_request_total{status="500"} 3

# HELP qwen3_vl_request_duration_seconds Latency of requests
# TYPE qwen3_vl_request_duration_seconds histogram
qwen3_vl_request_duration_seconds_bucket{le="0.1"} 892
qwen3_vl_request_duration_seconds_bucket{le="0.2"} 1123

这些就是Prometheus将要采集的核心指标。不需要修改任何业务代码，也不需要引入额外的SDK，开箱即用。

3. 核心监控指标详解与配置

3.1 GPU资源监控：显存与计算核心

AI服务最核心的瓶颈往往在GPU上。Prometheus通过Node Exporter和GPU Exporter采集的指标，让我们能实时掌握GPU的健康状况。

在星图平台的监控镜像中，GPU Exporter已经预装并配置好。它会暴露以下关键指标：

DCGM_FI_DEV_MEM_COPY_UTIL：GPU显存带宽利用率（百分比）
DCGM_FI_DEV_GPU_UTIL：GPU计算核心利用率（百分比）
DCGM_FI_DEV_FB_USED：已用显存（字节）
DCGM_FI_DEV_POWER_USAGE：GPU功耗（瓦特）

在Grafana中，我们可以创建一个GPU监控面板，重点关注三个阈值：

显存利用率持续超过90%：可能有内存泄漏或batch size设置过大
计算核心利用率长期低于30%：说明模型没有充分利用GPU，可能是数据预处理成为瓶颈
功耗突然飙升：可能有异常的计算密集型请求

一个实用的告警规则示例：

# gpu-alerts.yml
- alert: GPUHighMemoryUsage
  expr: 100 * (DCGM_FI_DEV_FB_USED / DCGM_FI_DEV_FB_TOTAL) > 95
  for: 5m
  labels:
    severity: warning
  annotations:
    summary: "GPU显存使用率过高"
    description: "GPU {{ $labels.gpu }} 显存使用率达到 {{ $value | humanize }}%，请检查是否有异常请求"

这个规则会在显存使用率连续5分钟超过95%时触发告警，帮助我们及时发现潜在的OOM风险。

3.2 模型服务性能指标：延迟与吞吐量

除了硬件指标，服务层面的性能数据同样重要。Qwen3-VL:30B暴露的HTTP指标让我们能精确衡量服务质量。

关键指标包括：

qwen3_vl_request_duration_seconds：请求处理延迟（直方图）
qwen3_vl_request_total：请求总数（按状态码分组）
qwen3_vl_queue_length：等待处理的请求队列长度

在Grafana中，我们通常会创建一个"黄金信号"面板，包含四个核心维度：

延迟：P95和P99延迟，反映最差体验
流量：每秒请求数（RPS），反映业务负载
错误：HTTP 5xx错误率，反映服务健康度
饱和度：队列长度和GPU利用率，反映系统压力

一个典型的延迟监控查询：

# P95延迟（毫秒）
histogram_quantile(0.95, sum(rate(qwen3_vl_request_duration_seconds_bucket[5m])) by (le))

# 错误率
sum(rate(qwen3_vl_request_total{status=~"5.."}[5m])) by (job) 
/ 
sum(rate(qwen3_vl_request_total[5m])) by (job)

当P95延迟突然升高而错误率没有明显变化时，往往意味着模型推理变慢，可能是由于显存碎片化或温度降频导致；而当错误率上升但延迟正常时，则更可能是业务逻辑异常。

3.3 多模态处理专项指标

Qwen3-VL作为多模态模型，其特殊性在于需要同时处理文本和图像。因此，我们需要一些专门的指标来监控不同模态的处理情况。

星图平台的Qwen3-VL镜像额外暴露了以下指标：

qwen3_vl_image_preprocess_duration_seconds：图像预处理耗时
qwen3_vl_text_tokenization_duration_seconds：文本分词耗时
qwen3_vl_cross_modal_fusion_duration_seconds：跨模态融合耗时
qwen3_vl_output_tokens_total：生成的token总数

这些指标帮助我们定位性能瓶颈具体在哪个环节。比如，如果图像预处理耗时很长，但文本分词很快，那优化重点就应该放在图像缩放、归一化等预处理步骤上；反之，如果跨模态融合耗时异常，则可能需要调整模型的注意力机制参数。

在Grafana中，可以创建一个堆叠柱状图，对比不同模态处理耗时的占比，直观显示整个推理流程的时间分布。

4. Grafana看板配置实战

4.1 创建AI服务概览看板

登录Grafana（默认地址http://<monitor-ip>:3000，账号密码在星图平台部署时设置），首先创建一个名为"Qwen3-VL服务概览"的看板。

添加第一个面板，展示整体服务健康状态：

图表类型：Stat（单值统计）
查询：sum(qwen3_vl_request_total{status="200"}) by (job)
显示选项：大字体，绿色背景，显示"成功请求数"
阈值设置：正常（>1000）、警告（500-1000）、危险（<500）

第二个面板展示实时负载：

图表类型：Time series（时间序列）
查询：rate(qwen3_vl_request_total[1m])
别名：{{instance}} - {{status}}
显示选项：开启图例，不同状态码用不同颜色

第三个关键面板是GPU资源使用率：

图表类型：Gauge（仪表盘）
查询：100 * (DCGM_FI_DEV_FB_USED / DCGM_FI_DEV_FB_TOTAL)
显示选项：最大值100，红色阈值90，黄色阈值80

这样三个面板就构成了服务健康度的"三原色"：成功数代表服务能力，请求率代表业务压力，GPU使用率代表资源瓶颈。

4.2 构建多维度性能分析看板

对于深度性能分析，我们需要更精细的看板。创建一个"Qwen3-VL性能分析"看板，包含以下面板：

延迟分布热力图

图表类型：Heatmap
查询：histogram_quantile(0.95, sum(rate(qwen3_vl_request_duration_seconds_bucket[5m])) by (le, job))
X轴：时间，Y轴：延迟区间，颜色深浅表示请求数量

这个热力图能清晰显示延迟随时间的变化趋势，比如是否在每天特定时段出现延迟高峰。

多模态处理耗时对比

图表类型：Bar gauge（条形仪表）

查询：

avg_over_time(qwen3_vl_image_preprocess_duration_seconds[1h]) as "图像预处理",
avg_over_time(qwen3_vl_text_tokenization_duration_seconds[1h]) as "文本分词",
avg_over_time(qwen3_vl_cross_modal_fusion_duration_seconds[1h]) as "跨模态融合"

显示为水平条形图，直观对比各环节耗时

错误类型分布饼图

图表类型：Pie chart
查询：sum(rate(qwen3_vl_request_total{status=~"4..|5.."}[1h])) by (status)
显示不同错误码的占比，帮助快速识别主要问题类型

这些看板不需要一次性全部创建，建议先从概览看板开始，等熟悉了数据特点后再逐步添加分析看板。

4.3 告警规则配置与通知

监控的价值不仅在于观察，更在于预警。在Prometheus中配置告警规则后，需要在Alertmanager中设置通知渠道。

星图平台的监控镜像已经集成了Alertmanager，并预配置了邮件通知。你只需要在Alertmanager配置文件中添加你的邮箱：

# alertmanager.yml
global:
  smtp_smarthost: 'smtp.gmail.com:587'
  smtp_from: 'your-email@gmail.com'

route:
  receiver: 'email-notifications'

receivers:
- name: 'email-notifications'
  email_configs:
  - to: 'your-email@gmail.com'
    from: 'alert@ai-monitor'

然后重启Alertmanager服务：

docker restart alertmanager

一个实用的告警规则集应该包括：

GPU显存使用率超过95%持续5分钟
P99延迟超过2秒持续3分钟
HTTP 5xx错误率超过1%持续10分钟
服务连续30秒无心跳（通过up指标判断）

这些规则覆盖了从硬件层到应用层的主要风险点，既不会过于敏感造成告警疲劳，也不会过于宽松错过真正的问题。

5. 日常运维与问题排查技巧

5.1 快速定位服务异常的三步法

当收到告警或用户反馈服务异常时，按照以下三个步骤快速定位问题：

第一步：看整体健康度 打开Grafana的概览看板，先看三个核心指标：

成功请求数是否断崖式下跌？
GPU显存使用率是否达到100%？
P95延迟是否突然升高？

如果成功请求数骤降而GPU使用率正常，问题很可能在入口网关或认证环节；如果GPU显存爆满而延迟飙升，基本可以确定是内存泄漏或大图片请求导致。

第二步：查请求特征 在性能分析看板中，查看延迟热力图和错误分布：

延迟高峰是否集中在特定时间段？（可能与定时任务冲突）
错误是否集中在特定状态码？（400类错误多为客户端问题，500类多为服务端问题）
不同尺寸图片的处理耗时是否有明显差异？（帮助判断是否是图像预处理瓶颈）

第三步：追溯具体请求 利用Prometheus的标签能力，可以下钻到具体实例和请求：

# 查看特定实例的错误请求
sum(rate(qwen3_vl_request_total{instance="qwen3-vl-01", status=~"5.."}[5m])) by (path)

# 查看特定API路径的延迟
histogram_quantile(0.99, sum(rate(qwen3_vl_request_duration_seconds_bucket{path="/v1/chat/completions"}[5m])) by (le))

通过这种方式，往往能在几分钟内定位到问题根源，而不是在海量日志中大海捞针。

5.2 常见问题与解决方案

在实际运维中，我们总结了几类高频问题及其应对方案：

问题1：GPU显存缓慢增长，最终OOM 现象：DCGM_FI_DEV_FB_USED指标呈缓慢上升趋势，几天后达到100% 原因：PyTorch的缓存机制或模型权重未正确释放解决方案：在Qwen3-VL服务配置中添加环境变量PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128，并定期执行torch.cuda.empty_cache()

问题2：小图片处理快，大图片处理极慢 现象：图像预处理耗时随图片尺寸非线性增长原因：星图平台默认的图像处理库未启用硬件加速解决方案：在服务启动脚本中添加export OPENCV_DNN_BACKEND=OPENCV_DNN_BACKEND_CUDA，并确保OpenCV编译时启用了CUDA支持

问题3：高并发下延迟波动剧烈 现象：P95延迟在100ms到2000ms之间剧烈波动原因：GPU上下文切换开销大，缺乏请求队列管理解决方案：在Clawdbot网关层添加限流配置，设置合理的并发数限制和排队超时

这些问题的解决方案都已经集成到星图平台的Qwen3-VL优化镜像中，只需在部署时选择"optimized"版本即可自动应用。