Baichuan-M2-32B模型监控系统：Prometheus+Grafana实战

职业规划徐老师

244人浏览 · 2026-02-01 00:13:47

职业规划徐老师 · 2026-02-01 00:13:47 发布

Baichuan-M2-32B模型监控系统：Prometheus+Grafana实战

1. 医疗AI模型监控的重要性

在医疗AI应用场景中，模型服务的稳定性直接关系到诊断质量和患者安全。Baichuan-M2-32B作为一款医疗增强推理模型，其推理负载、显存使用等关键指标的实时监控尤为重要。

想象一下，当医生正在使用AI系统辅助诊断时，如果模型服务突然出现性能下降或崩溃，可能导致诊断延迟甚至错误判断。这就是为什么我们需要构建一个可靠的监控系统，就像医院的监护仪一样，7×24小时守护着模型服务的健康状态。

2. 监控系统核心组件

2.1 Prometheus：指标收集引擎

Prometheus是一个开源的系统监控和警报工具包，特别适合监控时间序列数据。它的工作原理就像医院的体检中心，定期"体检"我们的模型服务，记录各项"健康指标"。

主要特点：

多维数据模型（时间序列由指标名称和键值对标识）
灵活的查询语言PromQL
不依赖分布式存储，单个节点即可工作
通过HTTP拉取方式收集数据
支持推送时间序列数据
多种图形和仪表板支持

2.2 Grafana：可视化平台

Grafana是一个开源的度量分析和可视化工具，可以将Prometheus收集的数据转化为直观的图表和仪表盘。这就像把体检报告转化为医生能一眼看懂的图表。

主要优势：

丰富的可视化选项（图表、图形、警报等）
支持多种数据源（包括Prometheus）
灵活的仪表板配置
警报通知功能
用户友好的界面

3. 实战部署指南

3.1 环境准备

首先确保你的服务器已安装Docker和Docker Compose。我们将使用容器化部署方式，这能简化依赖管理并提高可移植性。

# 检查Docker版本
docker --version
# 检查Docker Compose版本
docker-compose --version

3.2 编写docker-compose.yml

创建一个docker-compose.yml文件，定义Prometheus和Grafana服务：

version: '3'

services:
  prometheus:
    image: prom/prometheus:latest
    container_name: prometheus
    ports:
      - "9090:9090"
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
  
  grafana:
    image: grafana/grafana:latest
    container_name: grafana
    ports:
      - "3000:3000"
    volumes:
      - grafana-storage:/var/lib/grafana
    depends_on:
      - prometheus

volumes:
  grafana-storage:

3.3 配置Prometheus

创建prometheus.yml配置文件，设置监控目标：

global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']

  - job_name: 'baichuan-model'
    static_configs:
      - targets: ['model-service:8000'] # 替换为你的模型服务地址
    metrics_path: '/metrics'

3.4 部署模型监控指标导出器

为了让Prometheus能够收集Baichuan-M2-32B模型的指标，我们需要在模型服务中添加指标导出功能。以下是使用Python的prometheus_client示例：

from prometheus_client import start_http_server, Gauge, Counter

# 定义监控指标
MODEL_INFERENCE_TIME = Gauge('model_inference_time_seconds', 'Time spent processing inference requests')
MODEL_MEMORY_USAGE = Gauge('model_memory_usage_bytes', 'Memory used by the model')
MODEL_REQUEST_COUNT = Counter('model_request_total', 'Total number of inference requests')

# 在模型服务启动时启动指标服务器
start_http_server(8000)  # 暴露指标在8000端口

# 在推理函数中添加指标记录
def inference(input_text):
    start_time = time.time()
    
    # 记录内存使用情况
    MODEL_MEMORY_USAGE.set(torch.cuda.memory_allocated())
    
    # 执行推理...
    result = model.generate(input_text)
    
    # 记录推理时间
    MODEL_INFERENCE_TIME.set(time.time() - start_time)
    MODEL_REQUEST_COUNT.inc()
    
    return result

4. 关键监控指标解析

4.1 GPU资源监控

对于Baichuan-M2-32B这样的医疗大模型，GPU资源使用情况至关重要：

GPU利用率：反映GPU计算单元的使用情况
显存使用量：防止显存溢出导致服务崩溃
温度监控：避免过热导致硬件故障

4.2 模型性能指标

推理延迟：从请求到响应的处理时间
吞吐量：单位时间内处理的请求数量
错误率：失败请求占总请求的比例

4.3 业务指标

并发请求数：当前处理的请求数量
队列长度：等待处理的请求数量
服务可用性：服务正常运行时间比例

5. Grafana仪表板配置

5.1 添加数据源

访问Grafana（通常为http://localhost:3000）
导航到Configuration > Data Sources
添加Prometheus数据源，URL设置为http://prometheus:9090

5.2 创建医疗模型监控仪表板

建议包含以下面板：

GPU资源使用情况：折线图显示GPU利用率、显存使用量
模型性能：显示推理延迟的百分位数（P50, P90, P99）
请求流量：显示请求速率和错误率
系统资源：CPU、内存使用情况
告警面板：显示当前触发的告警

5.3 示例仪表板JSON

你可以导入以下JSON配置快速创建一个基础仪表板：

{
  "title": "Baichuan-M2-32B Monitoring",
  "panels": [
    {
      "title": "GPU Utilization",
      "type": "graph",
      "targets": [
        {
          "expr": "100 * (1 - avg by(instance)(irate(node_gpu_utilization{job='baichuan-model'}[5m])))",
          "legendFormat": "GPU {{gpu}}"
        }
      ],
      "yaxes": [
        {
          "format": "percent",
          "min": 0
        }
      ]
    },
    {
      "title": "Memory Usage",
      "type": "graph",
      "targets": [
        {
          "expr": "node_gpu_memory_used{job='baichuan-model'}",
          "legendFormat": "Used"
        },
        {
          "expr": "node_gpu_memory_total{job='baichuan-model'}",
          "legendFormat": "Total"
        }
      ],
      "yaxes": [
        {
          "format": "bytes",
          "min": 0
        }
      ]
    }
  ]
}

6. 告警规则配置

6.1 Prometheus告警规则

在prometheus.yml中添加告警规则：

rule_files:
  - alerts.yml

创建alerts.yml文件：

groups:
- name: model-alerts
  rules:
  - alert: HighGPUUsage
    expr: avg by(instance)(irate(node_gpu_utilization{job="baichuan-model"}[5m])) > 0.9
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "High GPU usage on {{ $labels.instance }}"
      description: "GPU usage is {{ $value }}%"

  - alert: HighMemoryUsage
    expr: node_gpu_memory_used{job="baichuan-model"} / node_gpu_memory_total{job="baichuan-model"} > 0.85
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "High GPU memory usage on {{ $labels.instance }}"
      description: "GPU memory usage is {{ $value }}%"