GTE模型部署监控：Prometheus+Grafana配置

jie sherry

305人浏览 · 2026-01-20 03:55:05

jie sherry · 2026-01-20 03:55:05 发布

GTE模型部署监控：Prometheus+Grafana配置

1. 引言

1.1 业务场景描述

在实际生产环境中，基于大模型的语义理解服务（如文本相似度计算）不仅需要高精度的推理能力，还需具备可观测性。本项目围绕 GTE 中文语义相似度服务 构建了一套完整的监控体系，确保服务稳定性与性能可追踪。

该服务基于 ModelScope 提供的 GTE-Base 中文通用文本向量模型，通过 Flask 暴露 WebUI 和 API 接口，支持用户输入两段中文文本并实时返回其语义相似度评分（0~100%）。由于部署于 CPU 环境且强调轻量化和低延迟，对资源使用、请求吞吐和错误率等指标的持续监控尤为重要。

1.2 痛点分析

当前服务虽已实现核心功能，但存在以下运维挑战：

缺乏对 API 请求频率、响应时间、错误码分布的可视化监控；
无法及时感知模型推理耗时增长或内存占用异常；
无历史数据支撑容量规划与性能优化决策。

1.3 方案预告

本文将详细介绍如何为 GTE 语义相似度服务集成 Prometheus + Grafana 监控栈，涵盖：

使用 prometheus-flask-exporter 自动暴露 Flask 应用指标；
配置 Prometheus 抓取目标；
在 Grafana 中构建关键指标仪表盘；
实现从“代码 → 指标采集 → 可视化”的完整链路。

2. 技术方案选型

2.1 为什么选择 Prometheus + Grafana？

维度	说明
开源生态成熟	Prometheus 是 CNCF 毕业项目，广泛用于微服务和 AI 服务监控。
多维度数据模型	支持按标签（label）切片聚合，适合分析不同 endpoint 的性能差异。
Pull 模式采集	主动抓取 HTTP metrics 端点，无需服务主动推送，架构简洁。
Grafana 深度集成	提供强大的可视化能力，支持自定义 Dashboard 和告警规则。
轻量易集成	`prometheus-flask-exporter` 仅需几行代码即可接入现有 Flask 应用。

对比其他方案（如 StatsD + InfluxDB 或商业 APM 工具），Prometheus 更适合中小型项目快速落地，尤其适用于以 RESTful API 形式提供模型服务的场景。

3. 实现步骤详解

3.1 修改 Flask 应用以暴露指标

首先，在原有 Flask 服务中引入 prometheus-flask-exporter，自动收集 HTTP 请求相关指标。

from flask import Flask, request, jsonify, render_template
from prometheus_flask_exporter import PrometheusMetrics

app = Flask(__name__)

# 初始化 Prometheus Metrics
metrics = PrometheusMetrics(app)

# 可选：为特定路由添加标签
metrics.info('app_info', 'Backend Service for GTE Semantic Similarity', version='1.0.0')

@app.route('/')
def index():
    return render_template('index.html')

@app.route('/api/similarity', methods=['POST'])
@metrics.summary('request_by_endpoint_and_method', 'Request latencies by endpoint and method',
                 labels={'endpoint': lambda: request.endpoint, 'method': lambda: request.method})
@metrics.gauge('in_progress', 'Number of in-progress requests')
def calculate_similarity():
    try:
        data = request.get_json()
        sentence_a = data.get("sentence_a", "")
        sentence_b = data.get("sentence_b", "")

        # 假设 model_engine 是预加载的 GTE 模型实例
        vector_a = model_engine.encode(sentence_a)
        vector_b = model_engine.encode(sentence_b)
        similarity = cosine_similarity(vector_a, vector_b).item()

        # 记录成功请求
        metrics.counter('successful_requests', 'Count of successful similarity calculations').inc()

        return jsonify({"similarity": round(similarity * 100, 2)}), 200

    except Exception as e:
        # 记录失败请求
        metrics.counter('failed_requests', 'Count of failed similarity calculations').inc()
        return jsonify({"error": str(e)}), 500

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=8080)

关键点解析：

PrometheusMetrics(app) 自动暴露 /metrics 路径，包含 flask_http_request_duration_seconds 等核心指标。
使用 @metrics.summary 记录指定接口的延迟分布。
使用 @metrics.gauge 跟踪并发请求数。
手动定义计数器 successful_requests 和 failed_requests，便于统计成功率。

启动后访问 http://<your-host>:8080/metrics 即可查看原始指标输出。

3.2 部署 Prometheus Server

创建 prometheus.yml 配置文件，定义 scrape job：

global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: 'gte-similarity-service'
    static_configs:
      - targets: ['host.docker.internal:8080']  # 若 Docker 宿主机运行，使用此地址
        # 或替换为容器间网络别名，如 gte_app:8080

注意：若 GTE 服务运行在 Docker 容器内，需确保 Prometheus 能访问到 Flask 服务。可通过共享 bridge 网络或使用 host.docker.internal（Mac/Windows）解决。

使用 Docker 启动 Prometheus：

docker run -d \
  -p 9090:9090 \
  -v $(pwd)/prometheus.yml:/etc/prometheus/prometheus.yml \
  --name prometheus \
  prom/prometheus

访问 http://localhost:9090 进入 Prometheus UI，执行查询如 up{job="gte-similarity-service"} 验证目标是否在线。

3.3 部署 Grafana 并连接数据源

启动 Grafana 容器：

docker run -d \
  -p 3000:3000 \
  --name grafana \
  grafana/grafana-enterprise

URL: http://host.docker.internal:9090（或 Prometheus 容器 IP）
测试连接成功后保存。

3.4 创建核心监控仪表盘

导入或手动创建 Dashboard，推荐监控以下关键指标：

3.4.1 HTTP 请求总量与成功率

Panel Query (QPS):

rate(flask_http_request_total[5m])

Panel Query (Success Rate):

sum(rate(flask_http_request_total{status="200"}[5m])) 
/ 
sum(rate(flask_http_request_total[5m]))

可视化为 Time Series 图表，设置阈值告警（如成功率 < 95% 触发通知）。

3.4.2 平均响应延迟（P95/P99）

histogram_quantile(0.95, sum(rate(flask_http_request_duration_seconds_bucket[5m])) by (le))

同理可查 P99。建议绘制两条线对比观察。

3.4.3 模型调用成功率（自定义计数器）

rate(successful_requests[5m]) / (rate(successful_requests[5m]) + rate(failed_requests[5m]))

反映业务层处理稳定性。

3.4.4 并发请求数（Gauge）

in_progress

帮助识别突发流量导致的服务阻塞风险。

4. 实践问题与优化

4.1 常见问题及解决方案

问题现象	原因分析	解决方法
Prometheus 抓取失败	网络不通或端口未开放	使用 `docker network create shared_net` 并将两个容器加入同一网络
指标中缺少自定义 counter	装饰器顺序错误或未正确初始化	确保 `metrics = PrometheusMetrics(app)` 在所有路由定义前完成
Grafana 显示“No data”	数据源时间范围不匹配	检查右上角时间选择器是否为“Last 5 minutes”
高频请求下延迟升高	模型推理未批处理或 CPU 瓶颈	启用 `batch_encode` 优化，限制最大并发数