Phi-3 Forest Lab实操手册：使用Prometheus+Grafana监控森林终端GPU利用率与QPS

xinwuji312

316人浏览 · 2026-03-23 06:39:39

xinwuji312 · 2026-03-23 06:39:39 发布

Phi-3 Forest Lab实操手册：使用Prometheus+Grafana监控森林终端GPU利用率与QPS

1. 环境准备与快速部署

在开始监控Phi-3 Forest Lab之前，我们需要先搭建监控系统的基础环境。以下是快速部署Prometheus和Grafana的步骤：

1.1 安装Docker

如果您的系统尚未安装Docker，可以使用以下命令快速安装：

# Ubuntu/Debian系统
sudo apt-get update
sudo apt-get install docker.io docker-compose
sudo systemctl enable --now docker

# CentOS/RHEL系统
sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo yum install docker-ce docker-ce-cli containerd.io
sudo systemctl enable --now docker

1.2 部署Prometheus和Grafana

创建一个docker-compose.yml文件，内容如下：

version: '3'

services:
  prometheus:
    image: prom/prometheus:latest
    ports:
      - "9090:9090"
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'

  grafana:
    image: grafana/grafana:latest
    ports:
      - "3000:3000"
    volumes:
      - grafana-storage:/var/lib/grafana
    depends_on:
      - prometheus

volumes:
  grafana-storage:

创建prometheus.yml配置文件：

global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']

  - job_name: 'phi3-forest'
    static_configs:
      - targets: ['host.docker.internal:8000']  # 修改为您的Phi-3服务地址

启动服务：

docker-compose up -d

2. 配置Phi-3 Forest Lab的监控指标

2.1 安装必要的Python库

在Phi-3 Forest Lab的环境中安装以下Python库：

pip install prometheus_client psutil

2.2 添加监控代码

在您的Phi-3 Forest Lab应用代码中添加以下监控代码：

from prometheus_client import start_http_server, Gauge
import psutil
import time

# 创建监控指标
GPU_UTILIZATION = Gauge('phi3_gpu_utilization', 'GPU utilization percentage')
QPS = Gauge('phi3_queries_per_second', 'Queries processed per second')
MEMORY_USAGE = Gauge('phi3_memory_usage', 'Memory usage in MB')
CPU_USAGE = Gauge('phi3_cpu_usage', 'CPU usage percentage')

def monitor_phi3():
    # 启动Prometheus客户端服务器
    start_http_server(8000)
    
    while True:
        # 获取GPU利用率（需要根据实际环境调整）
        try:
            gpu_util = get_gpu_utilization()  # 替换为实际的GPU监控函数
            GPU_UTILIZATION.set(gpu_util)
        except Exception as e:
            print(f"Error monitoring GPU: {e}")
        
        # 获取内存使用情况
        memory_info = psutil.virtual_memory()
        MEMORY_USAGE.set(memory_info.used / (1024 * 1024))  # 转换为MB
        
        # 获取CPU使用率
        CPU_USAGE.set(psutil.cpu_percent())
        
        time.sleep(5)

# 示例函数，需要根据实际环境替换
def get_gpu_utilization():
    """
    获取GPU利用率
    实际实现可能需要使用nvidia-smi或其他GPU监控工具
    """
    return 30.0  # 示例值，替换为实际实现

3. 配置Grafana仪表板

3.1 登录Grafana

访问http://localhost:3000，使用默认用户名admin和密码admin登录。

3.2 添加数据源

点击左侧菜单的"Configuration" > "Data Sources"
点击"Add data source"
选择"Prometheus"
在URL字段输入http://prometheus:9090
点击"Save & Test"

3.3 创建仪表板

点击左侧菜单的"Create" > "Dashboard"
点击"Add new panel"

3.3.1 GPU利用率面板

在Metrics字段输入phi3_gpu_utilization
设置Panel title为"GPU Utilization"
选择适当的可视化类型（如Gauge或Graph）
设置单位为"%"

3.3.2 QPS面板

在Metrics字段输入rate(phi3_queries_per_second[1m])
设置Panel title为"Queries Per Second"
选择Graph可视化类型

3.3.3 系统资源面板

添加CPU使用率：phi3_cpu_usage
添加内存使用：phi3_memory_usage
可以组合在一个面板中，使用不同的颜色区分

4. 高级监控配置

4.1 监控Phi-3的特定指标

为了更全面地监控Phi-3 Forest Lab的性能，我们可以添加以下特定指标：

from prometheus_client import Counter, Histogram

# 在监控代码中添加
REQUEST_COUNT = Counter('phi3_request_count', 'Total number of requests')
REQUEST_LATENCY = Histogram('phi3_request_latency', 'Request latency in seconds')

# 在请求处理函数中添加
@REQUEST_LATENCY.time()
def handle_request(request):
    REQUEST_COUNT.inc()
    # 处理请求的逻辑

4.2 设置告警规则

在Prometheus中配置告警规则，创建alerts.yml文件：

groups:
- name: phi3-alerts
  rules:
  - alert: HighGPUUsage
    expr: phi3_gpu_utilization > 90
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "High GPU usage on Phi-3 Forest Lab"
      description: "GPU usage is {{ $value }}%"

  - alert: LowQPS
    expr: rate(phi3_queries_per_second[5m]) < 1
    for: 10m
    labels:
      severity: warning
    annotations:
      summary: "Low query rate on Phi-3 Forest Lab"
      description: "QPS is {{ $value }}"

更新prometheus.yml以包含告警规则：