Qwen-Image镜像保姆级教学：Qwen-VL输出置信度分数提取与阈值过滤

1. 环境准备与快速部署

在开始之前，让我们先确认一下运行环境是否准备就绪。本教程基于Qwen-Image定制镜像，该镜像已经预装了所有必要的依赖和工具。

要验证环境是否正确配置，可以运行以下命令：

# 检查GPU状态
nvidia-smi

# 验证CUDA版本
nvcc -V

如果看到类似以下输出，说明环境已经准备就绪：

+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.90.07              Driver Version: 550.90.07    CUDA Version: 12.4     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                  Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf            Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|=========================================+======================+======================|
|   0  NVIDIA GeForce RTX 4090D       On  | 00000000:01:00.0 Off |                  Off |
|  0%   38C    P8               15W / 450W|      0MiB / 24576MiB |      0%      Default |
+-----------------------------------------+----------------------+----------------------+

2. Qwen-VL置信度分数基础概念

2.1 什么是置信度分数

置信度分数是Qwen-VL模型对输出结果确定程度的量化指标。简单来说，它告诉我们模型对自己的回答有多大的把握。分数范围通常在0到1之间：

• 接近1：模型非常确定答案是正确的
• 接近0：模型不太确定答案是否正确

2.2 为什么需要提取置信度分数

在实际应用中，我们经常需要：

1. 过滤低质量回答：当置信度低于某个阈值时，可以认为回答不可靠
2. 评估模型表现：通过分析置信度分布了解模型在不同任务上的表现
3. 构建可靠系统：在关键应用中只使用高置信度的回答

3. 提取置信度分数的完整流程

3.1 加载模型与准备输入

首先，我们需要加载Qwen-VL模型并准备输入数据：

from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image

# 加载模型和tokenizer
model_path = "/data/Qwen-VL"  # 假设模型存放在/data目录
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="cuda", trust_remote_code=True)

# 准备输入
image_path = "example.jpg"  # 替换为你的图片路径
query = "这张图片中有什么物体？"
image = Image.open(image_path).convert("RGB")

3.2 获取模型原始输出

接下来，我们获取模型的原始输出，其中包含置信度信息：

# 获取模型原始输出
inputs = tokenizer(query, return_tensors='pt').to(model.device)
image_tensor = model.transformer.visual.image_transform(image).unsqueeze(0).to(model.device)
outputs = model.generate(
    **inputs,
    images=image_tensor,
    output_scores=True,
    return_dict_in_generate=True
)

3.3 解析置信度分数

现在，我们从输出中提取置信度分数：

import torch

# 获取生成的token序列
generated_sequence = outputs.sequences[0]

# 获取每个token的置信度分数
scores = torch.stack(outputs.scores, dim=1)
probs = torch.softmax(scores, dim=-1)
top_probs, _ = torch.max(probs, dim=-1)

# 将token序列和置信度分数转换为可读格式
tokens = tokenizer.convert_ids_to_tokens(generated_sequence)
token_probs = top_probs[0].tolist()

# 打印结果
for token, prob in zip(tokens, token_probs):
    print(f"Token: {token}, Confidence: {prob:.4f}")

4. 实现阈值过滤的实用方法

4.1 设置合理的置信度阈值

置信度阈值的设置需要根据具体应用场景来决定。以下是一些参考值：

• 高精度场景（如医疗）：0.9以上
• 一般应用（如客服）：0.7-0.8
• 探索性应用：0.5以上

4.2 实现基于阈值的过滤

我们可以修改前面的代码，添加阈值过滤功能：

def get_filtered_response(model, tokenizer, image, query, threshold=0.7):
    # 准备输入
    inputs = tokenizer(query, return_tensors='pt').to(model.device)
    image_tensor = model.transformer.visual.image_transform(image).unsqueeze(0).to(model.device)
    
    # 获取模型输出
    outputs = model.generate(
        **inputs,
        images=image_tensor,
        output_scores=True,
        return_dict_in_generate=True
    )
    
    # 解析输出
    generated_sequence = outputs.sequences[0]
    scores = torch.stack(outputs.scores, dim=1)
    probs = torch.softmax(scores, dim=-1)
    top_probs, _ = torch.max(probs, dim=-1)
    
    # 过滤低置信度token
    filtered_tokens = []
    for i, (token_id, prob) in enumerate(zip(generated_sequence, top_probs[0])):
        if prob >= threshold or i == 0:  # 总是保留第一个token
            token = tokenizer.decode(token_id)
            filtered_tokens.append(token)
    
    # 组合过滤后的响应
    filtered_response = "".join(filtered_tokens).replace("<|endoftext|>", "")
    return filtered_response

# 使用示例
filtered_answer = get_filtered_response(model, tokenizer, image, query, threshold=0.75)
print("过滤后的回答:", filtered_answer)

5. 常见问题与解决方案

5.1 置信度分数普遍偏低

可能原因及解决方法：

1. 输入质量差：确保图片清晰、问题明确
   • 解决方案：预处理图片，优化提问方式
2. 模型未充分理解：尝试更详细的提示词
   • 解决方案：添加上下文信息或示例
3. 任务本身难度高：考虑降低阈值或人工复核

5.2 显存不足问题

在使用大模型时可能会遇到显存不足的情况：

# 监控GPU显存使用情况
watch -n 1 nvidia-smi

解决方法：

1. 减少输入尺寸（如图片分辨率）
2. 使用更小的batch size
3. 启用梯度检查点（如果进行微调）

5.3 置信度分数不稳定

如果发现置信度分数波动大：

1. 尝试设置温度参数（temperature=0.7）
2. 多次运行取平均值
3. 检查输入一致性

6. 总结与进阶建议

通过本教程，我们学习了如何从Qwen-VL模型中提取置信度分数，并实现基于阈值的回答过滤。这些技术可以显著提升模型在实际应用中的可靠性。

进阶建议：

1. 动态阈值调整：根据问题类型或领域设置不同的阈值
2. 多维度评估：结合其他指标（如回答长度、关键词匹配）综合评估
3. 持续监控：记录置信度分布，分析模型表现变化
4. 人工反馈循环：将人工修正结果反馈给模型，提升长期表现

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。