1. YOLO模型微调实战指南

作为一名长期从事计算机视觉开发的工程师，我经常需要针对特定场景对YOLO模型进行微调。不同于从头训练，微调(Fine-tuning)能利用预训练模型的强大特征提取能力，仅需少量标注数据就能获得不错的检测效果。下面我将完整分享从数据准备到模型调优的全流程实战经验。

YOLOv8作为当前最先进的实时目标检测框架，其微调过程相比早期版本更加简洁高效。但在实际项目中，数据准备、参数配置和训练技巧等方面仍有许多需要注意的细节。本文将以一个工业质检项目为例，展示如何将YOLOv8适配到自定义数据集上。

2. 数据准备与预处理

2.1 图像采集策略

在工业质检场景中，我们使用了一套自动化图像采集系统：

• 采用2000万像素工业相机，固定焦距和光照条件
• 针对不同缺陷类型，采集了正面、侧面多个角度的样本
• 最终获得约5000张原始图像，覆盖6类常见缺陷

关键提示：采集时需确保图像分辨率一致，避免后续处理时尺寸变形影响检测精度。我们统一采用2448×2048分辨率，并保持相同的白平衡设置。

2.2 数据标注规范

使用Labelme进行标注时，我们制定了严格的标注规范：

1. 对每个缺陷类别定义明确的判定标准
2. 边界框需完全包含缺陷区域，但不宜过大
3. 对模糊或不确定的样本进行多人复核

标注完成后，目录结构如下：

dataset/
├── images/
│   ├── train/
│   └── val/
└── labels/
    ├── train/
    └── val/

2.3 格式转换技巧

将Labelme的JSON格式转换为YOLOv8所需的TXT格式时，需要注意：

# 转换脚本核心逻辑示例
def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[2])/2.0
    y = (box[1] + box[3])/2.0
    w = box[2] - box[0]
    h = box[3] - box[1]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)

实测发现，坐标归一化时使用浮点数精度比四舍五入到小数点后6位能提升约0.3%的mAP。

3. 模型微调实战

3.1 环境配置要点

推荐使用以下环境配置：

# 创建conda环境
conda create -n yolo python=3.8
conda activate yolo

# 安装关键依赖
pip install ultralytics==8.0.0
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 --extra-index-url https://download.pytorch.org/whl/cu113

特别注意：

• CUDA版本需与PyTorch匹配
• Ultralytics版本建议锁定，避免API变动
• 启用离线模式可避免训练时意外下载

3.2 训练参数解析

扩展原始代码中的参数解析部分：

def parse_arguments():
    parser = argparse.ArgumentParser()
    parser.add_argument("--yolo_pt", required=True, help="预训练模型路径")
    parser.add_argument("--coco_yaml", required=True, help="数据集配置文件")
    parser.add_argument("--train_output", required=True, help="输出目录")
    parser.add_argument("--img_size", type=int, default=640, help="输入尺寸")
    parser.add_argument("--batch", type=int, default=4, help="批次大小")
    parser.add_argument("--epochs", type=int, default=200, help="训练轮次")
    return parser.parse_args()

3.3 核心训练逻辑优化

改进后的训练代码增加了以下关键功能：

def train():
    args = parse_arguments()
    
    # 初始化模型
    model = YOLO(args.yolo_pt)
    
    # 训练配置
    results = model.train(
        data=args.coco_yaml,
        epochs=args.epochs,
        batch=args.batch,
        imgsz=args.img_size,
        device='0',
        project=args.train_output,
        name='yolov8_retrain',
        exist_ok=False,
        amp=False,  # 关闭自动混合精度
        lr0=0.01,  # 初始学习率
        lrf=0.1,   # 最终学习率系数
        momentum=0.9,
        weight_decay=0.0005,
        warmup_epochs=3,
        box=7.5,   # box loss增益
        cls=0.5,   # cls loss增益
        hsv_h=0.015,  # 色调增强
        hsv_s=0.7,    # 饱和度增强
        hsv_v=0.4,    # 明度增强
        degrees=10.0, # 旋转角度
        translate=0.1,# 平移比例
        scale=0.5,    # 缩放比例
        shear=2.0     # 剪切角度
    )
    
    # 验证配置
    metrics = model.val(
        project=args.train_output,
        name='yolov8_retrain_val',
        batch=args.batch*2,  # 验证批次可更大
        conf=0.001,          # 置信度阈值
        iou=0.6,             # IoU阈值
        plots=True           # 生成可视化图表
    )

4. 调优技巧与问题排查

4.1 学习率策略调整

我们发现以下学习率设置组合效果最佳：

• 初始学习率(lr0)：0.01（大尺度特征调整）
• 最终学习率(lrf)：0.001（微调细节）
• warmup_epochs：3（稳定初始训练）

当验证集loss波动较大时，可尝试将lr0降至0.005，同时增加warmup到5个epoch。

4.2 数据增强配置

工业质检场景的特殊配置：

# 在coco.yaml中添加
augmentation:
  hsv_h: 0.01  # 降低色调变化（保持产品颜色一致）
  hsv_s: 0.5   # 适度饱和度变化
  hsv_v: 0.3   # 控制明度变化范围
  degrees: 5.0 # 小角度旋转
  flipud: 0.0  # 禁用上下翻转（不符合实际场景）
  fliplr: 0.5  # 允许水平翻转

4.3 常见问题解决方案

问题1：验证指标波动大

• 检查数据集中是否存在标注不一致
• 尝试减小batch size（从8降到4）
• 增加warmup周期

问题2：小目标检测效果差

• 调整img_size到更大值（如从640→1280）
• 增加mosaic数据增强概率
• 在模型head部分增加小目标检测层

问题3：过拟合明显

• 启用早停机制（patience=10）
• 增加weight_decay到0.001
• 添加CutOut或MixUp增强

5. 模型部署优化

训练完成后，我们进行了以下优化：

# 模型导出为ONNX格式
model.export(format='onnx', 
             imgsz=[640,640], 
             dynamic=False, 
             simplify=True)

# TensorRT加速
trt_model = YOLO('yolov8n.trt')
results = trt_model.predict(source='0', 
                           stream=True, 
                           show=True)

实测在Jetson Xavier NX上的性能：

• FP32: 45 FPS
• FP16: 68 FPS
• INT8: 92 FPS

关键部署建议：

1. 对静态场景使用固定尺寸推理
2. 启用TensorRT的FP16模式
3. 对批量处理启用异步推理