1. 项目背景与核心需求

智慧城市环境监测领域正面临一个关键挑战：如何高效识别和清理街道垃圾。传统人工巡查方式存在效率低、成本高、覆盖范围有限等问题。我们团队尝试将计算机视觉技术应用于这一场景，通过训练定制化的YOLO模型实现道路垃圾自动检测，为后续的自动驾驶清洁车提供目标定位支持。

这个项目的核心价值在于：

• 解决城市环卫管理中"发现不及时"的痛点
• 降低人工巡检的人力成本
• 为自动化清洁设备提供视觉感知能力
• 建立可复用的智慧城市环境监测技术方案

2. 技术选型与方案设计

2.1 为什么选择YOLO模型

在对比了Faster R-CNN、SSD等主流目标检测算法后，我们最终选择YOLOv5作为基础框架，主要基于以下考量：

1. 实时性优势 ：YOLO的one-stage检测特性使其在1080P视频流上能达到45+FPS，满足清洁车实时作业需求
2. 轻量化潜力 ：通过模型剪枝和量化，可将模型压缩到10MB以内，适合边缘设备部署
3. 社区支持度 ：YOLOv5的PyTorch实现拥有活跃的开发者社区和丰富的预训练模型
4. 多尺度检测 ：内置的FPN结构能有效识别不同尺寸的垃圾目标

2.2 数据集构建策略

我们采用"真实采集+数据增强"的双轨制方案：

原始数据采集 ：

• 使用车载摄像头在20个典型城市区域采集10,000+张街景图像
• 覆盖不同时段（早/中/晚）、天气条件（晴/雨/雾）和垃圾类型
• 采用LabelImg工具进行标注，定义5类目标：塑料袋、饮料瓶、纸屑、烟头、其他

数据增强方案 ：

# 典型增强管道配置
aug = Compose([
    RandomBrightnessContrast(p=0.5),
    RandomGamma(p=0.3), 
    HueSaturationValue(p=0.3),
    Cutout(max_h_size=20, max_w_size=20, p=0.5)
])

3. 模型训练关键实现

3.1 环境配置与参数调优

基础环境 ：

• Ubuntu 20.04 LTS
• NVIDIA RTX 3090 × 2
• CUDA 11.1
• PyTorch 1.9.0

关键训练参数 ：

# hyp.scratch.yaml优化配置
lr0: 0.0032
lrf: 0.12
momentum: 0.843
weight_decay: 0.00036
warmup_epochs: 3.0
warmup_momentum: 0.5

3.2 改进的损失函数

针对垃圾检测场景的特殊性，我们在CIoU Loss基础上引入以下改进：

1. 小目标惩罚项 ：

   def small_obj_penalty(pred, target):
       # 计算预测框与真实框的面积比
       area_ratio = (pred[:, 2] * pred[:, 3]) / (target[:, 2] * target[:, 3])
       return torch.exp(-area_ratio) * 0.5
   

2. 遮挡敏感度权重 ： 通过计算目标周围区域的灰度方差，动态调整难样本权重

3.3 训练过程监控

使用WandB平台实现训练可视化，重点关注三个指标：

1. mAP@0.5:0.95
2. Precision-Recall曲线
3. 各类别的F1-score

关键发现：烟头类别的检测精度普遍低于其他类别，通过增加旋转增强和mixup策略后提升12%

4. 模型部署与性能优化

4.1 TensorRT加速方案

将PyTorch模型转换为TensorRT引擎的关键步骤：

python export.py --weights yolov5s.pt --include engine --device 0 --half

优化效果对比：

指标	原始模型	TensorRT优化
推理速度	42ms	11ms
显存占用	1.8GB	0.9GB
模型大小	27MB	16MB

4.2 边缘设备适配

在Jetson Xavier NX上的部署要点：

1. 使用 --dynamic 参数导出适应不同分辨率的模型
2. 启用DLA加速核心
3. 调整CUDA stream数量平衡延迟和吞吐量

5. 实际应用效果验证

5.1 测试环境搭建

构建模拟城市道路场景的测试平台：

• 10种典型路面材质（沥青、地砖等）
• 3种光照条件（强光/正常/昏暗）
• 动态干扰因素（行人、车辆、树影）

5.2 性能指标

在2000张测试图像上的表现：

类别	准确率	召回率	F1-score
塑料袋	92.3%	88.7%	90.5%
饮料瓶	89.5%	91.2%	90.3%
纸屑	85.1%	83.6%	84.3%
烟头	78.9%	75.4%	77.1%

5.3 系统集成方案

与自动驾驶清洁车的对接流程：

1. 视觉检测模块输出目标位置和类别
2. 路径规划系统生成清洁路线
3. 机械臂控制单元执行抓取动作
4. 状态反馈系统更新清洁记录

6. 常见问题与解决方案

6.1 误检问题排查

典型场景 ：

• 落叶被识别为纸屑
• 阴影区域误判为垃圾

解决方案 ：

1. 在数据增强中加入更多自然干扰样本
2. 引入注意力机制增强特征区分度
3. 设置动态置信度阈值：

   def dynamic_conf(cls, area):
       base_conf = 0.5
       area_factor = 1 - (area / (img_w*img_h))
       return base_conf + 0.3 * area_factor
   

6.2 小目标检测优化

针对远距离小垃圾的检测策略：

1. 采用608×608输入分辨率
2. 在neck部分增加P2特征层
3. 使用自适应锚框计算：

   python utils/autoanchor.py --cfg models/yolov5s.yaml --evolve
   

7. 项目扩展方向

基于当前成果，我们正在推进以下改进：

1. 多模态融合 ：结合毫米波雷达数据提升恶劣天气下的检测稳定性
2. 增量学习 ：实现模型在部署后的持续自我优化
3. 三维定位 ：通过双目视觉估算垃圾体积，优化清洁策略

在实际部署中，我们总结出一个重要经验：定期用新场景数据对模型进行微调（建议每3个月一次），可以保持模型在季节变化下的稳定性。同时，建立完善的误检样本收集机制，能有效提升模型的泛化能力。