基于YOLO11的驾驶员状态检测：从数据集构建到模型训练实践

一、场景背景

在智能座舱与营运车辆安全监管领域，驾驶员状态检测是近年来计算机视觉落地的重要方向之一。通过车载摄像头实时捕捉驾驶员面部与肢体行为，系统能够识别打哈欠、闭眼、低头、打电话、喝水等危险或分心驾驶动作，从而为疲劳驾驶预警和车队安全管理提供技术支撑。本文将围绕一个驾驶员状态检测数据集，详细介绍如何使用YOLO11进行目标检测模型的训练流程，涵盖数据集结构、标注类别说明、训练配置、验证方式以及常见问题处理。

二、数据集基本信息

本文使用的数据集来自“驾驶员状态检测数据集”，项目名称为jiashiyuanzhuangtai。该数据集包含从原始视频中挑选的100张代表性图片，每张图片均已完成目标检测标注，并导出为Label Studio兼容的JSON格式。

• 图片数量：100张
• 标注任务数：100个
• 数据来源：车载摄像头拍摄的驾驶员座舱场景
• 适用场景：疲劳驾驶检测、分心驾驶识别、智能座舱视觉分析

数据集已经过初步筛选，确保每张图片都包含至少一种驾驶员状态，且覆盖了正常驾驶与多种危险驾驶行为，为模型训练提供了较均衡的样本分布。

三、标注类别说明

该数据集共定义了13个标注类别，涵盖了安全驾驶、分心行为、疲劳状态三大维度。具体类别如下：

类别ID	类别名称	含义说明
0	c0 - Safe Driving	安全驾驶
1	c1 - Texting	发短信
2	c2 - Talking on the phone	打电话
3	c3 - Operating the Radio	操作收音机
4	c4 - Drinking	喝水
5	c5 - Reaching Behind	伸手到后排
6	c6 - Hair and Makeup	整理头发/化妆
7	c7 - Talking to Passenger	与乘客交谈
8	d0 - Eyes Closed	闭眼
9	d1 - Yawning	打哈欠
10	d2 - Nodding Off	点头瞌睡
11	d3 - Eyes Open	睁眼

从类别设计可以看出，数据集的标注粒度较细，不仅区分了“闭眼”与“睁眼”这类眼部状态，还单独标注了“打哈欠”和“点头瞌睡”等疲劳驾驶的典型行为。这种细粒度标注对于训练高精度的驾驶员状态检测模型非常有帮助。

四、样本画面观察

通过视频抽帧分析，可以直观感受数据集中的典型场景：

上图展示了一名驾驶员正在打哈欠的场景，这是疲劳驾驶的早期信号。模型需要学会从面部特征中识别出张嘴、闭眼等与打哈欠相关的动作。

上图是驾驶员闭眼点头的典型画面，属于严重的疲劳驾驶行为。这类样本对于训练模型识别“Nodding Off”类别至关重要。

上图是安全驾驶状态，驾驶员双手握方向盘，目光专注。这类负样本有助于模型区分安全驾驶与危险驾驶行为，防止误检。

从样本观察可以发现，数据集中的驾驶员均为同一人，且拍摄环境相对固定。这意味着模型在该数据集上训练后，迁移到其他驾驶员或不同光照环境时可能需要额外的数据增强或微调。

五、训练流程建议

5.1 数据准备与格式转换

YOLO11的训练数据格式与之前的YOLO系列保持一致，需要将标注转换为YOLO格式的txt文件。每张图片对应一个同名的txt文件，文件内容为：

class_id x_center y_center width height

其中坐标值为归一化后的数值（0-1之间）。如果原始标注是Label Studio导出的JSON格式，需要编写转换脚本进行处理。下面是一个简单的Python转换示例：

import json
import os

def convert_label_studio_to_yolo(json_path, output_dir, class_mapping):
    with open(json_path, 'r') as f:
        data = json.load(f)
    
    for item in data:
        image_file = item['file_upload']
        image_width = item['annotations'][0]['result'][0]['original_width']
        image_height = item['annotations'][0]['result'][0]['original_height']
        
        yolo_lines = []
        for annotation in item['annotations'][0]['result']:
            if annotation['type'] == 'rectanglelabels':
                label = annotation['value']['rectanglelabels'][0]
                x = annotation['value']['x'] / 100 * image_width
                y = annotation['value']['y'] / 100 * image_height
                w = annotation['value']['width'] / 100 * image_width
                h = annotation['value']['height'] / 100 * image_height
                
                class_id = class_mapping[label]
                x_center = (x + w/2) / image_width
                y_center = (y + h/2) / image_height
                width = w / image_width
                height = h / image_height
                
                yolo_lines.append(f"{class_id} {x_center:.6f} {y_center:.6f} {width:.6f} {height:.6f}")
        
        txt_filename = os.path.splitext(image_file)[0] + '.txt'
        with open(os.path.join(output_dir, txt_filename), 'w') as f:
            f.write('\n'.join(yolo_lines))

5.2 数据集划分

建议将100张图片按8:1:1的比例划分为训练集、验证集和测试集。由于样本量较小，可以采用分层抽样确保每个类别在三个集合中都有分布。

5.3 配置文件编写

YOLO11使用YAML文件配置数据集路径和类别信息。参考配置如下：

# driver_state.yaml
train: ./datasets/driver_state/train/images
val: ./datasets/driver_state/val/images
test: ./datasets/driver_state/test/images

nc: 12  # 类别数量（注意：0类别也需要计数，实际为12个类别）
names: ['c0 - Safe Driving', 'c1 - Texting', 'c2 - Talking on the phone', 
        'c3 - Operating the Radio', 'c4 - Drinking', 'c5 - Reaching Behind',
        'c6 - Hair and Makeup', 'c7 - Talking to Passenger', 'd0 - Eyes Closed',
        'd1 - Yawning', 'd2 - Nodding Off', 'd3 - Eyes Open']

5.4 模型选择与训练

YOLO11提供了多种模型规模（nano、small、medium、large、xlarge）。对于驾驶员状态检测这类实时性要求较高的场景，建议从YOLO11n或YOLO11s开始尝试。训练命令示例：

yolo train model=yolo11n.pt data=driver_state.yaml epochs=100 imgsz=640 batch=16

训练参数说明：

• epochs=100：由于数据集较小，建议训练100个epoch并观察验证集损失是否收敛
• imgsz=640：输入图片尺寸，可根据实际摄像头分辨率调整
• batch=16：根据GPU显存调整，如果显存不足可降低batch size

5.5 数据增强策略

由于数据集仅包含100张图片，数据增强对提升模型泛化能力至关重要。YOLO11默认启用了马赛克增强、随机缩放、色彩抖动等增强策略。对于驾驶员状态检测场景，可以额外关注以下增强：

• 随机光照变化：模拟不同时间段的驾驶环境
• 随机旋转：适应驾驶员头部轻微偏转
• 随机遮挡：模拟驾驶员戴眼镜、口罩等情况

可以通过修改YOLO11的超参数配置文件（如hyp.scratch-low.yaml）来调整增强强度。

六、验证指标与误检漏检分析

6.1 验证指标

训练完成后，可以使用以下命令对模型进行验证：

yolo val model=runs/train/exp/weights/best.pt data=driver_state.yaml

YOLO11会输出mAP@0.5、mAP@0.5:0.95、Precision、Recall等指标。对于驾驶员状态检测场景，建议重点关注：

• mAP@0.5：评估模型在中等严格度下的检测能力
• Recall：疲劳驾驶行为漏检会带来安全风险，因此召回率应尽可能高
• 每个类别的AP：分析哪些类别检测效果较差

6.2 误检与漏检分析

通过验证集上的预测结果，可以分析模型的误检和漏检情况：

上图展示了模型成功检测到驾驶员打哈欠，置信度为0.90。对于这类典型行为，模型表现较好。

上图是模型检测闭眼状态，置信度为0.88。闭眼检测对于疲劳驾驶预警非常关键。

上图展示了模型检测点头瞌睡行为，置信度为0.90。

从实际验证结果来看，模型对“打哈欠”、“闭眼”、“点头瞌睡”这类面部特征明显的疲劳行为检测效果较好。但需要注意以下潜在问题：

1. 类别混淆：部分行为在视觉上相似，如“打哈欠”和“说话”可能被混淆
2. 遮挡问题：驾驶员佩戴墨镜、口罩或用手遮挡面部时，检测准确率可能下降
3. 光照变化：夜间或逆光场景下，面部特征提取可能受影响

针对这些问题，建议在实际部署前进行以下优化：

• 收集更多不同驾驶员、不同光照条件下的样本进行微调
• 引入时序信息（如LSTM或Transformer）结合单帧检测结果进行行为判断
• 设置合理的置信度阈值，平衡误检率和漏检率

七、素材配图建议

在撰写技术博客或项目文档时，建议使用以下图片素材增强说明效果：

1. 数据集样本展示：使用驾驶员打哈欠、闭眼点头、安全驾驶等典型样本图片，直观展示数据集的多样性和标注质量。
   

2. AI检测结果展示：使用标注视频中的检测结果截图，展示模型对打哈欠、闭眼、点头瞌睡等行为的识别效果。
   

3. 模型训练过程可视化：使用训练过程中的损失曲线、mAP曲线等图表，展示模型收敛情况。
   

八、总结

本文围绕驾驶员状态检测任务，介绍了基于YOLO11的模型训练全流程。从数据集的基本信息、标注类别说明、样本观察，到数据格式转换、训练配置、验证分析，覆盖了工程实践中的关键环节。

驾驶员状态检测是一个具有实际应用价值的计算机视觉方向，但也面临样本多样性不足、光照变化、遮挡等挑战。对于小规模数据集，建议充分利用YOLO11的数据增强功能，并考虑后续通过迁移学习或持续收集样本来提升模型泛化能力。

该数据集和训练流程可迁移至其他驾驶员状态检测项目，也可作为智能座舱、车队安全管理等场景的技术参考。在实际部署时，建议结合时序信息和业务规则，构建更稳健的驾驶员监测系统。