1 主要概念及相关理论基础

1.1 研究背景及意义

1.1.1 研究背景

在农业产业化升级与新零售业态快速发展的背景下，农产品分拣、果蔬品质检测、商超商品识别等场景对水果识别的自动化、精准化与高效化提出了更高要求，传统水果识别模式已难以适配行业发展节奏。工作人员仅依靠人工完成水果种类判别与筛选，存在效率低、易受主观经验影响、误差率高的问题，既无法满足大批量、快节奏的实际生产与商业应用需求，也难以在不同光照、轻微遮挡的复杂环境下保持稳定的识别效果，导致相关行业的智能化升级进程受到制约。

当前基于卷积神经网络的水果识别技术虽已取得一定研究成果，但实际应用中仍存在诸多明显局限：部分模型的数据集覆盖度不足，小众水果样本缺失且场景单一，导致模型泛化能力较弱；部分模型结构复杂、参数量大，与自动化分拣设备的适配性和识别实时性欠佳，配套应用成本较高，难以在基层农业生产与小型商超场景推广；同时多数研究聚焦水果单一种类识别，与水果加工、仓储、物流等产业链环节的融合度不足，未能形成一体化的智能识别解决方案。

1.1.2 研究意义

在农产品分拣、新零售商品识别、果蔬品质检测等领域，水果识别的自动化、精准化是行业发展的重要需求，传统人工识别方式效率低、易受主观因素影响，难以适配大批量、快节奏的实际应用场景。卷积神经网络作为计算机视觉领域的核心技术，具备强大的特征提取和模式识别能力，基于该技术设计水果识别模型，能够实现水果种类的自动、快速、精准判别，适配不同光照、轻微遮挡等复杂实际环境，有效提升水果识别的效率和准确性。

1.2 研究目的

针对传统水果识别方式的局限性，设计一款基于卷积神经网络的水果识别模型，掌握卷积神经网络的核心架构与设计方法，结合图像处理技术提升水果图像的特征提取效果，通过合适的损失函数和优化算法优化模型识别性能，让模型能够准确区分不同水果种类，在不同光照、轻微遮挡的实际条件下保持稳定的识别能力，可在电脑端输出识别的水果名称并计算置信度，同时探索模型的压缩与部署方案，让模型具备更广泛的实际应用可能性，实现理论知识与工程实践的结合，提升相关技术的应用能力。

1.3 国内外研究现状

1.3.1 国内研究现状

国内，基于卷积神经网络的水果识别研究起步虽晚于国外，但发展速度快，研究方向高度贴合国内农业生产与商业应用的实际需求。国内研究多以经典卷积神经网络如 LeNet、AlexNet、ResNet 为基础，结合水果识别的场景特点进行轻量化改进与优化，重点解决模型在实际应用中的成本、部署难度等问题。

众多学者针对我国常见水果如苹果、柑橘、猕猴桃等开展识别研究，通过优化图像预处理流程、调整网络层结构、减少模型参数量等方式，在保证识别精度的同时，降低模型对硬件设备的要求，使其更适配国内农产品分拣流水线、小型商超等基层应用场景。国内研究还注重多技术融合，将机器视觉、深度学习与农业物联网结合，推动水果识别技术向自动化、一体化方向发展，相关研究成果已在部分果蔬种植基地和农产品加工企业得到初步应用。

1.3.2 国外研究现状

国外在卷积神经网络及图像识别领域的研究起步早，技术积累深厚，对水果识别模型的研究更注重精准性、泛化能力与底层技术创新。欧美、日本等发达国家依托先进的计算机视觉技术，在水果识别研究中引入高分辨率图像采集设备、先进的特征提取算法和深度学习框架，针对水果的外观特征、纹理细节、成熟度等维度开展精细化识别研究。

国外研究多以复杂卷积神经网络架构为基础，通过改进损失函数、优化训练策略、构建大规模多样化水果图像数据集等方式，提升模型在复杂环境下的识别性能，部分研究成果可实现对数十种水果的高精度识别，且能有效应对水果重叠、严重遮挡等复杂场景。

1.4 研究内容

系统学习卷积神经网络的核心架构，深入理解卷积层、池化层、全连接层与输出层的工作原理及设计逻辑；收集并构建多品类、多场景的水果图像数据集，覆盖常见水果种类，纳入不同光照、轻微遮挡等实际应用场景的图像样本；掌握数字图像处理技术，通过Python+OpenCV对水果图像开展灰度化、二值化、降噪及图像分割等预处理操作，剔除背景、光斑等干扰元素，强化图像有效特征；学习并运用交叉熵损失函数与梯度下降算法，对模型训练过程进行优化，提升识别结果的精准度；熟练掌握Python编程语言及PyTorch/TensorFlow 深度学习框架，完成水果识别模型的搭建、训练与调试，同时探索模型压缩与部署相关技术，设计适配电脑端的落地方案。

2 相关理论基础

2.1 深度学习

近年来深度学习技术发展迅猛，已成为机器学习领域的核心研究方向，其核心设计理念是模拟人类大脑神经网络的层级结构与信息处理方式，通过构建多层非线性变换的神经网络模型，让计算机自主从海量数据中学习内在特征规律，摆脱了传统机器学习对人工特征工程的依赖。

在农业产业化升级与新零售业态快速发展的背景下，农产品分拣、果蔬品质检测、商超商品识别等场景对水果识别的自动化、精准化与高效化提出了更高要求，传统水果识别模式已难以适配行业发展节奏。工作人员仅依靠人工完成水果种类判别与筛选，存在效率低、易受主观经验影响、误差率高的问题，既无法满足大批量、快节奏的实际生产与商业应用需求，也难以在不同光照、轻微遮挡的复杂环境下保持稳定的识别效果，导致相关行业的智能化升级进程受到制约，深度学习框架结构如图2.1所示。

表2.1水果新鲜度数据集分类及图像数量

2.6.2 数据来源

使用百度飞桨-公共数据集：30类常见水果_数据集-飞桨AI Studio星河社区

因为种类过多，不便于后续的热力图生成与结果分析，所以只取其中的25类水果数据，并按照4：1对数据集进行划分为训练集和测试集。

有以下25类：['新鲜黄瓜', '新鲜葫芦', '新鲜生菜', '新鲜洋葱', '新鲜土豆', '成熟苹果', '成熟香蕉', '成熟葡萄', '成熟芒果', '成熟橙子', '腐烂苹果', '腐烂香蕉', '腐烂黄瓜', '腐烂葫芦', '腐烂葡萄', '腐烂生菜', '腐烂芒果', '腐烂洋葱', '腐烂橙子', '腐烂土豆', '未成熟苹果', '未成熟香蕉', '未成熟葡萄', '未成熟芒果', '未成熟橙子']

def data_load(data_dir, test_data_dir, img_height, img_width, batch_size)

通过传入的img_height, img_width参数，调用TensorFlow函数

def train_ds = tf.keras.preprocessing.image_dataset_from_directory(

        data_dir,

        label_mode='categorical',

        seed=123,

        image_size=(img_height, img_width),

        batch_size=batch_size)

模型定义函数如下：

def model_load(IMG_SHAPE=(223, 224, 3), class_num=15):

     搭建模型

    model = tf.keras.models.Sequential([

         对模型做归一化的处理

        tf.keras.layers.experimental.preprocessing.Rescaling(1. / 255, input_shape=IMG_SHAPE),

         卷积层

        tf.keras.layers.Conv2D(32, (3, 3), activation='relu'),

         池化层

        tf.keras.layers.MaxPooling2D(2, 2),

         卷积层

        tf.keras.layers.Conv2D(64, (3, 3), activation='relu'),

         池化层

        tf.keras.layers.MaxPooling2D(2, 2),

         二维输出转化一维

        tf.keras.layers.Flatten(),

        tf.keras.layers.Dense(128, activation='relu'),

        tf.keras.layers.Dense(class_num, activation='softmax')

    ])

     输出模型信息

    model.summary()

    opt = tf.keras.optimizers.SGD(learning_rate=0.005)

    model.compile(optimizer=opt, loss='categorical_crossentropy', metrics=['accuracy'])

    return model

5 系统实现

5.1 模型训练

5.1.1 数据集格式准备

模型训练前需完成数据集的格式标准化处理，采用LabelImg标注工具对课堂场景图像进行标注，直接导出格式的标注文件。每张图像对应生成一个同名.txt文件，文件内记录目标的类别ID及边界框坐标信息，坐标以图像宽高的归一化数值表示，格式为“类别ID中心x中心y宽度高度”，确保模型能够正确解析目标位置与类别信息。

标注完成后，按7∶2∶1的比例将数据集划分为训练集、验证集与测试集，其中训练集用于模型参数学习，验证集用于训练过程中的超参数调整与过拟合监控，测试集用于最终模型性能评估。数据集目录按“images/train、images/val、images/test”和“labels/train、labels/val、labels/test”的结构组织，便于Ultralytics框架自动读取数据。

5.1.2 训练平台与参数配置

模型训练采用AutoDL算力云平台，硬件配置为GPU：RTX4090（24GB显存），CPU：16vCPUIntel(R)Xeon(R)Platinum8375C，内存：64GB，硬盘：系统盘50GB+数据盘100GB，确保大规模数据集加载与模型训练的高效运行。软件环境配置为WindowsServer201964位操作系统，Python3.9.16版本，PyTorch2.0.1框架，CUDA11.8，配合OpenCV、NumPy等依赖库构建完整训练环境。

训练参数设置结合检测需求优化调整：迭代周期数设为300轮，确保模型充分学习课堂行为特征；训练批次大小为16，平衡算力占用与训练稳定性；图像输入尺寸统一为640×640像素，适配模型的输入要求；学习率初始值设为0.01，采用余弦退火策略动态调整，促进模型快速收敛；深度乘数与宽度乘数分别设为0.33和0.50，在保证模型性能的同时控制参数量；启用Mosaic数据增强、随机翻转、色域扭曲等策略，提升模型对课堂光照变化、学生姿态差异的适应能力。

5.2 模型训练结果

5.2.1 CNN训练过程及分析

除了定义数据集加载函数data_load和模型构建函数model_load外，还定义了showAccuracyAndLoss(history)用来从history中提取模型训练集和验证集的准确率和误差损失，绘制训练过程中的loss和accuracy曲线图。

def data_load(data_dir, test_data_dir, img_height, img_width, batch_size)

def model_load(IMG_SHAPE=(224, 224, 3), class_num=15)

def show_loss_acc(history)

在train(epochs)函数中调用history = model.fit(train_ds, validation_data=val_ds, epochs=epochs)进行训练，通过model.save("models/cnn_fv.h5")保存为模型文件。

定义了test_cnn()函数通过保存的模型文件对验证集进行验证，并通过showHM绘制heatmap热力图。

先使用sgd随机梯度下降优化器和categorical_crossentropy

多分类交叉熵损失函数，epcoh=10进行训练，默认学习率0.01。

训练曲线如图5.1所示。

图5.1 CNN卷积训练曲线图

在第10轮时训练集的准确率只有74%，明显训练轮次过少，调整epoch=25重新训练。

图5.2 CNN卷积训练曲线图

观察曲线，在18轮以后，训练集的准确率就已经达到了100%，而测试集上的准确率只有50%，随着轮次的增加，测试集上的交叉熵损失值也在增加，发生过拟合，混淆矩阵如图5.3所示。

图5.3 CNN卷积混淆矩阵图

改变优化器，使用Adam优化器，epoch=40，其它保持不变，学习率默认0.01。

图5.4 CNN卷积训练曲线图

在第10轮时对于训练集的准确率就已经100%，而测试集的交叉熵损失反而达到4以上，比使用sgd优化器时的过拟合更加严重。

图5.5 CNN卷积混淆矩阵图

尝试调整CNN网络结构。

利用tensorFlow的ImageDataGenerator对训练集进行数据增强，加上原来的数据集部分，扩大为原来的5倍。

datagen = ImageDataGenerator(

    rotation_range=40,  # 随机旋转角度范围

    width_shift_range=0.2,  # 随机水平平移范围(相对于图片宽度)

    height_shift_range=0.2,  # 随机竖直平移范围(相对于图片高度)

    shear_range=0.2,  # 随机裁剪

    zoom_range=0.2,  # 随机缩放

    horizontal_flip=True,  # 随机水平翻转

    vertical_flip=True,  # 随机竖直翻转

    fill_mode='nearest')  # 填充模式

使用最早定义的CNN网络，epoch=15，sgd优化器和多分类交叉熵损失函数，训练结果如下：

图5.6 CNN卷积混淆矩阵图

5.2.2 MobileNetV2训练过程及分析

使用adam优化器和sgd随机梯度下降优化器和categorical_cr ossentropy多分类交叉熵损失函数，默认学习率0.01，epoch=10进行训练。

图5.7 MobileNetV2训练曲线图

可以观察到在第6轮训练时，训练集上的准确率就已经达到了100%，而且测试集上的准确率也有90%以上，交叉熵损失达到0.5以下。训练效果非常好。

对原始测试集测试热力图如下：

图5.7 MobileNetV2卷积混淆矩阵图

对数据增强后的测试集，测试热力图如下：

图5.8 MobileNetV2卷积混淆矩阵图

相比原测试集，准确率只有几类水果稍微下降。

由此得知，相比较CNN模型，利用迁移学习使用预训练过的MobileNetV2作为主干，利用它在ImageNet上学到的特征，在此基础上进行微调适应自己的数据集，可以显著降低训练时间和成本，大大提高准确度。

5.3 前端实现

5.3.1 图片检测界面实现

图片检测界面是系统与用户交互的核心入口，基于PyQt5框架实现可视化操作与结果展示。界面采用分区布局：左侧为图像展示区，用于加载本地图片并实时显示模型标注后的检测结果；右侧为参数配置与结果信息区，提供置信度阈值、交并比阈值的可调输入框，支持勾选显示标签名称与置信度，同时实时展示检测用时、目标数目、识别类别、置信度及目标位置坐标；底部为结果列表区，以表格形式记录历史检测任务的文件路径、类别、置信度与坐标位置，便于回溯查询。

操作流程上，用户点击“打开图片”按钮选择本地图像文件，系统自动加载并展示于左侧区域；点击检测后，模型对图像进行推理，在原图上叠加目标边界框与类别标签，同时将结果同步至右侧信息面板与底部列表；用户可通过“保存”按钮将检测结果与标注图像导出至本地，实现检测数据的留存与复用，如图5.9所示。

图5.9 图片检测界面

5.3.2 视频文件检测界面实现

视频文件检测界面基于 PyQt5 多线程机制开发，避免检测过程中界面卡顿。界面分为视频播放区与控制区：播放区实时展示视频帧及模型标注的果蔬检测结果；控制区设文件选择、进度条调节按钮，支持设置检测帧率与置信度阈值。用户选择视频文件后，系统逐帧推理并标注果蔬类别、置信度，同步显示检测总数与实时帧识别结果，支持检测结果导出为视频文件留存，如图5.10所示。

图5.10 视频文件检测界面

5.3.3 摄像头实时检测界面实现

摄像头实时检测界面依托PyQt5多线程与OpenCV实现，界面分实时画面区与控制区：画面区同步显示摄像头采集帧及果蔬检测标注结果；控制区设摄像头选择、开启/关闭按钮，支持动态调整检测参数。系统启动摄像头后逐帧推理，实时叠加果蔬类别、置信度标签，延迟控制在100ms内，适配现场快速检测需求，如图5.11所示。

图5.11 摄像头实时检测界面

5.3.4 结果导出界面实现

结果导出界面采用表单式布局，支持选择导出格式（文本/标注图像/视频）与存储路径，列出待导出的检测任务列表，可勾选单条或批量导出。点击导出按钮后，系统自动整理检测结果（类别、置信度、坐标）生成文件，实时显示导出进度，完成后给出成功提示，保障数据留存与复用，如图5.12所示。

图5.12 结果导出界面