【2021研电赛】基于机器视觉的智能水果质量监测系统

本作品介绍参与极术社区的有奖征集|分享研电赛作品扩大影响力，更有重磅电子产品免费领取!

团队介绍

参赛单位：华东理工大学
参赛队伍：Invictus Team II
指导老师：黄如副教授
参赛队员：陈子健、管文范、冯默然
获奖情况：技术赛全国二等奖

1.作品简介

随着疫情来势汹汹席卷全球，新时代下人们对健康要求水平也有所提高。水果在日常饮食中扮演着愈加重要的角色，健康的饮食习惯越来越被人们在意。为此合理划分水果新鲜程度等级，对水果的新鲜程度做出预测，无论是在工业领域或是家用场景下，都具有一定的商业价值。

目前在水果识别领域，应用最广的是利用机器人分拣技术来进行水果分拣。然而这种机器人技术适用于大型流水线工厂，并不适合于家用水果识别监测。在水果分类识别过程中，若由人工进行水果质量监测，既费时又费力，可能夹杂主观意识，并不能保证准确度。本作品针对以上问题，根据水果识别以及新鲜度监测的功能需求，对该智能家用水果质量监测系统的总体方案进行了设计。

系统主要由视觉采集模块，温湿度传感模块，酒精传感器模块、控制器模块，通讯模块和PC终端上位机、Android app软件组成。在考虑实际应用环境，目标群体后完成了系统的硬件选型，主要包括摄像头系统，控制处理模块。同时设计并搭建了水果监测储藏一体化装置，并针对水果质量监测系统提出了可行的系统软件设计方案。

为实现水果的识别和实时质量监测，在参考根据国家标准制定的《新鲜果品质量分级指南》后，经过长达两个月的不同温湿度实验环境下，进行了不同水果腐烂速度对比实验，选取腐烂现象较为明显的苹果、香蕉、橙子三种水果作为项目展示案例数据集。将数据集输入经过改进的目标检测算法YOLO-V3，启发式的在原网络的基础上结合远近邻域算法捕捉水果表面的缺陷特征送入时序神经网络层用以预测水果新鲜度评分，适当的在全连接层中加入Dropout策略以增加模型的泛化能力，并使用LeakyReLU作为激活函数以缓解由于模型层数增加所带来的梯度爆炸和梯度消失现象。以分数图表形式展示水果新鲜度相较于图像形式更为直观，更能让人接受。结合经C++开发的上位机软件，实现了实时监测水果新鲜程度并显示其未来新鲜度下降曲线，给出食用建议，满足人们对于水果质量的高标准要求。同时装置配备有通风功能，在储藏水果的同时，防止其加速腐败。此外，系统一旦启动，即可实现全天候自动监测，无需人为干预。

2.算法设计

由于水果质量变化在空间和时间上存在不确定性，但属于长时变化。对短时实时性要求较低。因此本设计选用基于颜色描述特征的缺陷检测算法结合神经网络学习输出，以达到预测的目的。该算法引入邻域信息，水果表面的缺陷分布具有离散型，但从某一具体缺陷上看，其涵盖的所有图像块呈现连续近邻的特点。利用邻域信息捕捉中心图像块和其邻域图像块颜色特征的相似性。最后获取置信度矩阵，构成神经网络学习的加权系数。从整体上看，本作品只需将图像序列送入设计好的网络结构就可直接得到预测结果，识别过程简单并且准确率高，预测有效性强。在此背景下，本课题引入基于时序卷积神经网络与远近邻域构建算法作为提取与预测水果新鲜度特征的神经网络，首先采用自适应去除背景的技术来减少预测时背景对预测结果的影响。其次，向网络输入要预测的图像和经由远近邻域算法构建的置信度矩阵作为训练权重的一部分。进一步将输出输入LSTM长短时记忆网络，最后统一经过Softmax激活函数输出预测值。在实际的应用场景中，光照变化的复杂性和背景的复杂性也是影响预测的重要因素，同时本设计更加注重算法执行的实时性，本课题所提出的网络模型经过训练后在精度与速度方面有更高的优越性。
在这里插入图片描述