027-87860098

基于改进的YOLO系列算法的温室葫芦科果实实时检测

2023/11/20
水果和蔬菜通常对人类健康很重要,因为它们富含许多营养素,包括钾、叶酸、维生素 C、膳食纤维等。随着日益增长的果蔬需求,农业机器人成为收获、修剪、局部喷施等栽培任务中的热门手段,这促进了果蔬检测图像分析和计算机视觉方法的发展。然而,复杂温室环境下的葫芦科果实时检测算法存在诸多挑战,如叶片遮挡、果实重叠、逆光、正光等等都是其中的挑战之一。与此同时,果实检测算法被期望具有通用性、轻量级、准确和快速的特点。为此,本研究提出了一种改进的YOLO序列检测算法用于温室葫芦科果实检测,并与YOLOv4、YOLOv5算法进行了比较。研究采用数码相机采集了苦瓜、黄瓜、甜瓜和博洋蜜瓜的果实图像(共2469张,分别为665、664、404和736张),其中包含叶片遮挡、果实重叠、枝干遮挡、背光、正光等各种环境条件的图像(如图1所示),并将其随即划分为训练集80%、验证集15%和测试集5%。由于轻量级的YOLOv4、YOLOv5检测速度快,本研究以此作为框架,在此基础上,Neck网络(如图3所示)采用路径聚合网络(PANet)和特征金字塔网络(FPN)分别将YOLOv4和YOLOv5的骨干残差块排列从1、2、8、8、4改进为2、3、4、3、2,F、3、9、9、3改进为F、3、4、3、2(如图2和表1所示)。结果表明,与YOLOv4和YOLOv5的Backbone相比,改进后的Backbone的检测精度更高,速度更快。添加PANet的颈部的准确度高于FPN,但FPN的检测时间较少。在所测试的改进算法中,YOLOv4RPANet检测结果的平均准确率为91.5%,平均检测时间为5.0 ms,优于YOLOv4和YOLOv5(如表2所示)。尽管存在差异,其他改进的YOLO系列检测算法也是轻量级的,在更好的泛化性、实时检测果实以及伪标签生成器方面具有巨大前景,适用于采摘/收获机器人。

基于改进的YOLO系列算法的温室葫芦科果实实时检测
图1 各种条件下的果实图像:(a)被叶片遮挡;(b)重叠;(c)被枝干遮挡;(d)b背光;(e)正光;(f)YOLO注释规则,包含对象类、坐标、高度和宽度。

基于改进的YOLO系列算法的温室葫芦科果实实时检测
图2 研究采用的改进(a)YOLOv5和 (b)YOLOv4 Backbone的果实检测算法。

基于改进的YOLO系列算法的温室葫芦科果实实时检测
图3 (a)FPN和(b)PANet的Neck网络。

表1 研究所采用的训练模型的总结
基于改进的YOLO系列算法的温室葫芦科果实实时检测
基于改进的YOLO系列算法的温室葫芦科果实实时检测
基于改进的YOLO系列算法的温室葫芦科果实实时检测

文献来源:Lawal, O.M. Real-time cucurbit fruit detection in greenhouse using improved YOLO series algorithm. Precision Agric (2023). https://doi.org/10.1007/s11119-023-10074-0