027-87860098

WheatSpikeNet: 一种改进的小麦穗分割模型,用于田间成像图像中小麦穗的准确估计

2023/9/8
小麦穗数与小麦总产量息息相关,是重要的农艺性状之一。随着人工智能、计算机视觉等信息技术的快速发展,已经提出了不同的深度学习方法来分割和计数小麦穗。然而,当前研究多集中在实验室条件下,难以代表真实的、复杂的田间环境。由于麦田环境的多样性,快速、准确地识别小麦穗数仍然是挑战。

本研究旨在从小麦田间图像中精准检测、分割和计数小麦穗。首先整理并标注了一个具有精确掩码和边界框的小麦穗分割数据集SPIKE-segm(3种氮处理、不同生长阶段下10个小麦品种图像数据集),提出了一种基于Cascade Mask R-CNN架构的、改进的穗分割模型,该模型对模型架构中几个组件进行了改进,包括可变形卷积网络( DCN ),通用RoI提取器( GRoIE )、侧边感知边界定位( SABL )和自适应微调学习率LR。

为了评估这些组件的单独和组合对模型性能的影响,设置了一个基于ResNet50网络骨干的基线架构,图像尺寸为1333 × 800,batch size为2,LR为0.00125 (除非另有规定)。结果显示,对于测试集,包含所有不同组件的版本在IoU = 0.5时获得了最佳AP(平均精度),Bbox和Mask的AP分别为0.9303和0.9416。设定IoU阈值为0.5,统计每张图像的TP,FP和FN,结果表明,该模型在测试图像中平均准确率达到了86 %,平均F1分数为0.93。此外,与其他现有的架构和策略相比,所提出的模型在穗检测中mAP提高了0.41%,在穗分割任务中mAP提高了3.46%。由此可见,本研究所提出的小麦穗模型WheatSpikeNet为从田间图像中准确分割小麦穗提供了高精度、高效、稳定的方法,对未来小麦测产工作具有重要意义。

图2 研究路线图。描述了所提出的算法在田间图像中检测和分割小麦穗的工作流程。

图4 SPIKE数据集的图像标注示例( GSGC阶段)。三种颜色类别:GSYC -绿穗,黄冠;GSGC -绿穗,绿冠;YSYC -黄穗,黄冠。

图6本研究提出的穗分割模型结构。

图8 可变形卷积网络。

图9 侧边感知边界定位( SABL )示例。

图10 总体性能:( A )决定系数,真实值与检测计数值的比较;( B )训练过程中的损失度量,超过150 epochs的训练损失;( C ) 超过150 epochs的训练精度;( D ) 超过150 epochs的验证集mAP。

图11 不同生长阶段测试图像真实值与检测结果的可视化示例。( A ) GSGC真值图;( B ) GSGC检测结果;( C ) GSYC真值图;( D ) GSYC检测结果;( E ) YSYC真值图;( F ) YSYC检测结果。

表6 与现有研究方法的结果比较

文献来源:Batin MA, Islam M, Hasan MM, Azad A, Alyami SA, Hossain MA and Miklavcic SJ (2023) WheatSpikeNet: an improved wheat spike segmentation model for accurate estimation from field imaging. Front. Plant Sci. 14:1226190. doi: 10.3389/fpls.2023.1226190