2026/1/10 12:32:45
网站建设
项目流程
asp网站可运行jsp吗,三亚门户网站,网站优化改版,wordpress 4.7.1下载点击蓝字关注我们关注并星标从此不迷路计算机视觉研究院公众号ID#xff5c;计算机视觉研究院学习群#xff5c;扫码在主页获取加入方式https://pmc.ncbi.nlm.nih.gov/articles/PMC12411539/计算机视觉研究院专栏Column of Computer Vision Institute水稻是一种重要的粮食作物…点击蓝字关注我们关注并星标从此不迷路计算机视觉研究院公众号ID计算机视觉研究院学习群扫码在主页获取加入方式https://pmc.ncbi.nlm.nih.gov/articles/PMC12411539/计算机视觉研究院专栏Column of Computer Vision Institute水稻是一种重要的粮食作物但易受病害侵袭。然而现有斑点分割模型计算开销大难以在田间环境中部署。PART/1概述针对上述缺陷本文开发了一款轻量化水稻叶斑分割模型MV3L-MSDE-PGFF-CA-DeepLabv3简称MMPC-DeepLabv3适用于稻瘟病、胡麻叶斑病和白叶枯病这三种常见水稻叶部病害。首先采用轻量化特征提取网络MobileNetV3_LargeMV3L作为模型骨干网络。其次基于哈尔小波下采样提出多尺度细节增强MSDE模块以提升模型在病斑间隙等过渡区域的判别能力并改善病斑分割边界粘连、模糊的问题。同时提出PagFm-Ghostconv特征融合PGFF模块大幅降低模型计算开销。此外在PGFF模块前融入坐标注意力CA机制增强模型在复杂环境下的鲁棒性。最后提出一种融合焦点损失函数与Dice损失函数的混合损失函数以缓解水稻病害图像中病害与背景像素的类别不平衡问题。结果基于自然光照条件下采集的水稻病害图像进行验证结果显示MMPC-DeepLabv3模型的平均交并比mIoU达81.23%平均像素准确率MPA达89.79%浮点运算量FLOPs与模型参数量Params分别降至9.695吉次和355.6万个。相较于基准模型DeepLabv3该模型的平均交并比提升1.89%平均像素准确率提升0.83%浮点运算量与参数量分别减少93.1%和91.6%。讨论MMPC-DeepLabv3模型的性能优于DeepLabv3、U-Net、PSPNet、HRNetV2及SegFormer等模型在识别精度与计算效率间取得了最优平衡为精准农业领域的水稻病斑分割构建了全新范式。PART/2背景尽管基于CNN的作物病害病斑分割已成为当前主流方法并取得显著进展但仍存在以下挑战1现有研究大多聚焦于区分病斑区域与健康叶片或背景未能精准区分不同病害类型2现有病斑分割模型通常架构复杂、参数量大、计算成本高虽然在高性能计算设备上表现优异但在计算资源有限的实际农业环境中部署时性能较差。因此迫切需要开发更具针对性的水稻病斑分割模型来解决这些问题。针对上述挑战本研究聚焦水稻生长过程中的三种常见病害白叶枯病、稻瘟病、胡麻叶斑病开展了如下工作首先对四种主流作物病害分割模型进行训练与测试获取其在训练集上的损失变化与性能指标确定选择DeepLabv3作为本研究水稻叶部病斑分割的基准网络。其次为解决DeepLabv3模型计算成本高的问题将编码器中用于特征提取的Xception网络替换为集成扩张卷积的MobileNetV3_LargeMV3L网络同时提出并引入PagFm-Ghostconv特征融合PGFF模块与多尺度细节增强MSDE模块使模型在保持特征提取能力的同时大幅减少参数量Params与浮点运算量FLOPs。第三在解码器中引入坐标注意力CA机制提升模型在复杂场景下分割的鲁棒性。第四针对水稻病害图像中不同区域占比失衡的问题提出融合焦点损失函数与Dice损失函数的混合损失函数。PART/3新算法框架解析数据集构建本研究使用的水稻病害数据集来源于两大渠道。第一部分为在云南省昆明市水稻种植基地利用华为Mate50智能手机拍摄的400张含自然复杂背景的水稻叶片图像涵盖健康叶片、胡麻叶斑病、稻瘟病、白叶枯病4类每类各100张。第二部分为从Kaggle平台获取的公开水稻病害数据集每类图像数量扩充至350张包含复杂背景与简单背景两种场景具体分布为胡麻叶斑病282张复杂背景、68张简单背景、稻瘟病150张复杂背景、200张简单背景、白叶枯病144张复杂背景、206张简单背景、健康叶片185张复杂背景、165张简单背景。为保障数据集可靠性研究采用两阶段质量验证流程。首先所有图像及其病害标注信息均由资深农学专家审核确认确保其生物学准确性其次人工筛选全部图像剔除因过度模糊或畸变导致病害特征肉眼不可辨识的样本。最终构建的原始数据集共包含1800张图像在健康叶片及上述三类病害中均匀分布每类各450张。该数据集按照9:1的比例划分为训练集与验证集。为提升模型的鲁棒性与泛化能力本研究仅在训练阶段采用在线数据增强策略构建了一套灵活的增强流程。在每次训练迭代中以预设概率随机执行几何变换如旋转、翻转、缩放、色彩调整亮度、色调、饱和度与噪声注入高斯噪声、椒盐噪声等操作。这种方式能够动态丰富输入数据的多样性降低模型过拟合风险同时模拟光照变化、叶片形变、局部遮挡等多样化田间环境。值得注意的是该策略已在同类植物病害分割任务中得到验证例如贾等人2024在其基于DFMA的分割框架中采用了几乎完全相同的动态增强方法证实该方法能显著提升模型在真实农业环境下的性能与泛化能力。验证集未进行任何增强处理以保证模型性能评估的客观性。研究使用Labelme软件制作灰度掩码标签共划分5个目标类别背景0、健康叶片1、胡麻叶斑病2、稻瘟病3、白叶枯病4。图1图1展示了不同背景复杂度的代表性图像及其对应的标注掩码。所有数据在输入模型训练前均被转换为PASCALVOC格式。DeepLabv3模型DeepLab系列模型是由谷歌公司研发的语义分割网络Chen等2014,2017,2018a,2018b其中DeepLabv3是该系列的最新版本。该模型采用编解码架构编码器模块由Xception骨干网络和空洞空间金字塔池化ASPP模块构成。ASPP模块包含一个1×1卷积层、不同扩张率6、12、18的空洞卷积层以及一个全局平均池化层。编码器通过Xception完成初始特征提取生成两类特征一是包含边缘与纹理细节的高分辨率低层特征二是富含语义信息的低分辨率高层特征。得到的高层特征经ASPP模块进行多尺度聚合最终生成编码后的高层特征。在解码器模块中先通过双线性插值将低层图像特征上采样4倍再与高层图像特征融合随后通过3×3卷积恢复细节特征最后再执行一次4倍上采样还原空间信息实现像素级分割。尽管DeepLabv3借助编解码结构提取图像的高低层特征并利用ASPP模块的特性捕捉更清晰的目标边界但该模型计算成本高昂再加上水稻病害病斑具有密集且尺寸小的特点以及水稻生长环境复杂多变这些都为模型的实际应用带来了新的挑战。基于MMPC-DeepLabv3的水稻叶部病害分类模型图2如图2所示本研究通过对DeepLabv3框架进行针对性改进开发出一种全新的MV3L-MSDE-PGFF-CA-DeepLabv3简称MMPC-DeepLabv3架构用于实现水稻叶部病斑的分割任务。本文提出的MMPC-DeepLabv3架构的核心改进体现在四个核心模块上架构名称“MMPC”也正是源于这四个模块的首字母具体如下1.M——MobileNetV3-LargeMV3L使用轻量化、高效率的MV3L网络替代传统的Xception骨干网络专门用于提升语义分割性能同时大幅降低计算复杂度。2.M——多尺度细节增强MSDE引入细节增强模块优化边缘检测与低层纹理提取能力借助更丰富的分层特征表示实现病斑边界的精准勾勒。3.P——PagFM-GhostConv特征融合PGFF设计优化的高低层特征融合模块在保留关键语义-空间信息的同时减少浮点运算量与参数量助力模型轻量化部署。4.C——坐标注意力CA在特征拼接前对高低层特征均施加注意力增强机制强化模型在复杂背景下对病斑区域的关注度提升分割鲁棒性。上述模块化创新共同赋予了MMPC-DeepLabv3轻量化、高精度、注意力增强的分割能力使其非常适用于田间级农业场景的部署应用。MobileNetV3-Large骨干网络MV3L霍华德等人2019是由谷歌公司研发的一款轻量化卷积神经网络旨在以尽可能少的计算资源消耗实现高效、精准的视觉识别因此适用于计算资源受限的田间视觉识别任务。在MV3L网络中挤压与激励SE注意力机制被嵌入至部分瓶颈Bneck模块中该机制通过两个全连接层捕捉通道间的依赖关系进而生成通道权重。本研究选取轻量化网络MV3L作为DeepLabv3的特征提取网络同时为适配语义分割任务对空间信息保留的需求对MV3L进行了针对性调整见图3。图3具体而言为保留空间信息研究移除了MV3L中原本为图像分类任务设计的全局平均池化层及其后续的全连接层仅保留经MV3L下采样32倍后的空间信息。但32倍下采样特征所包含的空间信息仍无法满足DeepLabv3的任务需求。为此研究将MV3L的下采样率调整为16倍以弥补这一缺陷。具体操作如下1.对于原始MV3L中负责实现32倍下采样的瓶颈Bneck结构内的5×5卷积表1中第14层将其步长设置为1。2.其次为弥补感受野的损失将第14层瓶颈结构中5×5卷积的扩张率设置为2以此抵消因下采样率降低而导致的感受野缩小问题。3.最后直接选取MV3L中第16层的输出作为高层特征送入后续的空洞空间金字塔池化ASPP模块进行处理。经过对MV3L网络的调整与优化该模型不仅保留了其架构本身具备的强大特征提取能力还实现了参数量Params与浮点运算量Flops的降低。表1如表1所示网络的第4层与第16层输出分别被用作DeepLabv3模型的低层特征与高层特征。此外第2层的输出将被用于后续的多尺度细节增强模块。多尺度细节增强模块为提升模型捕捉细粒度细节的能力本研究引入了哈尔小波下采样HWD技术。图4如图4所示HWD模块能够在降低图像分辨率的同时有效保留水平、垂直、对角线三个方向的细节信息Xu等2023a。针对输入特征图处理过程分为三步1应用哈尔小波变换实现2倍下采样生成四个子带低-低LL、低-高LH、高-低HL、高-高HH2将这些子带沿通道维度堆叠以完成特征融合3通过1×1卷积调整通道数实现高效的特征整合。基于HWD模块的信息捕捉与处理能力本研究将其引入模型并提出了MSDE模块图5。图5该模块包含三个并行分支用于从不同层级提取并整合细节信息分支1对输入图像应用两次HWD模块实现4倍下采样直接从原始输入中提取精细细节分支2先通过特征提取网络对输入进行2倍下采样再额外应用HWD实现2倍下采样总下采样率4倍旨在捕捉中深度网络的细节信息分支3直接利用特征提取网络输出的4倍下采样特征获取初步抽象的低层特征。最后一步是将三个分支的输出按元素相加生成包含多尺度细节信息的融合特征图。这种融合策略为低层特征补充了边缘、角点与纹理细节显著提升了模型在病斑边界与小目标分割任务中的性能。在实现细节上尺寸为512×512×3的输入图像会经过两次连续的HWD变换先降采样至256×256×16再进一步下采样至128×128×4同时MV3L架构表1第2层输出的2倍下采样特征图256×256×16经HWD模块处理后得到128×128×24的特征图。这三个尺寸一致的特征图通过按元素相加的方式融合生成最终的低层特征。坐标注意力机制的引入为进一步增强模型的特征表示能力本研究将坐标注意力CA机制Hou等2021同时应用于来自ASPP模块的高层特征以及来自多尺度细节增强模块的低层特征。该注意力机制有助于模型更好地理解病斑在整个叶片表面的空间分布提升其在复杂分割场景下的鲁棒性。坐标注意力机制在通道注意力的基础上引入了显式的坐标信息以增强模型对输入特征中空间分布信息的理解能力。图6如图6所示通过获取图像宽度与高度的空间信息来强化特征表示输入特征图会通过全局平均池化分解为水平与垂直两个方向进而生成两个全局上下文特征。随后这两个全局上下文特征沿通道轴拼接通过1×1卷积将通道数调整为C/r其中C为通道数本文将超参数r设为16即中间通道数为输入通道数的1/16。接着堆叠后的特征向量被分离为高度与宽度两个方向的特征再通过1×1卷积将通道数恢复至输入通道数。通过sigmoid函数特征值被映射到0到1的范围生成高度与宽度方向的注意力图。最后原始输入与高度H、宽度W方向的注意力图按元素相乘完成特征重校准——这一过程能够突出重要特征同时抑制不重要的区域。轻量化高低层特征融合模块本研究受Xu等提出的像素注意力引导融合模块PagFM架构启发设计了一种全新的PGFF模块。具体而言该模块通过两阶段处理流程整合高层语义特征与低层空间特征。图7如图7所示首先对齐多尺度特征图的形状为减少参数通过1×1卷积将通道数减半再将sigmoid映射得到的相似度进行按元素相乘以此结果作为特征交互的权重系数。随后通过加权求和合成初步融合特征再通过3×3 Ghost卷积操作生成最终特征。值得注意的是PagFM组件通过1×1卷积进行降维以降低特征交互过程中的计算开销。表2表2的对比分析表明与原始融合方法相比所提模块减少了参数量Params与浮点运算量Flops。损失函数的改进在预实验中仅使用Dice损失函数训练的分割模型因水稻叶片图像数据集中存在类别不平衡问题表3未能取得理想结果健康组织与背景区域占据了大部分像素而病害病斑仅占小部分比例。由此生成的掩码出现严重的欠分割现象尤其是在小尺寸或模糊的病斑区域。这凸显了引导模型关注难分类、样本量少的类别的必要性。为解决这一问题本研究采用了焦点损失函数Focal LossLin等2017。具体而言如公式1所示该方法通过引入调制因子对交叉熵损失函数进行修改其中pi表示每个类别的预测概率r是控制关注程度的超参数。这种设计能有效降低易分类样本的损失贡献从而将模型的注意力转移到难分类样本上。焦点损失函数的数学表达式定义如下其中αt代表类别特定的权重参数用于处理类别不平衡问题。PART/4实验及可视化基准模型确定实验为验证DeepLabv3作为本研究基准模型的可靠性与准确性本研究在相同数据集上对DeepLabv3、UnetRonneberger等2015、PSPNetZhao等2017、HRNetV2Wang等2021这4个模型进行了系统性的对比训练与测试。训练过程中通过观察模型损失的变化以及验证集中不同病害病斑的分割评估指标来评估模型的可行性。图8展示了4个模型在训练集上的损失率变化表5呈现了指标评估结果。图8如图8所示所有模型在训练初期均出现损失快速下降的情况这主要是因为预训练权重的引入使得模型能高效地从农业影像中提取特征。第51轮开始进入解冻训练阶段此时特征提取网络的权重会更新由于参数尚未完全适配数据集4个模型的损失值均出现了突然跃升。值得注意的是随着训练推进4个模型的损失均逐渐下降并最终趋于稳定这表明这4种架构都能有效区分病害类型并实现病斑分割。其中R50-DeepLabv3模型的损失收敛值相对较低这在一定程度上也体现了该架构与病斑分割任务的高适配性。不同模型分割效果的可视化对比为直观展示MMPC-DeepLabv3的性能本研究对比了MMPC-DeepLabv3、DeepLabv3、HRNetV2、PSPNet和Unet在背景干扰、强光环境、叶片重叠等复杂场景下的分割效果同时还对比了这些模型在小目标分割与边界分割精度、精细度方面的表现。复杂场景下的模型分割效果对比图11图11展示了MMPC-DeepLabv3、DeepLabv3、HRNet、PSPNet、Unet这5个模型在5种挑战性场景下的分割结果可视化对比背景叶片干扰、强光条件、叶片重叠、背景与稻瘟病相似、背景与白叶枯病相似。具体而言- 场景a背景叶片干扰侧重空间位置干扰- 场景b背景与叶片的颜色混淆- 场景c强光条件- 场景d叶片重叠- 场景e背景与稻瘟病相似从左到右每组图像依次展示原始图像、对应的颜色映射标签图真实标签以及MMPC-DeepLabv3、DeepLabv3、HRNet、PSPNet、Unet的分割输出。其中黑色代表背景黄色代表稻瘟病蓝色代表白叶枯病。- 背景叶片干扰场景场景a除MMPC-DeepLabv3外其他模型均被左下区域的重叠叶片干扰未能聚焦于主要叶片上的白叶枯病斑。- 背景颜色-纹理混淆场景场景b所有模型都能相对准确地分割出主叶片上的白叶枯病斑但在分割健康叶片时其他模型无法清晰区分背景中的绿色叶片。- 强光条件场景场景c主叶片表面的强光反射干扰了模型对该区域的识别导致所有模型在该区域出现欠分割现象但MMPC-DeepLabv3在处理这种干扰时欠分割区域最小表现出更好的稳健性。- 叶片重叠场景场景d重叠叶片增加了分割难度其他4个模型均无法清晰分割稻瘟病斑存在不同程度的欠分割而MMPC-DeepLabv3能更准确地分割病斑区域欠分割现象相对轻微。- 背景与稻瘟病相似场景场景e背景与稻瘟病视觉相似度极高所有模型的分割效果都不理想- DeepLabv3将部分背景误识别为稻瘟病- HRNetV2将主叶片上的大部分稻瘟病区域误判为白叶枯病- PSPNet表现相对较好但仍将小部分稻瘟病区域误判为白叶枯病- Unet将图像右下的背景误识别为白叶枯病- 而MMPC-DeepLabv3未误识别背景且相对准确地分割出了叶片上的病斑区域。小目标与边界分割效果对比图12如图12所示图像对比展示了各模型在小目标分割与边界描绘方面的表现- 场景a小目标分割场景目标区域是被白叶枯病斑包围的一小块健康叶片。可视化分析显示DeepLabv3和Unet均未检测到这个小区域MMPC-DeepLabv3、HRNetV2、PSPNet成功识别了该区域但分割质量有差异——只有MMPC-DeepLabv3实现了相对完整的分割而HRNetV2和PSPNet仅捕捉到了部分区域。- 场景b边界分割场景病斑区域由两个垂直平行的独立区域组成。尽管DeepLabv3和HRNetV2识别出了白叶枯病的病斑区域但因邻近斑块的边界混淆未能清晰分离相邻病斑而MMPC-DeepLabv3和Unet成功区分了这两个病斑区域生成了相对清晰的分割边界。有相关需求的你可以联系我们END转载请联系本公众号获得授权计算机视觉研究院学习群等你加入ABOUT计算机视觉研究院计算机视觉研究院主要涉及深度学习领域主要致力于目标检测、目标跟踪、图像分割、OCR、模型量化、模型部署等研究方向。研究院每日分享最新的论文算法新框架提供论文一键下载并分享实战项目。研究院主要着重”技术研究“和“实践落地”。研究院会针对不同领域分享实践过程让大家真正体会摆脱理论的真实场景培养爱动手编程爱动脑思考的习惯往期推荐YOLO-TLA一种基于 YOLOv5 的高效轻量级小目标检测模型ViT-YOLO基于Transformer的用于目标检测的YOLO算法SSMA-YOLO一种轻量级的 YOLO 模型具备增强的特征提取与融合能力适用于无人机航拍的船舶图像检测LUD-YOLO一种用于无人机的新型轻量级目标检测网络Gold-YOLO基于聚合与分配机制的高效目标检测器Drone-YOLO一种有效的无人机图像目标检测「无人机AI」“空中城管”无人机AI光伏巡检自动化解决方案无人机视角下多类别船舶检测及数量统计机场项目解决飞行物空间大小/纵横比、速度、遮挡等问题引起的实时目标检测问题2PCNet昼夜无监督域自适应目标检测附原代码YOLO-S小目标检测的轻量级、精确的类YOLO网络大改Yolo框架 | 能源消耗极低的目标检测新框架附论文下载改进的检测算法用于高分辨率光学遥感图像目标检测