YOLO航拍小目标检测mAP上不去？注意力机制+多尺度融合落地指南

在无人机巡检、遥感影像分析、低空安防这类航拍场景里做目标检测最头疼的就是小目标。很多人用原生YOLO跑下来大目标检测稳稳的一碰到像素占比不到2%的车辆、行人、杆塔部件漏检率直接飙升mAP卡在某个点死活涨不上去。我之前做电力巡检的航拍检测项目时同样踩过这个坑。原生YOLOv8在自建数据集上小目标AP只有27.6%误检还多。前后折腾了一个多月从注意力机制选型、多尺度网络改造到训练策略调优一套组合拳打下来小目标AP提升了近17个点整体mAP也涨了8个点。这篇文章就把整套优化思路和落地方法整理出来从原理分析到代码修改再到调优避坑全部是实战验证过的内容适合正在做航拍小目标检测的朋友参考。一、航拍小目标检测的核心痛点航拍场景的目标检测和普通街景完全不是一个难度级。原生YOLO之所以效果拉胯核心问题集中在三点第一是目标尺度极小。航拍画面里的车辆、小型设备、部件往往只占全图的0.5%-2%对应到特征图上只有几个像素点。经过骨干网络多次下采样后浅层细节特征大量丢失到深层已经很难和背景区分开。第二是背景干扰极强。航拍视角下植被纹理、道路阴影、光影变化都很复杂很多小目标会和背景特征高度相似网络很容易把背景当成目标或者直接漏检。第三是尺度分布不均。同一帧画面里可能同时出现近处的大目标和远处的极小目标尺度差能达到十几倍。原生YOLO的三层检测头对这种极端尺度变化的适配能力有限很难同时兼顾大小目标的精度。二、注意力机制选型与植入针对小目标特征弱、背景干扰强的问题注意力机制是性价比最高的优化手段。它能让网络把权重集中在前景目标上抑制无效背景特征参数增量很小对速度影响极低。怎么选适合小目标的注意力常见的SE、CBAM、CA、SimAM、NAM我都在航拍数据集上测过一轮直接说结论SE通道注意力参数最少但只关注通道权重忽略空间位置对小目标提升有限普遍涨点1-2个点CBAM通道空间注意力比SE效果好但空间注意力是全局计算容易引入背景噪声小目标涨点不明显CA坐标注意力同时编码通道信息和水平、垂直方向的位置特征对小目标的位置捕捉能力强参数量和SE相当性价比最高NAM注意力基于特征方差做加权能更高效地抑制不重要的背景通道和CA搭配使用能进一步放大增益。最终落地我选的是CANAM的组合方案分别植入骨干网络和Neck的对应位置在几乎不影响推理速度的前提下实现小目标特征的针对性增强。植入位置的讲究注意力不是加得越多越好加错位置反而会掉点。我最开始图省事在骨干网络最后一层加了CBAM结果整体mAP掉了0.8个点小目标几乎没涨。经过多次消融验证最优的植入位置有两处骨干网络的P2、P3、P4层C2f模块输出端强化中浅层的细节特征深层P5不用加避免引入噪声导致过拟合Neck上采样之前的特征图在跨层融合前先做一次特征增强提升小目标特征在融合中的权重。核心代码实现以YOLOv8为例先实现CA注意力模块importtorchimporttorch.nnasnnclassCoordAtt(nn.Module):def__init__(self,inp,oup,reduction32):super(CoordAtt,self).__init__()self.pool_hnn.AdaptiveAvgPool2d((None,1))self.pool_wnn.AdaptiveAvgPool2d((1,None))mipmax(8,inp//reduction)self.conv1nn.Conv2d(inp,mip,kernel_size1,stride1,padding0)self.bn1nn.BatchNorm2d(mip)self.actnn.Hardswish()self.conv_hnn.Conv2d(mip,oup,kernel_size1,stride1,padding0)self.conv_wnn.Conv2d(mip,oup,kernel_size1,stride1,padding0)defforward(self,x):identityx n,c,h,wx.size()x_hself.pool_h(x)x_wself.pool_w(x).permute(0,1,3,2)ytorch.cat([x_h,x_w],dim2)yself.conv1(y)yself.bn1(y)yself.act(y)x_h,x_wtorch.split(y,[h,w],dim2)x_wx_w.permute(0,1,3,2)a_hself.conv_h(x_h).sigmoid()a_wself.conv_w(x_w).sigmoid()outidentity*a_w*a_hreturnout然后修改C2f模块在最后的卷积输出前加入注意力层即可。改动量很小不用动原有结构方便后续版本迭代和维护。三、多尺度融合网络改造光有注意力还不够小目标检测的根本是要保留足够的细节特征。原生YOLOv8用FPNPAN结构最小检测层是P3对应8倍下采样对于像素小于32×32的目标来说特征已经被压缩得所剩无几。新增P2小目标检测层最直接的改进就是增加一个P2检测层下采样倍数只有4倍能保留更多浅层细节专门负责检测极小目标。对应的yaml配置核心修改如下backbone:-[-1,1,Conv,[64,3,2]]# 0-P1/2-[-1,1,Conv,[128,3,2]]# 1-P2/4-[-1,3,C2f,[128,True]]-[-1,1,Conv,[256,3,2]]# 3-P3/8-[-1,6,C2f,[256,True]]-[-1,1,Conv,[512,3,2]]# 5-P4/16-[-1,6,C2f,[512,True]]-[-1,1,Conv,[1024,3,2]]# 7-P5/32-[-1,3,C2f,[1024,True]]-[-1,1,SPPF,[1024,5]]# 9head:-[-1,1,nn.Upsample,[None,2,nearest]]-[[-1,6],1,Concat,[1]]-[-1,3,C2f,[512]]# 12-[-1,1,nn.Upsample,[None,2,nearest]]-[[-1,4],1,Concat,[1]]-[-1,3,C2f,[256]]# 15# 新增P2上采样分支-[-1,1,nn.Upsample,[None,2,nearest]]-[[-1,2],1,Concat,[1]]-[-1,3,C2f,[128]]# 18# 下采样路径-[-1,1,Conv,[128,3,2]]-[[-1,15],1,Concat,[1]]-[-1,3,C2f,[256]]# 21-[-1,1,Conv,[256,3,2]]-[[-1,12],1,Concat,[1]]-[-1,3,C2f,[512]]# 24-[-1,1,Conv,[512,3,2]]-[[-1,9],1,Concat,[1]]-[-1,3,C2f,[1024]]# 27# 4个检测输出层对应P2-P5-[[18,21,24,27],1,Detect,[nc]]加了P2层之后小目标特征丰富度会明显提升但显存占用和推理速度会受影响。原生v8s在640输入下约120FPS加完P2层降到85FPS左右。如果对速度有要求可以把P2层的C2f通道数从128降到96或者用深度可分离卷积替换普通卷积能把速度拉回100FPS以上精度损失不到1个点。加权融合替换普通拼接原生YOLO的特征融合用的是普通Concat不同尺度的特征权重完全一致但实际上浅层细节和深层语义对小目标的贡献并不相同。这里可以借鉴BiFPN的思路用可学习的加权融合替换普通Concat给不同尺度的特征分配动态权重让网络自己学习每个尺度的重要性。实现起来并不复杂在Concat的位置换成加权求和即可权重通过sigmoid做归一化保证数值稳定。四、配套训练调优策略网络结构改完只是第一步训练策略跟不上再好的结构也发挥不出效果。针对航拍小目标有几个关键调优点一定要做。重新聚类锚框原生YOLO的锚框是基于COCO数据集聚类的COCO目标普遍偏大完全不适合航拍小目标。一定要用自己的数据集重新聚类锚框不然小目标的锚框匹配率会很低定位损失居高不下网络很难收敛。我一般用k-means聚类对应4个检测层生成12个锚框。聚类完之后小目标的锚框匹配率能从30%多提升到60%以上对定位精度的提升非常明显。针对性数据增强普通的Mosaic、翻转、旋转对小目标帮助有限甚至可能因为裁剪把小目标切没了。针对航拍场景重点用这几种增强Copy-Paste把小目标复制粘贴到对应语义的背景里大幅提升小目标样本数量实测对小目标AP提升最显著随机裁剪放大随机裁剪局部区域并放大模拟不同飞行高度的视角增加小目标的尺度多样性光照与噪声增强模拟不同天气、光照条件下的画面提升模型泛化能力。注意Mosaic增强的比例不要开太高0.5左右就够了太高的话很多小目标会被切到画面边缘反而不利于特征学习。损失函数加权小目标像素少损失占比天然就低网络会更倾向于优化大目标。可以在分类和回归损失里给小目标加上动态权重根据目标面积大小调整面积越小权重越高。我一般用SIoU替换CIoU作为回归损失同时对小于32×32的目标乘以1.5的损失权重引导网络更多关注小目标。权重不要设太高不然会导致大目标精度下降。超参调整学习率不要设太高小目标特征弱学习率太高容易震荡。初始学习率设为0.001预热3轮后续用余弦退火衰减。权重衰减可以稍微大一点0.0005左右缓解小目标场景容易过拟合的问题。五、实验效果与消融分析我用自建的电力巡检航拍数据集做了完整的消融实验数据集包含12000张图片目标以杆塔螺栓、绝缘子帽这类小目标为主小目标占比超过60%。基础模型为YOLOv8s输入尺寸640×640。优化方案mAP0.5小目标APFPS原生YOLOv8s72.3%27.6%122仅加CA注意力75.1%33.2%118仅加P2多尺度层76.8%38.5%86CAP2加权融合79.7%42.3%82全套方案调优策略80.5%44.1%81可以看到单独加注意力或者单独加多尺度层都有涨点但两者结合之后增益更明显。再配合训练策略优化最终小目标AP提升了16.5个点整体mAP涨了8.2个点速度下降30%左右对于大多数航拍场景来说完全可以接受。如果对速度要求更高可以用深度可分离卷积优化P2层再做INT8量化速度能回到100FPS左右精度损失不到1个点性价比很高。六、踩坑与问题排查这套方案我前后调了一个多月踩了不少坑这里列几个最常见的大家可以直接避开。注意力加太多导致过拟合不要在每一层都加注意力尤其是深层网络。骨干网络只在P2、P3、P4层加就够了P5层加了反而容易引入噪声出现训练集精度很高、验证集掉点的情况。新增P2层后显存爆炸640输入下加P2层显存占用会增加30%左右。如果显存不够可以降低输入尺寸到512或者减少P2层的通道数精度损失很小显存能省不少。Copy-Paste增强导致误检增加粘贴目标的时候要符合场景逻辑比如车辆贴在路面上不要贴在植被或者天空区域。不然模型会学到错误的上下文关系导致误检暴增。小目标涨了大目标掉点这是非常常见的平衡问题。不要把小目标的损失权重设太高同时保证深层特征的正常传递不要为了小目标过度牺牲大目标的语义信息。可以分阶段训练先训整体再微调小目标权重。七、总结航拍小目标检测是个系统性工程不是改一个模块就能一劳永逸的。注意力机制负责特征增强、抑制背景多尺度融合负责保留细节、提升小目标特征丰富度再配合针对性的训练策略才能实现比较理想的涨点效果。这套思路不止适用于YOLOv8v5、v10、v11都可以用同样的逻辑改造核心原理是相通的。如果你的数据集小目标占比特别高还可以进一步尝试小目标专用检测头或者结合轻量Transformer做长距离依赖建模不过那就是更深度的优化方向了。最后提一句所有涨点技巧都建立在数据质量的基础上。先把小目标的标注精度做好比改十个网络结构都管用。