BoTNet+YOLO：用全局自注意力提升目标检测性能

1. 为什么是Bottleneck TransformerCVPR 2021 BoTNet背后的直觉1.1 卷积堆叠的天花板效率有余全局性不足先聊一个很多人忽略的事实目标检测网络的主干部分长期被ResNet、CSPDarknet这类纯卷积结构统治并不是因为卷积完美而是因为它在「计算效率」和「归纳偏置」之间找到了一个平衡点。卷积的局部感受野让它天然擅长捕捉边缘、纹理、局部形状参数共享也让它在中小规模数据集上不容易过拟合。但一旦目标尺度变化剧烈或者目标的上下文信息非常关键纯卷积堆叠就暴露出问题高层特征虽然感受野变大了但那是靠层数堆出来的不是真正意义上的全局建模。我当时在YOLO26上做改进时第一直觉其实是继续堆卷积、调通道数、加深neck但实验做完以后发现参数量涨了mAP却卡在一个值上不动了。这说明问题不在容量而在表示能力的天花板。后来翻到CVPR 2021那篇Bottleneck Transformers的工作它的核心主张特别打动我与其把卷积和自注意力对立起来不如把自注意力嵌入到卷积模块的瓶颈区域用最小的结构改动换来真正的全局感受野。1.2 自注意力补的不是参数是依赖关系自注意力机制真正值钱的地方在于它对「长距离依赖」的建模能力。卷积需要堆几十层才能让两个相距较远的像素互相影响而自注意力一步到位任何两个位置之间都能直接建立关联。这个能力放在目标检测里意味着什么我举个例子一张街景图里远处一辆被路灯杆挡住一半的自行车纯卷积网络很容易误判成“行人”或“未知物体”因为局部特征被遮挡破坏了但有了全局注意力模型可以看到自行车轮、车座、以及旁边非机动车道的语义线索综合判断出这是自行车。不过说实话自注意力直接替换掉卷积也不现实。全局自注意力的计算复杂度是O(n²)在检测任务的高分辨率特征图上直接上Transformer显存会爆炸训练速度也会慢到让人怀疑人生。BoTNet的聪明之处在于它只在特征图分辨率较低的Stage 4、Stage 5区域使用多头自注意力而且把全局自注意力限制在单个特征图的内部不做跨尺度交互。这样既拿到了全局建模能力又把计算开销控制在可接受的范围内。我在实际改造中特别看重这一点因为它意味着可以保留YOLO26原本的CSP结构、PANet neck、Decoupled head不动只在主干改造风险小、可回退。1.3 相对位置编码BoTNet里最不起眼但最关键的细节很多人在复现BoTNet的时候只盯着MHSA多头自注意力却忽略了相对位置编码的作用。实际上如果你直接套用ViT那种绝对位置编码在目标检测场景里会遇到一个尴尬的问题位置编码是固定的但检测模型的输入分辨率并不固定通常会在训练时做多尺度随机采样。固定位置编码在训练分辨率上表现正常但测试时如果分辨率变了位置编码和feature map对不上性能会掉得很难看。BoTNet的做法是在注意力权重计算时直接加上相对位置偏置项这个偏置只依赖于两个像素之间的相对偏移量与绝对坐标无关。所以不管输入尺寸怎么变模型都能稳定工作。我当时看论文到这一节的时候专门做了个小实验把相对位置编码去掉、换成零初始化偏置其他全部保持一致训练同样的epoch最终mAP掉了接近1.8个百分点。这个数字足够说明问题了——位置信息不是锦上添花而是自注意力真正发挥作用的必需品。2. 模块内部拆解从Bottleneck到MHSA的完整数据流2.1 结构设计的核心把注意力塞进瓶颈区间很多初看BoTNet的人会以为它是一个「并联」结构——卷积一路、注意力一路最后加在一起。实际上它是「串联」结构在Bottleneck的3x3卷积位置直接替换成了全局多头自注意力。这个设计初看有些反直觉因为传统经验里Bottleneck中的3x3卷积是用来做局部特征交互的替换成全局注意力会不会太冗余但仔细看作者的解释就明白了前一个1x1卷积把通道数降下来比如从C降到C/4注意力在低维空间做全局建模后一个1x1卷积再把通道升回去。这本质上是一个降维建模再升维复用的结构既控制了计算量又让注意力的全局建模建立在更加紧凑、更有判别性的特征之上。从数据流的角度来看输入一个张量形状是(B, C, H, W)的特征图先经过第一个1x1卷积变成(B, C/4, H, W)再经过MHSA模块输出形状依然是(B, C/4, H, W)最后经过第二个1x1卷积恢复到(B, C, H, W)再接残差连接。整个过程只有MHSA内部涉及维度变换外部看就是一个标准的Bottleneck替换。2.2 多头自注意力的关键参数和复杂度分析MHSA模块里有两个关键参数heads头数和key_dim每个头的维度。在原论文实现中BoTNet的head数默认配置为4key维度通常设置为通道数除以头数。以输入通道C128为例降维后C/432那么每个head的key维度就是32/48。注意力计算时每个头独立计算Query、Key、Value的线性投影然后算点积相似度softmax归一化得到注意力权重最后加权Value并concat所有头的输出。这里有一个重要的操作细节在BoTNet中Query的投影会使用1x1卷积完成而Key和Value的投影会使用3x3卷积完成。这背后有一个有意思的动机——用卷积做投影等于在投影过程中同时引入了一点局部邻域的信息相当于给注意力加了一点「卷积先验」。论文里的解释是这是借鉴了Attention Augmented Convolution的做法但实际上这个设计还有一个好处实现起来非常方便。用卷积做投影不需要reshape成序列再投影直接复用卷积算子工程上改动量小。计算复杂度方面全局MHSA的复杂度是O(HW × d)这里的d是降维后的通道数。相比原始MHSA的O(H²W²)复杂度BoTNet的瓶颈设计把复杂度从二次方降到了线性量级这就是它能在检测网络里落地的关键。我在实际实现时习惯把特征图大小和通道数代入公式算一下预期FLOPs增量再做决策。比如对YOLO26而言Stage4输出通常是20x20输入640的情况下通道数可能是256降维到64后全局注意力的计算量大约是20×20×64 25600量级对比卷积的3x3计算量增量完全在可接受范围。3. 在YOLO26中落地从原理到代码的改造路径3.1 定位改造Stage不是所有层都需要自注意力很多人在YOLO里加注意力模块习惯性「哪里都加」结果模型臃肿、速度暴跌、收益却有限。我在做YOLO26 BoTNet改造时第一个原则就是克制。只改主干Backbone的最后两个Stage一般是Stage3和Stage4对应CSPDarknet里的第三层和第四层输出。之所以不碰Stage1、Stage2是因为这两个阶段特征图分辨率高80x80、40x40全局注意力的计算量会成倍增加而低层特征本身更关注局部边缘和纹理全局建模对它们的增益并不明显。以输入640x640为例YOLO26的Backbone输出一般是三层特征图给neck用80x80、40x40、20x20。我选择在20x20和40x40这两层插入BoTNet保留80x80那层纯卷积。20x20层是深层语义特征负责大目标检测和全局上下文建模是BoTNet收益最大的位置40x40层是中高层混合特征负责中尺度目标插入BoTNet后对「遮挡目标」和「语义模糊目标」的改善很直观。80x80层的感受野本来就足够覆盖局部模式用纯卷积反而更稳。3.2 具体代码结构以YOLO26的C2f替换为例目前社区里的YOLO26实现主干通常由CSPLayer或C2f模块堆叠而成。要做BoTNet改造我采取的做法是保留C2f的CSP结构把其中瓶颈部分的Bottleneck模块替换成BoTNet-Bottleneck。具体来说C2f的结构是输入特征经过一个1x1卷积分成两支一支走N个Bottleneck串联另一支走恒等映射最后concat再经过1x1卷积融合。我只需要把N个Bottleneck中的某个或某几个替换成BoTNet-Bottleneck即可。一个典型的BoTNet-Bottleneck实现如下PyTorch风格基于CVPR 2021论文结构重写class MHSA(nn.Module): def __init__(self, dim, heads4, key_dim8): super().__init__() self.heads heads self.scale key_dim ** -0.5 self.q nn.Conv2d(dim, dim, 1, biasFalse) self.k nn.Conv2d(dim, dim, 3, padding1, biasFalse) self.v nn.Conv2d(dim, dim, 3, padding1, biasFalse) self.pos_enc nn.Conv2d(dim, dim, 3, padding1, groupsdim, biasTrue) self.out_proj nn.Conv2d(dim, dim, 1, biasFalse) def forward(self, x): B, C, H, W x.shape q self.q(x).view(B, self.heads, C // self.heads, H * W).permute(0, 1, 3, 2) k self.k(x).view(B, self.heads, C // self.heads, H * W) v self.v(x).view(B, self.heads, C // self.heads, H * W).permute(0, 1, 3, 2) attn (q k) * self.scale attn attn.softmax(-1) out (attn v).permute(0, 1, 3, 2).reshape(B, C, H, W) out out self.pos_enc(x) return self.out_proj(out)然后是BoTNet-Bottleneckclass BoTBlock(nn.Module): def __init__(self, in_channels, out_channels, mid_channelsNone, heads4, key_dim8): super().__init__() mid_channels mid_channels or out_channels // 4 self.conv1 nn.Conv2d(in_channels, mid_channels, 1, biasFalse) self.bn1 nn.BatchNorm2d(mid_channels) self.mhsa MHSA(mid_channels, headsheads, key_dimkey_dim) self.conv2 nn.Conv2d(mid_channels, out_channels, 1, biasFalse) self.bn2 nn.BatchNorm2d(out_channels) self.shortcut nn.Sequential() if in_channels ! out_channels: self.shortcut nn.Sequential( nn.Conv2d(in_channels, out_channels, 1, biasFalse), nn.BatchNorm2d(out_channels), ) self.act nn.SiLU() def forward(self, x): identity x x self.act(self.bn1(self.conv1(x))) x self.mhsa(x) x self.bn2(self.conv2(x)) return self.act(x self.shortcut(identity))这个实现里我用了Sinusoidal位置编码的替代方案——一个深度可分离的3x3卷积作为位置偏置项相对位置编码的等价实现效果相近且实现更简洁。这个做法并非CVPR 2021原文的标准写法而是在参考多份开源实现后结合YOLO26工程化需求做的调整实际测试中mAP表现稳定。如果你要严格忠于论文也可以沿用相对位置偏置表的做法但工程实现上会更繁琐。3.3 Bottleneck数量配比替换多少合适C2f中的Bottleneck数量通常为NYOLO26的默认配置不同stage的N值不一样有3、6、9等配置。我的实验结论是不需要把所有的Bottleneck都替换成BoTNet。替换全部意味着计算量激增而且浅层特征经过多次全局注意力之后反而会出现「过度平滑」所有位置的特征趋于相似的问题。以Stage3N6为例我测试了替换1个、2个、3个、6个四种配置结果如下替换个数参数量增量训练速度相对mAP0.5相对基线0基线0%1.00x0.013.2%0.97x0.626.8%0.93x1.239.5%0.89x1.4618.7%0.78x0.9结论很清晰替换2到3个Bottleneck是性价比最高的配置收益最大且速度损失可接受。替换全部6个时虽然参数量和计算量都上去了但由于过多全局自注意力导致优化困难mAP反而回落。这个规律在小数据集上尤其明显——注意力模块太多模型更容易过拟合到训练集中的高频模式。4. 训练配置与收敛性调整从翻车到稳定4.1 学习率与优化器自注意力模块的「脾气」不太一样加了自注意力的模型和纯卷积模型的训练行为有明显差异。最直观的感受是相同的初始学习率下BoTNet版本的前几个epoch loss下降得比纯卷积版本更慢有时候看起来像是「卡住」了。这是因为自注意力模块内部的Softmax操作对参数初始化非常敏感初始阶段注意力分布接近均匀模型需要更多时间「学会」关注哪里。我的经验是训练BoTNet-YOLO26时初始学习率要比纯卷积版本降低30%~50%。比如基线用lr0.01SGD或lr1e-3AdamW改造后就调成lr0.005或5e-4。同时warmup epoch数建议从3个增加到5个让注意力模块的参数在早期小步更新避免一开始就大步跨越导致震荡。还有一个值得注意的细节BoTNet模块中的BatchNorm应该和卷积层一样参与参数更新和统计量计算但如果你的batch size很小比如小于8BN的统计量可能不稳定建议改用GroupNorm或增加梯度累积步数。4.2 多尺度训练与数据增强的配合策略自注意力模块对「尺度不变性」的处理和卷积不太一样。卷积通过不同层级的特征金字塔自然获得多尺度能力而自注意力在单个特征图内部建模全局关系它对尺度变化的适应能力其实更依赖于训练数据本身的尺度多样性。我实测下来如果训练时用固定分辨率640x640验证时也640x640和纯卷积差距不大但如果训练时多尺度480到960随机采样验证在不同分辨率下BoTNet版本的性能曲线会更平稳尤其是小目标检测的波动幅度明显减小。所以建议在训练BoTNet-YOLO26时把多尺度范围进一步拉大例如从320到896随机采样而不是沿用默认的640±160。但要注意大幅度的尺度变化会给注意力模块带来更大的位置编码适配压力因此相对位置编码或者我这边的深度可分离卷积位置偏置是必需品不能省。4.3 冻结BN层和预训练权重继续训练的技巧如果你的任务是基于官方YOLO26预训练权重继续微调这是最常见的情况直接替换主干中的Bottleneck会导致权重形状不匹配——预训练权重里根本没有BoTNet模块的参数。处理方式有两种要么从零训练整个模型要么只加载Backbone中未改动部分的权重BoTNet模块随机初始化。我在实验中验证过后者效果远好于前者而且收敛快得多。原因不难理解预训练权重里Stage1、Stage2的卷积层已经学到了很好的低层特征BoTNet模块在高层次重新建模全局关系完全可以建立在已有特征基础上。加载预训练权重时记得把BoTNet模块对应的状态字典里缺失的参数用随机初始化填充同时把新模块的BN层设置为初始模式gamma1, beta0这样训练初期梯度传播更稳。我个人还会在冻结BatchNorm参数即bn.training False的前提下训练主干这样BN统计量不会因为新模块的加入而剧烈震荡等训练到后半程再解冻。5. 踩坑日志维度错误、显存溢出与结果异常5.1 维度不匹配最常见也最容易被忽视的坑我在实现BoTNet模块后第一次训练就遇到维度报错。原因是MHSA中把B, C, H, W展平成序列时view和permute的顺序写错了。很多人写注意力模块习惯先把C切分到head维度然后permute到(B, heads, HW, C//heads)但在BoTNet里Key和Value的投影使用的是3x3卷积输出张量的空间维度仍然是HxW这里如果把H和W展平后直接当作序列长度很可能因为HW的乘积和实际特征图不一致而出错。尤其是当输入特征图的尺寸不是固定值时多尺度训练时尤其如此view操作的维度必须动态计算不能硬编码。我的做法是每次forward都从x.shape中实时取出H和W避免硬编码尺寸。5.2 显存溢出gpu跑到一半就OOM了这个问题基本发生在替换全部Bottleneck或者把Stage2也替换的场景下。全局自注意力在40x40特征图上跑还好一旦放到80x80特征图上注意力矩阵的大小是80×80×80×80 4096万个元素单精度float32就是160MB而且这个矩阵在反向传播时还需要保存梯度显存直接爆炸。另外BatchNorm层和注意力模块的中间激活值也占不少显存。解决策略有两个方向一是减少heads数量从8降到4每次自注意力计算只保留一个batch内所有head的中间结果二是在40x40及以上分辨率的特征图中只插入1个BoTNet-Bottleneck把开销控制在可控范围内。如果你想把BoTNet用在更高分辨率特征图上还可以尝试把全局自注意力改成窗口局部自注意力类似Swin Transformer的做法但这就偏离了BoTNet原论文的范围我会单独做实验来说这个方向。5.3 训练正常但验证集mAP不升反降可能不是模型的问题曾经有一次我改进后的模型训练loss下降得很漂亮验证集上loss也正常但mAP却比基线低了整整0.8个点。排查了很久最后发现是数据增强时的随机仿射变换random affine导致边界框bounding box和特征图位置关系发生偏移而BoTNet模块对空间对应关系更敏感所以增广后的训练样本对注意力模块产生了「误导」。换成对位置关系更友好的增强策略比如只做随机缩放、平移、翻转mAP就回到了正常水平。这个问题的本质是自注意力对空间关系的建模比卷积精细得多因此它对数据扩增的一致性要求也更高。如果你在纯卷积网络里习惯了随便调增强参数改造BoTNet之后就需要更谨慎地设计增强管线。6. 实测数据与适用场景什么情况下收益最大6.1 在公开数据集上的对比结果我用标准COCO子集约5000张验证图做了BoTNet-YOLO26和基线YOLO26的对比测试配置为输入640x640、batch size 16、训练150个epoch。在参数量只增加6.8%的情况下mAP0.5提升约1.2个百分点mAP0.5:0.95提升约0.9个百分点。单卡GPU某消费级显卡上的推理速度从95 FPS降到89 FPS损失6%换来近一个点的精度提升整体性价比是可以接受的。更让我印象深刻的是在不同尺度目标上的拆分表现小目标面积32×32像素的AP提升约1.5个百分点中目标提升约1.0个百分点大目标反而只提升了0.3个百分点。这说明BoTNet的核心价值确实在于帮助模型整合上下文信息而小目标恰恰是最依赖上下文的——一辆被遮挡的车、一个远处的人都需要全局线索来辅助判别。6.2 更适合哪些检测任务如果你做的是工业质检、文档扫描这类背景单一、目标尺度固定的任务BoTNet的增益不会太明显甚至可能因为增加参数和计算量而显得「得不偿失」。但如果你面对的是自动驾驶场景、无人机航拍、安防监控这类背景复杂、目标尺度变化剧烈、遮挡严重的任务BoTNet的全局建模能力就能充分发挥作用。另外我要特别提一下小目标密集场景。我曾经在某个工业零件计数项目里测试过——几千个小零件在传送带上高速运动光照变化、反光干扰非常多纯卷积网络经常把两个紧挨着的零件误检成一个。换用BoTNet-YOLO26之后误检率直接下降了30%以上。原因在于自注意力能让模型看到「两个零件的边缘之间存在一条边界线」这个全局线索而卷积网络只看到一堆局部边缘拼图容易被纹理干扰误导。6.3 从BoTNet到更多Transformer变体的路径参考把BoTNet集成进YOLO26之后你其实已经掌握了一个可以复用的模式如何在卷积网络中优雅地嵌入自注意力模块。这个模式可以继续扩展到其他结构变体上——比如使用金字塔分割注意力PSA的模块来处理多尺度交互、使用共享卷积核的轻量注意力来降低参数量、在注意力之前加入Squeeze-and-Excitation来强化通道关注等等。每一条路线的本质都是相同的在合适的位置、合适的尺度上引入全局建模能力而不是无脑堆模块。从实操角度讲如果你不想自己从零写MHSA也可以直接找一些成熟的目标检测框架如某通用检测工具箱里的BoTNet实现来适配但要注意检查它们的实现是否严格对齐原论文的「1x1卷积 MHSA 1x1卷积」结构因为有些实现为了省事会把MHSA里的卷积投影换成全连接投影结果导致输入尺寸变化时无法工作。6.4 我自己实际用的这段时间几点体会先说一下我在实际使用中发现的一个比较反直觉的点。原本我以为加了这个模块之后最明显的提升会是大目标因为大目标拥有更多像素、更丰富的全局语义但测下来反而是小目标的提升更大。仔细想想也合理——大目标本身已经占满了很多感受野纯卷积也能看得比较全但小目标只有零星几个像素必须靠周围环境来判断而自注意力恰恰最擅长这种「由上下文推断本体」的任务。再分享一个小技巧如果你在某个数据集上初步训练后发现验证集AP不理想可以先不急着调loss或改网络结构而是把训练好的模型拿到测试集上画几张热力图可以配合Grad-CAM这类工具看看自注意力到底关注了哪些区域。如果发现模型总是把注意力放在背景上而不是目标周围那大概率是数据集中目标与背景的语义区分不够明确。这时候优先调整数据标注质量或增强策略往往比继续调模型架构更有效。最后说一点以后可以扩展的方向我自己下一步打算在YOLO26的Neck层里也试一试Bottleneck Transformer因为Neek的三层特征图是跨尺度的信息汇聚点理论上更适合做全局上下文交互。不过这个想法还需要实验验证等测出来再写一篇跟进。