（论文速读）SSLA：让线性注意力在空间上稀疏，实现微秒级事件目标检测

论文题目Low-latency Event-based Object Detection with Spatially-Sparse Linear Attention基于空间稀疏线性注意力的低延迟事件目标检测会议ECCV 2026摘要事件相机提供具有空间稀疏性和高时间分辨率的序列视觉数据因此非常适合低延迟目标检测。现有异步事件神经网络通过逐事件更新预测来利用这种低延迟优势但仍面临两个瓶颈循环架构难以在长序列上高效训练而提高准确率通常会增加每事件计算量和延迟。线性注意力能够并行训练并进行循环推理因此很有吸引力。然而其密集状态更新使每事件计算量随状态大小增长导致目标检测中的精度—效率权衡较差因为精确定位需要细粒度空间状态。因此关键挑战是在保留高效并行训练的同时引入能够利用事件空间稀疏性的稀疏状态激活。本文提出空间稀疏线性注意力Spatially-Sparse Linear AttentionSSLA通过空间混合Mixture-of-Spaces状态分解和 Scatter-Compute-Gather 训练过程同时实现状态级稀疏性与训练并行性。在此基础上作者开发了端到端异步线性注意力模型 SSLA-Det用于低延迟事件目标检测。在 Gen1 和 N-Caltech101 上SSLA-Det 分别取得 0.375 和 0.515 mAP达到异步方法中的最先进准确率同时相对此前最强的异步基线将每事件计算量减少超过 20 倍展现出线性注意力在低延迟事件视觉中的潜力。源码GitHub - haohq19/ssla: [ECCV 2026] Low-Latency Event-Based Object Detection with Spatially-Sparse Linear Attention · GitHub一、研究背景与核心问题1.1 为什么事件相机需要真正的“逐事件”检测传统相机输出完整图像帧网络通常在积累一帧数据后统一推理事件相机则仅在像素亮度发生变化时产生事件每个事件携带位置、时间戳和极性。它天然具有时间分辨率高、空间激活稀疏的特点适合自动驾驶、无人机避障等对响应速度敏感的任务。但是事件数据来得快不代表网络响应就快。如果把许多事件先堆成图像再进行密集推理模型就难以充分发挥事件相机的异步优势。真正的低延迟路线是每来一个事件只更新它影响到的状态和预测而不是重新计算整个空间。1.2 两个矛盾长序列训练与细粒度状态开销传统异步模型常采用循环结构可以单事件更新却难以充分并行训练长序列。线性注意力具有“训练时并行、推理时递推”的优点但标准形式通常在新事件到来时更新一个全局状态。对于分类小状态可能足够对于检测要区分“物体在哪里”就需要更细的空间表征全局状态变大后每事件计算也随之增加。论文 Figure 1异步事件检测流程与 Gen1 上的 mAP—每事件 FLOPs 对比Figure 1 的横轴是每个新事件的计算量而不是实际运行延迟。SSLA 系列位于较好的精度—计算量折中位置图中带星号的方法报告的是 AP50不应与 mAP 直接混为同一指标。文章真正解决的是如何拥有大量细粒度空间状态却只为当前事件更新其中很少一部分二、SSLA-Det 整体框架论文 Figure 3四阶段异步 Backbone、SSLA 层与改造后的 YOLOX 检测头SSLA-Det 的整体流程为原始事件 → 四阶段异步 Backbone → 空间表征的局部更新 → 异步 YOLOX Head → 检测预测。Backbone 每个阶段含两层 SSLA阶段间的特征维度依次扩大前三个阶段还包含 Sparse Pooling 和 Temporal Dropout用于控制事件序列规模第四阶段只保留 SSLA 层。残差连接与 LayerNorm 用于稳定训练。每个原始事件可写成eᵢ (xᵢ, tᵢ, pᵢ)其中 xᵢ 是二维坐标tᵢ 是时间戳pᵢ ∈ {−1,1} 是极性。网络的输入嵌入采用[pᵢ, Δtᵢ]处理后仅把事件对应位置的输出写入空间表征 R[xᵢ]。作者将 YOLOX 检测头中的卷积修改为 1×1 卷积使新事件只更新相关位置的预测从而让检测头也遵守异步更新机制。需要强调SSLA 是时序特征处理模块SSLA-Det 才是完整的事件检测器。前者负责高效维护历史状态后者再将其组织为可用于目标框预测的空间表示。三、SSLA空间混合状态与位置感知3.1 从一个全局状态变成多个局部状态论文采用的“线性注意力”是广义概念包含可并行训练的线性 RNN、状态空间模型SSM等不局限于某一种 Transformer 注意力实现。其递推形式可概括为这里 zᵢ 是当前事件嵌入Sᵢ 是历史状态g 控制保留多少过去信息φ 注入当前信息ρ 生成输出。这个形式可以通过并行扫描等方式加速训练但若 S 是庞大的全局空间状态每个事件的更新代价就很高。论文 Figure 2(a) 空间混合状态分解(b) 位置感知投影(c) Scatter-Compute-Gather 并行训练SSLA 的第一步是Mixture-of-SpacesMOS空间混合使用大小为 P×P、步长为 1 的重叠滑动窗口把空间域划成许多 Patch每个 Patch 维护独立的子状态但各 Patch共享同一套线性注意力参数。位置为 xᵢ 的事件只激活覆盖该位置的 Patch 集合Kᵢ {k | xᵢ ∈ Rₖ}。通过边界填充每个事件固定激活 A P² 个子状态默认 P3即一次仅更新 9 个子状态而非全部空间状态。这种设计的关键不是把整个模型状态缩小而是允许保留大量局部状态同时将单事件计算限制在固定数量的状态上。各 Patch 的输出最终合并回当前事件的一个输出嵌入序列长度不增长避免稀疏激活在网络深层逐渐扩张。3.2 PAP同一事件在不同 Patch 内的位置并不相同一个事件可能同时属于多个重叠 Patch。若对所有 Patch 使用完全相同的输入嵌入网络无法区分该事件位于 Patch 的左上角还是中央。作者因此设计位置感知投影Position-Aware ProjectionPAP根据事件在每个 Patch 内的相对坐标δᵢ,ₖ xᵢ − cₖ选择相应的可学习变换输入端的 PAP 先为不同 Patch 注入不同的相对位置语义输出端的 PAP 再将各子状态结果映射并求和。直观理解MOS 负责让状态“分布在空间中”PAP 负责让网络知道事件位于局部空间的什么位置。对目标检测而言后者直接关系到目标边界与定位信息能否被保留。四、Scatter-Compute-Gather稀疏更新如何还能并行训练MOS 看起来与逐事件递推非常匹配但直接按事件顺序逐个更新 Patch又会失去长序列并行训练的优势。作者提出Scatter → Compute → Gather在不改变因果顺序的前提下重新组织计算。Scatter根据预先计算的坐标查找表将每个事件复制到覆盖它的 A 个 Patch 中再按照 Patch 编号进行稳定排序。这样原始 L 个事件被组织为总长度 AL 的多个 Patch 子序列且每个 Patch 内仍保留事件时间顺序。Compute每个 Patch 的状态独立Patch 之间可以并行Patch 内的线性注意力又可以利用其并行扫描能力。也就是说空间维度和时间维度都能利用训练时的并行性。Gather按缓存的逆排列恢复原始事件顺序对同一事件的多个 Patch 输出执行 PAP 并聚合最终得到长度仍为 L 的输出序列。论文 Algorithm 1SSLA 训练伪代码重点看稳定排序、Patch 内计算以及逆排列聚合推理阶段不必重新处理整段序列。对于新到来的事件按坐标只访问对应的 P² 个子状态执行递推更新并得到预测。论文给出的单事件计算复杂度是O(P²D²)D 为特征维度不随图像分辨率直接增长但整体空间状态的存储规模仍与 Patch 数量有关。因此这里的“低开销”准确地说是每事件更新开销低而不是整个模型没有空间存储成本。五、实验结果与消融分析5.1 两个数据集异步准确率与每事件开销论文 Table 1Gen1 上同步与异步事件检测方法的 mAP、AP50 和 MFLOPS/evGen1 是车载事件检测数据集含车辆和行人两类。对异步方法SSLA-L 取得0.375 mAP、0.724 MFLOPS/ev而此前最强的异步基线 DAGr-L 为 0.321 mAP、17.4 MFLOPS/ev。也就是说mAP 提高 0.054每事件理论计算量约降低24 倍。更小的 SSLA-S 以 0.102 MFLOPS/ev 获得 0.334 mAP相比 DAGr-L 的计算量约降低171 倍。但 Table 1 同时表明同步检测器仍可达到超过 0.5 的 mAP。本文结论是异步检测的精度—效率前沿得到改善而不是所有检测范式中的准确率第一。表中部分旧方法只报告 AP50作者特意将 AP50 与 mAP 分列避免不公平对比。论文 Table 2N-Caltech101 上异步检测方法的精度与每事件计算量N-Caltech101 包含 101 类物体SSLA-L 达到0.515 mAP、0.743 AP50单事件计算量仅 0.926 MFLOPS。与 DAGr-L 的 0.732 AP50、18.9 MFLOPS/ev 相比AP50 高 1.1 个百分点计算量约降低 20 倍。这里要特别区分0.515 是 mAP0.743 才是 AP50两个数字代表不同阈值体系下的检测指标。5.2 训练效率和真实推理延迟论文 Table 3与 LSTM 的每 Epoch 训练时间、精度、参数量和计算量对比在 4 张 A800 GPU 上SSLA-B 每 Epoch 用时0.28 小时而计算量相近的 LSTM 基线为 1.05 小时训练速度约提升3.8 倍两者 mAP 分别为 0.351 与 0.353基本相当。SSLA-S 的单 Epoch 时间仅 0.25 小时但精度降至 0.334不能只报最快训练速度而忽视模型容量差异。这组实验支持的是并行友好的线性注意力能以接近的识别能力显著缩短训练。论文 Table 4在单核 AMD Ryzen 9 9950X3D CPU 上的逐事件循环推理延迟真实时间测试中Gen1 上 SSLA-B 每事件延迟2.44 μsSSLA-L 为 7.20 μsN-Caltech101 上对应为 2.61 μs 和 8.01 μs均低于 10 μs。作者还指出小模型不一定更快因为内存访问与向量化效率也影响实际运行时间。因此20 倍以上的 FLOPs 优势不可直接等同于延迟加速 20 倍这些微秒数也只是模型处理新事件的测量值不是含相机传输和整套系统的端到端延迟。5.3 效率归因究竟是哪一部分节省了计算论文 Table 5分别移除 Temporal DropoutTD、SSLA 稀疏更新和 Sparse PoolingSP的实验基线 SSLA-S 仅需 0.102 MFLOPS/ev验证集 mAP 为 0.335。去掉 TD 后计算量升至 1.02mAP 提升到 0.370说明 TD 主要是在精度和计算量之间做权衡。在无 TD 的基础上再把 SSLA 改成密集更新计算量跃升至388 MFLOPS/ev但 mAP 仍是 0.370说明状态级空间稀疏才是最主要的计算节省来源仅此对照就减少约 380 倍计算。相反去掉 SP 后计算量不变mAP 却跌至 0.014体现了空间层级组织对检测的必要性。5.4 空间状态、PAP 与 Patch 大小为什么重要论文 Table 6SSLA 与标准线性注意力的空间状态规模和检测效果在接近的每事件 FLOPs 下标准线性注意力的 mAP 仅0.001SSLA-S 则为 0.335。特别是与 36 维的标准 LA 相比SSLA 最后一层的状态规模约大380 倍但每事件 FLOPs 接近。它证明本文不是简单牺牲状态容量来换速度而是让大状态只发生局部更新为细粒度定位留下足够的空间信息。论文 Table 7输入端和输出端 PAP 的独立消融同时使用两端 PAP 时 mAP 为 0.335仅保留输入 PAP 降至 0.306仅保留输出 PAP 降至 0.224两端都移除时仅剩0.014。这说明 PAP 不是一个可有可无的位置编码修饰而是让重叠子状态承载可区分空间信息的关键。论文 Table 8P2、3、4 时的精度与每事件 FLOPsP2 的 mAP 为 0.200、计算量 0.047 MFLOPS/evP4 提升到 0.371 mAP但开销增至 0.179。论文最终选择P30.335 mAP、0.102 MFLOPS/ev原因不是其精度最高而是在计算量、训练时间、显存和定位能力之间更均衡。5.5 定性结果与失败场景论文 Figure 4Gen1 的车辆、行人检测结果及典型失败案例Figure 4 中绿色框是真值橙色框是预测。前两组展示车辆和行人的识别效果最后一组更值得看有些漏检来自目标与相机之间缺乏相对运动导致事件本身不足另一些看似误报的结果则与标注缺失有关。也就是说即使模型具备高效的空间状态机制事件生成条件和数据集标注质量仍然会限制检测性能。六、总结与思考如果把这篇论文压缩成一句话SSLA 把标准线性注意力的“大而密集的全局状态更新”改成“重叠空间子状态的局部更新”又借助 Scatter-Compute-Gather 保住长序列并行训练能力。其核心设计可以按职责理解MOS 决定更新哪里PAP 决定如何表达局部位置Scatter-Compute-Gather 决定怎样高效训练SSLA-Det 则通过异步 Backbone 和 1×1 检测头把它落实到逐事件目标检测。实验中的空间稀疏消融、PAP 消融、训练计时与真实 CPU 延迟共同支撑了这条技术路线。论文也明确承认异步模型与同步模型仍有准确率差距同步方法可以积累更多事件、使用更大的网络及预训练权重代价则是更高计算量和毫秒级处理延迟。从工程角度看SSLA 更适合把响应时延放在首位的场景它并不保证在所有任务中替代同步检测。未来值得继续探索的是在保持微秒级事件更新的同时提升精度以及将事件流与常规图像特征进行融合。