Temporal Cues CVPR 2025
文章目录1 论文信息2 论文主要贡献3 论文创新点4 方法4.1 整体框架4.2 具体模块1正反向伪标签生成与集成22D–3D Hungarian Matching 伪标签筛选33D 跟踪与标签传播4目标查询条件化的掩码重建1 论文信息论文题目Leveraging Temporal Cues for Semi-Supervised Multi-View 3D Object Detection论文作者Jinhyung Park、Navyata Sanghvi、Hiroki Adachi、Yoshihisa Shibata、Shawn Hunt、Shinya Tanaka、Hironobu Fujiyoshi、Kris Kitani发表单位Carnegie Mellon University、DENSO Corporation、DENSO International America, Inc.发表会议期刊CVPR 2025pp. 27401–27412论文链接CVF 论文页面正文 PDF官方补充材料 ZIP含 supplementary.pdf代码链接截至 2026-10-17检索论文页面、作者主页及 GitHub未找到可核实的官方完整代码仓库。相关代码为 StreamPETR本文的基础检测器和 CenterPoint本文参考其 3D 检测关联与跟踪思路两者均不是本文四模块半监督框架的完整实现。2 论文主要贡献本文面向标注稀缺条件下的时序多视角纯视觉 3D 检测重点解决无标注视频难以提供可靠训练监督的问题一是伪标签的 3D 定位不准确且车前、车后目标存在定位质量不对称二是单纯依赖检测置信度筛选容易丢弃有效检测遮挡、远距离等情况又会造成漏检和跨帧标签不连续三是无标注图像中的信息未被充分利用而直接加入图像重建任务可能与检测目标产生冲突。论文通过提高伪标签质量并改善无标注数据的特征学习提升少量标注条件下的 3D 检测性能。3 论文创新点正反向伪标签生成与集成Forward-Backward Pseudo-Labeling训练同一个检测器处理正向和反向序列离线制标时结合两种时间方向的预测车前区域采用反向预测车后区域采用正向预测利用更充分的时序观察改善 3D 定位。2D–3D 匈牙利匹配2D–3D Hungarian Matching将 3D 检测框投影到图像与同一模型辅助 2D 检测头的预测进行匹配综合 Focal Loss、GIoU 和 2D 框参数差异构建匹配代价并据此筛选伪标签保留部分低置信度但具有良好 2D–3D 一致性的检测。3D 跟踪与标签传播3D Tracking and Label Propagation通过基于距离的贪心关联建立轨迹使用目标中心位移的 EMA 平滑轨迹速度并将历史轨迹和当前检测分别移动到半时间步位置进行匹配再利用轨迹传播补充缺失检测提高伪标签的时间连续性。目标查询条件化的掩码重建Object Query-Conditioned Masked Reconstruction让遮挡图像的特征通过交叉注意力读取时序检测头输出的目标查询再完成 RGB 重建使重建损失能够直接影响时序检测头促使目标查询保留当前及历史场景信息缓解独立重建任务与检测任务之间的冲突。4 方法4.1 整体框架基础模型为 StreamPETRCNN 提取当前多相机图像特征时序 DETR 结合历史目标查询、自车运动、目标速度和时间差更新查询再预测 3D 框。历史信息主要通过目标查询递归传递。第一阶段在少量有标注序列上训练检测器至收敛训练时同时采样正向和反向序列使同一个共享权重的模型适应两种时间方向。随后使用模型参数的 EMA 版本对无标注序列离线执行“正反向预测与集成 → 2D–3D 匹配筛选 → 3D 跟踪与标签传播”生成供下一阶段使用的伪标签。第二阶段继续训练原网络等量采样有标注和无标注数据分别使用真实标签和离线伪标签监督并联合优化检测与掩码重建任务这里的模型参数 EMA与跟踪模块中的轨迹速度 EMA是两个不同操作。图 2 本文提出的半监督学习框架我们观察到时序 3D 目标检测器对车辆前方目标的检测效果始终弱于对后方目标的检测。对此我们提出让时序 3D 检测器同时在正向行驶序列、以及时间反转的反向行驶 RGB 序列上进行联合训练。生成伪标签时我们对无标注数据的前向与后向预测结果进行融合利用 2D-3D 匈牙利匹配得到一组精度更高、且与 2D 检测结果一致的预测集合再执行 3D 目标跟踪与标签传播。更多细节详见正文。4.2 具体模块1正反向伪标签生成与集成正常向前行驶时已经位于车后的目标往往被连续观察得更久时序模型积累了更充分的多视角信息因此车后目标的 3D 定位通常优于车前目标。倒序处理同一段视频后原本车前的目标也能获得更多时间上下文。本文先训练一个能处理正反序的模型再分别正向、反向推理无标注序列车前区域选反向预测车后区域选正向预测并非简单平均两次预测的框。22D–3D Hungarian Matching 伪标签筛选同一模型的辅助 2D 检测头其 2D 定位通常比 3D 框投影后的结果更可靠。本文将候选 3D 框投影到图像与辅助头输出的 2D 框进行匈牙利匹配代价综合Focal Loss、GIoU 和 2D 框参数差异再按匹配代价筛选 3D 伪标签。Focal 项用于类别一致性另外两项衡量投影框与 2D 框的几何一致性因此一部分 3D 置信度低但匹配良好的检测也能保留。这里的框参数差异发生在投影后的 2D 空间不是直接比较 2D 参数与 3D 参数。下式仅将正文描述写成示意形式其中 r 是辅助头的 2D 框s 是 3D 框的 2D 投影C i j a L f o c a l , i j b L G I o U ( r i , s j ) c D b o x ( r i , s j ) C_{ij}a L_{focal,ij}b L_{GIoU}(r_i,s_j)c D_{box}(r_i,s_j)CijaLfocal,ijbLGIoU(ri,sj)cDbox(ri,sj)图 3 经匈牙利匹配后保留的 3D 检测置信度分布直方图2D-3D 匈牙利匹配机制保留了大量置信度较低、但定位准确的 3D 检测结果如果采用传统的 0.4 伪标签置信度阈值筛选这些检测结果会被直接丢弃。33D 跟踪与标签传播本文使用参考 CenterPoint 的多目标、基于距离的贪心关联将相邻帧的 3D 检测组成轨迹。由于相机检测器的逐帧速度预测较不稳定轨迹速度由已关联检测的中心位置变化计算并通过 EMA 平滑。匹配时将上一时刻轨迹按轨迹速度向前移动半个时间步将当前检测按检测器预测速度向后移动半个时间步在中间时刻比较距离从而减轻初始速度和速度噪声的影响。速度更新可以用下面的示意式理解p 表示轨迹中已关联检测的中心h 表示时间间隔a 表示平滑系数v t a v t − 1 ( 1 − a ) ( p t − p t − 1 ) / h v_ta v_{t-1}(1-a)(p_t-p_{t-1})/hvtavt−1(1−a)(pt−pt−1)/h半时间步匹配的距离可示意为d i j ∥ ( p i t r a c k v i t r a c k h / 2 ) − ( p j d e t − v j d e t h / 2 ) ∥ 2 d_{ij}\left\|(p_i^{track}v_i^{track}h/2)-(p_j^{det}-v_j^{det}h/2)\right\|_2dij(pitrackvitrackh/2)−(pjdet−vjdeth/2)2以上是对文字方法的解释性表达不是论文给出的原始公式实际比较的位置必须处于可比坐标系。轨迹关联解决“前后两帧是否为同一个目标”标签传播则根据轨迹和运动信息为漏检时刻补充候选框并写入伪标签。本文明确将跟踪用于补全缺失检测所以不仅仅是判断哪里断轨但完成关联也不等于已经定义好每个漏检帧的完整训练标签。正文与补充材料没有完整交代漏检时如何更新框的尺寸、朝向、类别与分数也没有给出速度 EMA 系数、允许传播时长及全部轨迹管理规则。因此“尺寸保持不变”“朝向插值”“连续补固定帧数”等只能作为自行复现的选择不能写成论文结论。本文也没有声称采用 ByteTrack 或 OC-SORTCenterPoint 在这里是 3D 跟踪思路的参考不代表需要用其点云检测器替换相机模型。4目标查询条件化的掩码重建为直接从无标注图像中学习本文随机遮挡图像块让网络重建被遮挡区域。直接增加独立 MAE 重建头会与检测任务产生冲突因此本文让重建特征通过交叉注意力读取时序 DETR 输出的目标查询。先对遮挡图像再次提取特征再以图像特征作为 Query、目标查询作为 Key 和 Value 进行更新正文 §3.5f t m a s k C N N ( M ⊙ I t ) f_t^{mask}CNN(M\odot I_t)ftmaskCNN(M⊙It)f ~ t m a s k T r a n s f o r m e r D e c o d e r ( f t m a s k , q t , q t ) \tilde{f}_t^{mask}TransformerDecoder(f_t^{mask},q_t,q_t)f~tmaskTransformerDecoder(ftmask,qt,qt)I 表示当前图像M 表示保留可见区域的掩码q 表示检测分支输出的目标查询第二式先进行图像特征自注意力再从目标查询读取信息。目标查询包含当前及历史场景信息既能帮助重建重建损失也能反向更新时序检测头促使查询保留有助于检测的场景信息。补充材料 §C.1 明确使用30% 遮挡、两层 Transformer Decoder以及针对遮挡块的标准化像素 L2 重建损失并沿用 SparK 预训练的 ConvNeXt-S 骨干与重建解码器。它重建的是 RGB 图像不是直接重建或生成漏检目标的 3D 框。