NeurIPS 2026 | 新加坡国立 FuseAdapt：让多模态融合学会预测缺失信息
传感器缺席，分割如何继续？新加坡国立 FuseAdapt：在冻结骨干的适配路径中融合多模态
unsetunset1. 一句话总结unsetunset
FuseAdapt 面向缺失模态的语义分割，在冻结骨干内交换低秩残差信息，并用缺失模态表征预测增强鲁棒性。在 MCubeS 的全部非空模态组合上，平均 mIoU 达到 52.89。
unsetunset2. 论文信息unsetunset
题目：FuseAdapt: Parameter-Efficient Multimodal Fusion for Semantic Segmentation with Missing Modalities | FuseAdapt：面向缺失模态语义分割的参数高效多模态融合
发表：NeurIPS 2026
作者：Xin Zhang、Robby T. Tan
单位：新加坡国立大学
项目主页：
https://devinxzhang.github.io/FuseAdapt-Page/
unsetunset3. 论文摘要unsetunset
多个传感器可以提供互补的信息，但是独立的编码器会带来较高的成本，而共享编码器又容易偏向于强势模式。FuseAdapt 将融合限制在冻结视觉基础模型的适配路径里，并且利用对被遮掩模式潜在表示的学习来学习跨模态冗余，在三个基准上提高了完整和缺失模式条件下分割的效果。
unsetunset4. 主要创新之处unsetunset
创新点 1：私有的注意力适配、跨模态残差通信
查询与值投影的低秩适配保持模态私有，在前馈网络低秩残差激活之间传递信息，并且按照可用传感器的情况对路由进行归一化。
创新点 2：对某个缺失模态进行预测
预测式模态建模(Predictive Modality Modeling, PMM)可以对指定的缺失传感器做出预测，并且给出具体的训练目标，而一般的输出或者特征融合则没有这么明确。
创新点 3：通过控制实验来验证设计方案及其边界
三个基准以及和骨干、同训练设置相比较的结果都支持了该设计方案；论文还提到部署的成本以及它的脆弱性。
unsetunset5. 方法详解unsetunset
5.1 问题的界定以及整个体系的大致结构
对于同一个场景下的多模态数据进行处理，并且得到的是每一像素对应的类别。论文把模态完整语义分割（Modality-Complete Semantic Segmentation，MCSS）叫做模态完整语义分割，把模态不完整语义分割（Modality-Incomplete Semantic Segmentation，MISS）叫做模态不完整语义分割。各个模态都使用一个固定的视觉基础模型（Vision Foundation Model，VFM）来完成适应和交互的过程，在此之后再把所有模态共享的可见特征送入一个共同的分割解码器中去。
图1.：多模态融合策略比较和MCubeS上各种模式组合后的MCSS结果。
图2.：缺失模态鲁棒性策略三种方法的比较：语义锚点、语义一致性和PMM；右边为DELIVER和MUSES的结果。
图3.：FuseAdapt 整体结构包括冻结骨干中适配空间的融合和教师指导下的缺失模态预测。
5.2 私有注意力适配
低秩适配（Low-Rank Adaptation，LoRA）只对查询、值投影进行更新，而各个传感器各自的修正方向是固定的，键和输出投影则是共享的。
其中表示模态，是输入特征向量，是词元的数量，是隐藏层的维度；是固定参数，是查询和值；、是可以学习到的参数，且。
公式解读：通过两个小矩阵相乘来修正预训练投影，并且去学习传感器之间的差别，在此过程中又对训练参数的数量加以限制。
5.3 前馈低秩残差路由
前馈网络（Feed-Forward Network，FFN）只传递低秩残差激活，固定的稠密变换仍然对接收模态本身起作用。
是非空可见模态集，是词元的位置，是来源模态，是接收模态的路由器，是权重。
公式解读：首先排除掉没有来源的部分，然后把可以看见的部分进行归一化处理；每一个地方都可以用不同的融合系数来表示。
其中是冻结的FFN权重，是从源模态得到的低秩更新；是中间和输出特征，是激活函数，把词元权重广播到通道上。
公式解读：接收流保留自己稠密的计算，并且加上其他的可见模式的残差信息。路由和平均一起投射网格，不支持任何原始词元长度。
5.4 PMM：根据可观察到的线索来推断出缺失表征
经过充分的预热之后，训练会以一半概率保留所有的模态信息，另外一半概率则会随机地去掉一部分，并且保证至少有一个模态是可见的。从被移除的模态中选择目标，使用指数移动平均（Exponential Moving Average，EMA）作为教师来给出完整的上下文表示。
其中为目标模态、是它的可学习查询、是可见特征的均值、是预测器、是预测表示；分别是学生和教师的适配参数、是平滑系数。
公式解读：查询所有可查看的位置来寻找线索，不要只在一个地方反复查找；老师只保留适合分支的EMA副本，并且共享冻结的主干。
5.5 损失函数
是教师的目标词元，是余弦相似度，表示停止梯度；是类别平衡的在线难例挖掘（Online Hard Example Mining，OHEM）交叉熵损失函数，两个系数都设为。
公式解读：分割损失约束像素分类、PMM损失约束缺失表示预测。完整的输入样本不计算缺失目标损失；推理去掉教师和预测器。
一句话概括该方法就是：保持各个传感器各自独立地进行适配，在残差路径里互相传递信息，并通过“预测空缺者”的方式来培养冗余的能力。
unsetunset6. 实验结果unsetunset
6.1 实验条件
MCubeS 分为 二十类材料，用 RGB、近红外（Near-Infrared，NIR）、线偏振角（Angle of Linear Polarization，AoLP）、线偏振度（Degree of Linear Polarization，DoLP）进行训练/验证/测试，数量为；DELIVER 分为 二十五类城市场景，使用 RGB、深度、激光雷达（Light Detection and Ranging，LiDAR）、事件等进行划分，数量为；MUSES 利用帧相机、事件和 LiDAR 进行划分，但是没有给出具体的数量。按照MCubeS/DELIVER/MUSES的顺序来用作为输入，每组分别做轮，用张 A5000和AdamW初始学习率分别为进行训练，最后得到的评价标准是平均交并比（mean Intersection over Union，mIoU），并与MAGIC、Any2Seg、StitchFusion等方法进行比较。
6.2 定量的结果
MCSS 不同配置的平均 mIoU：MCubeS 为，比 StitchFusion 的提升了个百分点；MUSES 为；DELIVER 为，但是并不是所有的组合都是最好的，比如 RGB+深度+LiDAR 小于 MAGIC。
表1.：MCubeS的MCSS结果，对比不同的模式组合和可训练参数的数量。
表2.：MUSES的MCSS结果。
表3.：DELIVER的MCSS结果。
MISS 对所有的非空子集求平均值，并且包含了完整的输入组合，MCubeS 的值是，比表格里最高的现有均值高出；MUSES 的值为，比 BiXFormer 的高出；DELIVER 的值为，比 Zheng 等人的高出个百分点。
表4.：MUSES的MISS结果，所有的方法都用三种模式进行训练。
表5.：MCubeS的MISS结果，所有的方法都用四种模态进行训练并且比较了预测器的不同版本。
表6.：DELIVER的MISS结果，所有的方法都用四种模态进行训练。
6.3 定性的结果和鲁棒性
只有RGB或者RGB+LiDAR的情况下，FuseAdapt 分割区域更加连续，比CMNeXt、StitchFusion少大范围错误分割。预设天气以及退化条件下的平均mIoU值为，但是夜晚和欠曝光下表现不如Any2Seg。
图4.：DELIVER的MISS定性比较：四模态训练，第一行只有RGB，第二行是RGB+LiDAR测试。
6.4 消融实验
在 MCubeS 完全四模态的情况下，独立适配后的经路由为，MISS 去掉预测器之后的均值由降至，线性预测为，在 MiT-B0 骨干和相同的训练设置下，FuseAdapt 在 MUSES 可以达到，比 Adapter 的高出很多。秩为、每一层加入适配模块的时候，MCubeS 所得到的结果最好。
表7.：不同信息流设计下的完整模态mIoU。
6.5 模型复杂度
主结果表里DINOv2-B/S配置下的可训练参数为百万，在H100、、批量、FP32的MiT-B0三输入情况下，部署参数为百万，延迟为毫秒，峰值显存为GiB；CMNeXt为毫秒，StitchFusion为毫秒；参数效率高并不一定意味着速度或者显存最好；论文没有给出准确的端到端FLOPs值。
表15.：统一H100协议下端到端时延、吞吐量、显存和部署参数等；有的方法是通过重新构建推理图或者创建代理模型来实现的。
unsetunset7. 结论和预测unsetunset
FuseAdapt 通过私有的注意力适配以及 FFN 残差通信来平衡模态之间的差异和互补性，并且 PMM 进一步提升了缺失输入的表现。结果依赖于骨干网络的预训练表示，主要的分割比较是单次运行；共同网格约束和额外传感器流的推理开销仍然存在，还不能推广到任何不匹配或者分布之外的情况下的故障。
一句话概括就是：把跨模态交流限制在合适的残差里，然后用预测缺少的部分来学习冗余，这就是本文最有价值的设计之一。
往期推荐