PCDFusion：面向红外-可见光图像融合的提案-上下文-细节贝叶斯渲染
PCDFusion: Proposal-Context-Detail Bayesian Rendering for Infrared-Visible Image Fusion
- 摘要
- 1 引言
- 2 相关工作
- 3 PCDFusion
- 3.1 表述与概述
- 3.2 贝叶斯正红外提案
- 3.3 贝叶斯可见光上下文更新
- 3.4 贝叶斯红外细节渲染
- 3.5 损失函数
- 4 实验
- 4.1 设置与细节
- 4.2 红外-可见光图像融合结果
- 4.3 下游任务结果
- 4.4 讨论
- 5 结论
- 6 致谢
- 附录 A 实现细节
- A.1 网络实现
- A.2 RGB 重建
- A.3 实验细节
- A.4 补充定量结果
- A.5 补充定性结果
- A.6 补充讨论
- A.7 失败案例与局限
- NeurIPS 检查清单
- 1. 主张
- 2. 局限性
- 3. 理论假设与证明
- 4. 实验结果可复现性
- 5. 数据和代码开放获取
- 6. 实验设置/细节
- 7. 实验统计显著性
- 8. 实验计算资源
- 9. 伦理准则
- 10. 更广泛影响
- 11. 保障措施
- 12. 现有资产许可
- 13. 新资产
- 14. 众包和人类受试者研究
- 15. 机构审查委员会（IRB）批准或人类受试者研究等效批准
- 16. LLM 使用声明
Rui Liu 北京理工大学计算机学院，北京 100081，中国 liurui25@bit.edu.cn
Lin Gu 东北大学电气通信研究所，仙台 980-8577，日本 lin@tohoku.ac.jp
Hesong Li 北京理工大学计算机学院，北京 100081，中国 lihesong2@bit.edu.cn
Ying Fu* 北京理工大学计算机学院，北京 100081，中国 fuying@bit.edu.cn
摘要
红外-可见光图像融合（IVIF）旨在结合可见光与热红外观测，以服务于人类感知和下游视觉任务。可见光与热红外观测在物理上互补，但各自在不同方面存在不可靠性。现有深度 IVIF 方法主要改进特征交互与重建，但往往缺乏一种显式的局部规则，用来决定何时应以可见光外观为主、何时应让热响应发挥作用。为解决这一问题，我们将 IVIF 重新表述为局部贝叶斯后验渲染，其中融合由后验动作权重控制，而非直接进行模态混合。本文提出提案-上下文-细节融合（PCDFusion），一个以可见光为锚点的框架，通过三个渲染阶段实现该表述。PCDFusion 保留潜在有用的热响应，更新曝光退化的可见光区域，并将可靠的带限红外结构渲染到最终亮度中。在公开 IVIF 基准上的大量实验表明，PCDFusion 在挑战性光照条件下提升了融合质量、目标恢复以及下游检测与分割性能。代码见 https://github.com/BIT-RuiLiu/PCDFusion.git。
1 引言
红外-可见光图像融合（IVIF）旨在将可见光与热红外观测结合为统一的图像表示，以服务于人类感知和下游计