PanoFormer 和 PanoSwin 各自怎么解决 ERP 的三大难题

另外要特别说明一点PanoFormer 和 PanoSwin 其实并不在同一个任务上直接竞争——前者主攻「全景深度估计 语义分割」后者主攻「全景目标检测 图像分类 房间布局估计」。所以对比它们的意义不在于“谁分数更高”而在于两条不同的“全景 Transformer 改造路线”各自怎么解决 ERP 的三大难题畸变、非均匀采样、边界不连续。一、基本信息与定位对比维度PanoFormerPanoSwin发表ECCV 2022CVPR 2023单位北京交通大学复旦大学核心任务单目全景深度估计MODE兼做语义分割全景目标检测、图像分类、房间布局估计输入/输出ERP 全景图 → 同尺寸深度图密集预测ERP 全景图 → 检测框 / 类别 / 房间角点检测与回归基础骨架自研 U-Net 自研 PST BlockSwin Transformer直接继承其层级结构路线归属Distortion-Aware畸变感知单分支 ERP 直处理Distortion-Aware单分支 ERP 直处理一句话定位PanoFormer 是“为全景从零设计一个算子”PanoSwin 是“把 Swin 的每个零件按全景几何重写一遍”。二、三大 ERP 难题的解法对照核心差异ERP 的三大难题是① 极区空间畸变 ② 非均匀采样 ③ 左右/上下边界不连续。两篇论文的应对策略完全不同难题PanoFormer 的做法PanoSwin 的做法极区畸变STLM 球面 Token 定位在球面切平面上取 3×3 邻域再反投影回 ERP让采样形状随纬度自动变形解析几何算出零参数Pitch Attention俯仰注意力让畸变严重的窗口主动去和一个“未畸变”的窗口交互靠跨窗口信息互补来抵消畸变边界不连续未显式处理STLM 在极区附近仍可能越界靠网络隐式学习Pano-style Shift Windowing改造 Swin 的移位窗口把 ERP 左右两侧被切开的相邻区域“拉回同一个窗口”并处理上下极区的拼接位置编码相对位置嵌入直接用 STLM 反投影得到的 ERP 偏移量作为位置偏置每像素自适应球面距离 笛卡尔坐标双路绝对位置编码和相对位置偏置都按球面几何重新定义长程依赖PSA 只在 9 个几何相关点内做注意力靠多层堆叠传递继承 Swin 的移位窗口机制跨窗口连接靠窗口移位实现直觉对比PanoFormer 的思路是“采样跟着畸变走”算子变形PanoSwin 的思路是“窗口跟着边界走 让畸变区和非畸变区对话”调度变形。前者更精细像素级后者更工程化直接嫁接 Swin 生态。三、模块级技术细节对比模块PanoFormerPanoSwinToken 粒度像素级一个像素一个 token不做 patch 下采样保留密集预测所需的全部细节窗口级沿用 Swin 的 4×4 Patch Partition Patch Merging 层级金字塔注意力范围每像素仅对9 个球面相关点做注意力PSA复杂度 O(9N)线性窗口内全局注意力 移位窗口跨窗交互复杂度 O(N·w²)w 为窗口大小采样方式Token Flow用 STLM 预计算的偏移场做可微双线性采样grid_sample几何精确标准规则网格采样无几何变形前馈网络LeFF局部增强 FFN补回局部细节Swin 标准 FFNGELU 线性层预训练策略无预训练端到端从零训练两阶段学习先在平面图像ImageNet 等上预训练再迁移到全景利用平面与全景的共享知识可迁移性改任务不改结构深度→分割直接复用作为通用骨干接不同检测/分类/布局头即可四、各自的优势与短板PanoFormer 的优势像素级 token 对**密集预测任务深度、法向量、分割**天然友好信息零损失采样位置由球面公式解析给出不引入额外可学习参数不会过拟合小数据集线性复杂度能直接吃高分辨率 ERP如 1024×512。PanoFormer 的短板自研骨架无法享用 ImageNet 预训练权重小数据场景吃亏对边界不连续没有显式建模9 点邻域偏小超长程依赖要靠很深的网络堆叠。PanoSwin 的优势直接继承 Swin 的预训练生态与成熟代码库两阶段迁移让它在数据有限时更稳移位窗口显式解决左右边界不连续这是 PanoFormer 没处理的作为通用骨干适配检测、分类、布局等多种任务头工程落地成本低。PanoSwin 的短板窗口是规则矩形不能像 STLM 那样随纬度变形极区仍靠 Pitch Attention 间接补偿Patch 下采样会丢失像素细节对深度估计这类逐像素回归任务不友好所以它没做深度窗口大小 w 是超参数需人工调。五、实验结果注意任务不同不可直接比分数PanoFormer深度估计Matterport3D方法δ1↑RMSE↓MAE↓UniFuse0.88970.49410.2814SliceNet0.8716—0.3296PanoFormer0.91840.36350.1013语义分割Stanford2D3DmIoU48.9mAcc64.5TangentImg 41.8 / HoHoNet 43.3。PanoSwin检测 / 分类 / 布局论文在三个任务上对比了当时 SOTA结论是“全面优于既有方法”但具体数值在公开摘要中未完整披露需看原文表格。其价值在于证明了同一套 PanoSwin 骨干能同时撑起三类异构任务。六、技术路线演进的真正脉络与其说 PanoSwin 是 PanoFormer 的“升级版”不如说它们是同一条主线上的两个分支选择后续工作也沿这两条路继续分化CNN 双分支融合BiFuse / UniFuse丢 25% 像素 │ ├──→ PanoFormer (ECCV22)像素级 解析几何采样 │ │ │ └──→ SGFormer、Distortion-aware Transformer (3DV22) │ 继续走“几何先验注入注意力”路线 │ └──→ PanoSwin (CVPR23)嫁接 Swin 移位窗口 预训练迁移 │ └──→ PanoSwin 后续变体、Swin-based 全景骨干 继续走“改造成熟骨干 知识迁移”路线 另外一条并行线 └──→ Cubemap/Spherical 双域融合GLPanoDepth、S2Net、SphereFusion 走“多投影协同”路线2024-2025 年非常活跃选型建议结合 Insta360 2025 全景综述的结论做深度、光流、匹配等几何敏感任务 → 优先考虑 PanoFormer 路线或 Cubemap 双域融合做检测、分割、分类等语义任务 → 优先考虑 PanoSwin 路线预训练迁移的收益更大。