xHC: Expanded Hyper-Connections

xHC: Expanded Hyper-Connections 论文完整梳理一、文章核心内容总览1. 研究背景传统Transformer仅使用单路残差流承载跨层Token表征，仅能通过加宽、加深、扩充数据三种维度扩容。Hyper-Connections（HC）将单残差流扩展为N条并行残差流，新增残差记忆容量这一全新缩放维度；mHC（流形约束HC）通过Sinkhorn归一化稳定多流训练，在N=2~4时收益显著，但无法扩展至N4：增大N后性能收益骤减、训练算力成本立方级暴涨；本文拆解出两大核心瓶颈，提出xHC突破N=4N=4N=