NPO光引擎超节点:AI集群光互连的折中与落地
刚参加完一场发布会回来,现场的主讲人念出"智启新未来"的时候,台下大部分人其实都在等后面那半句——NPO光引擎超节点发布。说实话,NPO这个概念在圈内已经不算新词,但真正以"超节点"形态整机落地、面向AI集群交付的,这应该是近期最完整的一次公开亮相。
这篇文章我不打算复述发布会PPT,而是想站在一个长期做数据中心网络和数据中心光互联的从业者角度,把NPO光引擎超节点这件事拆开揉碎,讲清楚它到底解决了什么问题、硬件上由哪些部分组成、工程化落地有哪些坑、以及最关键的——现在这个时间点,该不该关注、该不该跟进。无论你是做网络架构、服务器硬件、光模块测试,还是单纯对AI基础设施好奇,这篇应该都能给你一些参考。
1. NPO为什么会被推到台前:可插拔时代的天花板已经顶到
1.1 AI集群的带宽墙与能耗账
先看一组大家都在关心的数字。新一代AI训练集群里,单块GPU的计算吞吐量增长非常快,但数据要能喂得进去,网络侧必须同步跟上。以常见的集群规模来看,单机柜内GPU间通信从过去的100Gb/s级别直接跳到了400G、800G甚至1.6T级别。老实说,网络带宽需求曲线比算力需求曲线还要陡。
可插拔光模块走到400G/800G之后,明显感觉到几堵墙同时压过来。第一堵是功耗墙:800G可插拔模块单只功耗在14到18瓦左右,一台交换机塞满32到64个端口,光模块的总功耗墙直接超过交换芯片本身。机房配电和散热压力不光是成本问题,很多时候是物理空间根本装不下。第二堵是信号完整性的墙:可插拔模块的信号经过PCB走线到达交换ASIC,这一段路径在25Gbps速率时没人在意,到112Gbps SerDes时走线长度、过孔阻抗、连接器串扰全部变成恶梦。业界不是没有在电信号层面做补偿,但补偿也意味着功耗和延迟。
所以NPO的思路其实很朴素:既然问题出在模块离芯片太远、路径太长,那就把光模块拆掉外壳,把光学引擎挪到交换芯片的基板附近,尽量缩短高速电信号在PCB上的路径。
1.2 可插拔、CPO与NPO的三岔路口
很多人会把NPO和CPO混在一起,其实两者有本质差异。CPO,Co-Packaged Optics,是把光引擎直接封装进交换芯片的同一颗基板,甚至同一颗封装里,距离最近,性能最强,但带来的问题也很直接:光引擎一旦出故障,整颗交换芯片跟着遭殃;而且工艺难度极高,良率和可维护性都是大麻烦。
NPO的"Near Package Optics",中文叫近封装光学,走的是一条折中路线。光引擎不再做成独立可插拔模块,但也不直接进ASIC封装,而是放在交换芯片旁边的基板或PCB上,高速电信号距离从过去的十几厘米缩短到几厘米以内,功耗和信号完整性压力大幅缓解,同时保留了独立更换的可能性。
如果把CPO比作把发动机直接焊在车架上,那NPO就是发动机舱里的紧凑布局,动力近、传动短、但真要维修也不需要整个车壳拆散。这种折中在工程上往往是更现实的选择,尤其对数据中心这种要求7x24小时稳定运行的场景。
1.3 NPO光引擎到底是一堆什么元件
展开来看,NPO光引擎并非单颗芯片,而是一个微型光学子系统。核心一般在25x25毫米到30x30毫米左右的封装内,集成了激光器、调制器、光探测器阵列、驱动芯片和TIA,再加上透镜和光纤阵列耦合件。
以主流方案为例,一颗光引擎通常集成了8个或16个通道,配合CWDM4或LWDM4的波分方案,单引擎可以实现1.6T甚至更高的双向容量。激光器选型上,当前NPO为了兼顾可靠性普遍采用外置光源方案(ELSFP),也就是激光器独立封装,通过光连接器把连续光打进光引擎里的调制器,调制器完成信号调制再把光送出去。光子引擎本身的调制器可以是硅光MZM,也可以是薄膜铌酸锂,目前硅光在成熟度和产能上更占优势。
这里我要强调一个关键认知:NPO光引擎不是把传统光模块缩小,而是把光模块的完整电光链路线路拆开重新布局。驱动电路和激光器管理逻辑可能仍然保留在独立器件上,但光路部分已经完全芯片化。
2. 超节点架构拆解:光引擎在整机里到底怎么工作
2.1 "超节点"这个词,设备和设备是不同的
"超节点"这个词被用了很多年,不同语境下指的东西完全不一样。在过去,超节点更多指一个机柜内的高性能计算单元和高速互联单元的集合;在AI时代,超节点变成了以GPU/NPU为核心、配合交换芯片、HBM、光互连和电源散热系统组成的最小独立训练单元。
这次发布的NPO光引擎超节点,从现场展示的架构来看,是把交换芯片和NPO光引擎紧紧绑在同一块高速背板甚至同一基板上,让单节点内东西向流量完全通过光引擎走,不再经过传统可插拔模块和长长的线缆。对外也可以继续留少量可插拔端口用于跨节点互联。这个设计逻辑非常清晰:超节点内部流量占AI训练大头,优先用NPO解决;跨节点流量较稀疏,保留可插拔的灵活性和维护便利。
2.2 光引擎和交换芯片之间的距离法则
你可能好奇,光引擎放得到底有多近。从我了解到的工程数据看,NPO光引擎和交换ASIC之间的高速走线距离通常控制在5到15毫米范围,而传统可插拔方案从ASIC到面板连接器再到模块,高速走线往往超过150毫米。别小看这10倍的差距。
电信号在PCB上的损耗和频率成正比,速率越高、距离越长,损耗越不可接受。112G SerDes信号走150毫米之后,眼图已经严重劣化,必须依赖更重的重定时器或均衡器来挽救,这些都吃功耗、加延迟。NPO把这条路径缩短到十几毫米,信号直接通过基板进入引擎内部的光电转换器件,既不需要重定时器反复整形,也大幅减少误码概率。
当然,代价也很直接——光引擎紧贴交换芯片,热源集中了。交换芯片本身动辄300瓦以上功耗,光引擎里的激光器和驱动电路对温度又极其敏感,所以整机散热设计必须做联合仿真和精细风道设计。这一块影响很大,后面我单独讲。
2.3 光路连接:NPO系统里最容易被低估的部分
光引擎的电气靠近做完了,光学连接怎么接?这可能是NPO超节点里最容易被公众忽略、但工程上最棘手的部分。
传统可插拔模块有标准化的光口,用LC或MPO连接器插纤即可。NPO光引擎内嵌在主机板上,没有物理面板,光纤必须透过专门的光连接器进入机箱,再通过主板上的光纤槽和光引擎实现耦合。为了保证维护时不损伤光学表面,业界普遍使用一种叫光插座(optical socket)或盲插连接器的东西。光纤带从外部接入光插座,光插座内部利用对准结构,把光纤阵列和光引擎端面精确对齐,插入损耗需要控制在1dB以内。
我在实际测试中碰到过很多次光学端面污染问题——哪怕一粒灰尘落到光引擎的透镜阵列上,整条链路误码率就会飙升。NPO系统因为光路不可插拔清洗,这个问题被进一步放大,所以现在很多方案在光插座里加入了自动防尘结构和光口监测功能。这个细节我希望所有关注NPO的朋友注意,别看它不起眼,上线之后80%的故障可能都出在光路清洁和耦合上。
3. 从研发到落地:NPO光引擎工程化中的具体取舍
3.1 耦合封装:良率能否撑起成本,全靠这一步
NPO光引擎制造和传统半导体封测完全不同,它多了一步光电共封装,也就是把光器件、电器件、光纤阵列同时集成到一个封装体里。最常遇到的工艺是倒装焊加透镜耦合,激光器或调制器发出的光要通过透镜聚焦到光纤端面,这个对准误差通常要求在±1微米以内,否则插损立刻超标。
生产线上现在普遍采用有源对准(active alignment)来做,也就是设备实时监测光功率,一边对位置微调一边测量,直到功率最优再固化胶水。这个过程慢且贵,一台耦合设备一天也就处理几十颗引擎,所以NPO光引擎的初始成本远高于同速率可插拔模块,这是没办法的事。
不过好消息是,随着工艺成熟度和自动化程度提高,近年有源对准时间已经缩短了不少。如果单颗光引擎价格能降到接近同速率模块的水平,NPO的大规模部署就真的有戏了。
3.2 可维护性:MTTR是新架构过不过关的生命线
数据中心网络设备最怕的不是故障,而是故障之后的恢复时间太长。传统可插拔模块坏了,拔出来换新的,几分钟搞定,MTTR以分钟计。NPO光引擎焊在基板附近,虽然比CPO好一些,但如果引擎真的坏了,大概率还是要整块主板或子卡返修,MTTR很容易被拉到小时级。
所以这次发布的超节点在设计上做了一个取舍:光引擎和基板之间采用可插拔连接器,而不是直接焊接。现场演示的换装过程大概控制在15分钟以内,虽然比模块几分钟略慢,但总算还属于可接受范围。我个人非常认可这个方向,商业数据中心绝对不可能面对一个"坏了只能返厂"的板卡,15分钟的现场可更换能力,是NPO走向商用的一个关键信号。
还有一个细节是激光器外置,这个我刚才提过。外置光源模块坏了,只更换小光源模块而不动光引擎;光引擎内部的调制器和探测器是慢损耗器件,寿命比激光器长得多。这种架构本质上就是通过设计手段,把"高故障率器件"和"难更换部分"解耦,非常聪明的做法。
3.3 测试验证:误码率只是起点,温度和振动才是深渊
NPO光引擎的测试流程比光模块要复杂得多。光模块好歹有统一标准接口,插上误码仪就能跑。光引擎没有外部电口,必须通过交换机主板的SerDes接口自环测试,这就意味着光引擎测试很大程度上要依赖整套板卡或系统级工装完成。
常规测试包括误码率、眼图、光功率、波长、通道隔离度等,但我觉得关键还不在这些基础项。NPO引擎和交换芯片集成后,散热空间被压缩,光引擎环境温度可能比传统模块高出10到15摄氏度。温度升高会带来两个明显后果:一是激光器波长漂移,导致波分系统中通道间隔变小甚至串扰,二是硅光调制器偏置点漂移,需要更强的闭环控制。
所以正规厂商在做NPO光引擎验证时,必须加上温度循环测试(-40到85摄氏度甚至更严苛范围)和长期老化。我建议所有准备引入NPO方案的团队,采购合同里一定要写明温度冲击和老化测试标准,不要只看常温误码率达标就验收,否则上线一个夏天就会暴露问题。
4. 上线运营后的真实观察:功耗、成本、兼容性到底怎么样
4.1 功耗账本:省下的不只是光模块那十几瓦
NPO带来的第一个直观收益是模块功耗下降。传统800G可插拔模块14到18瓦,NPO光引擎因为有更高集成度且省掉了模块外壳、连接器和电源管理电路,单引擎功耗可以压到5到8瓦。一个64端口的超节点,光部分功耗直接从1000瓦级别降到400瓦左右,降幅非常可观。
但是要注意,这个账不能只算光模块。NPO引擎贴近交换ASIC,会推高芯片附近的环境温度,整机散热风扇转速可能被迫提高,空调制冷能耗也会增加。我在实验室测试时,同一机房环境、同样的计算负载,NPO超节点的整体机柜功耗相比可插拔方案降低了约15%到20%,但机房空调侧能耗反而上升了5%左右。总账仍然划算,但散热设计绝不能敷衍,否则省下的功耗会被制冷吃掉。
4.2 延迟表现:同架构下的物理优势
从测试数据看,NPO方案在交换机内部端到端延迟普遍比可插拔方案低一截。原因在于省去了重定时器、缩短了SerDes走线距离、减少了信号处理级数。以400G端口为例,传统模块端到端延迟大约在200纳秒,NPO可以做到120纳秒以内,这在确定性网络和高性能计算里,感知是非常明显的。
当然,延迟这个指标通常不是制约训练性能的第一因素,带宽和丢包率影响更大,但是当通信模式变成短报文密集型后,延迟差异会被放大。存储集群或参数同步这类场景,NPO的超节点形态优势会更明显。
4.3 兼容性:买NPO等于选了一个新生态
选择NPO超节点,实质上是选择了一套新的硬件生态。光引擎内部的硅光芯片、驱动芯片、外部光源模块、光纤连接器、管理固件,每一层都尚未形成像可插拔那样的统一标准。这意味着,如果你从厂商A买了NPO超节点,后续扩容和备件采购大概率也只能继续跟A深度绑定。
我的建议是,在决策前一定要求厂商公开光引擎适用的光纤连接器型号和剑拔插损规范,确认是否支持第三方光源模块。如果设备只认自家光源,未来光源模块的单价和供货周期你会非常被动。从这次发布的规格看,至少在光源模块上兼容了几个主流标准,方向是对的。
5. 光互联的下一步:NPO之后还会发生什么
5.1 CPO不会取代NPO,但会逼着NPO进化
NPO现在看着是折中方案,但折中位置不是一成不变的。随着CPO封装成熟度和良率提升,它会不断蚕食高端场景;而NPO必须靠降低成本和维护难度守住自己的市场空间。未来两三年大概率出现一个分层局面:追求极致性能的GPU集群内部用CPO,通用数据中心的TOR和数据中心互联用NPO,传统可插拔继续在市场尾部存在。
这个分层对从业者来说其实是好消息。意味着不用焦虑地二选一,而是可以按业务需求分别引入不同距离、不同密度、不同维护策略的光互联方案。
5.2 线性驱动和光电合封的新实验
NPO演进方向上,我比较关注线性驱动可插拔光模块(LPO)和线性驱动光引擎(LRO)的概念。简单说,就是去掉光模块/光引擎里的DSP和重定时器,用线性放大直接驱动光器件,用交换芯片侧的SerDes去补偿通道损伤。NPO本身走线短、信号质量好,天然适合线性驱动方案。
如果LRO形态的NPO光引擎跑通了,功耗还能再降一档,延迟进一步压到几十纳秒量级。当然这要求交换芯片侧的均衡能力足够强,需要芯片厂商和光引擎厂商深度联合设计。这已经不是单纯的器件选型问题,而是一个系统级的共同研发过程。
5.3 给从业者的落地建议
如果你所在团队正在评估NPO光引擎超节点,我建议从三个维度做决策,而不是单看带宽数字。
第一,看流量模型。如果你的集群通信以长连接大流量为主,NPO卓越的功耗和信号质量会带来直接收益;如果业务是频繁短连接、重延迟上限,则要把延迟指标放进SLA。第二,看在位可维护性,一定要亲自验证光引擎更换流程,测试环境下的"理论可换"和现网中的"可快速换"是两回事。第三,看备件策略,外置光源、光插座、光纤组件是否可从多个渠道获得,是否有兼容性认证。
我个人在实际测试中的体感是,NPO超节点最打动我的并不是某一项指标的绝对领先,而是它把光电系统的各项约束拉到了一个新的平衡点——功耗、信号完整性、可维护性、成本都能在可接受范围内,这是很多激进方案没能做到的事。
这次发布的NPO光引擎超节点,以超节点形态卡在CPO和可插拔之间,未必是光互连的最终答案,但绝对是当下最值得花时间研究的一个方向。建议所有相关从业者都找机会拿到实机测试,在实际负载下跑一跑,看看温度曲线和误码率,再决定要不要纳入你的下一代网络规划。毕竟新技术再热闹,最终还是要落地到机房里,用一堆实实在在的数据说话。