大模型跨机房高可用 SLA 探针：基于 gRPC 双向流的微秒级心跳检测

在分布式大模型推理架构中多机房、多云灾备已经成为保障业务 SLA服务等级协议的标配手段。通常架构师会在华东、华北以及多云供应商之间部署异构推理网关当某一个机房的底层专线抖动、供电故障或者 GPU 集群显存发生静默死锁时网关能够自动将用户请求在毫秒级别切换到健康节点。然而传统的服务健康检查手段大多依赖 HTTP GET 轮询如/healthz接口。在面对大模型推理这类超长耗时、重依赖 GPU 状态的特殊链路时传统 HTTP 轮询的缺陷暴露无遗探测盲区与静默卡死Silent HangHTTP 探针通常只能证明宿主机的 Nginx 或 Web 框架进程存活根本无法感知底层 CUDA Context 是否已经死锁、KV Cache 显存是否发生溢出或者推理引擎的调度队列是否严重积压时效性迟钝常规探测间隔通常为 35 秒当某个 GPU 节点突发故障时在下一个健康检查周期到来前的数秒真空期内成百上千个用户的生成请求将会全部遭遇超时报错网络与连接开销大频繁的单次 HTTP 请求带来了不断的三次握手与 TLS 协商消耗在跨地域长距离公网专线上极为低效。为了突破这一瓶颈我们在自愈体系中设计了基于 gRPC 双向流Bidirectional Streaming的微秒级心跳探针与微推理合成校验系统。一、双向流探针工作模型与轻量微推理检测与被动的健康轮询不同我们采用网关控制面与推理节点之间常驻的 gRPC 双向长流连接。网关探测控制面 (Gateway Sentinel) 跨机房大模型推理节点 (Inference Node) │ │ ├─────────────── 建立 gRPC 双向长流 ───────────┤ │ │ │ Ping Frame (带高精度微秒时间戳 T1) │ ├────────────────────────────────────────────►│ 收到后立即回填本地 GPU 状态: │ │ - 显存剩余占比 │ Pong Frame (带 T1 节点处理耗时 GPU指标) │ - 队列积压任务数 │◄────────────────────────────────────────────┤ - 当前热度温度 │ │ [网关测得 RTT T2 - T1] │ │ │ │ (每隔 3 秒随机注入 1-Token 微推理探针) │ ├───────────────── Micro Prompt ─────────────►│ 执行单步 Forward 计算 │◄──────────────── 1-Token Response ──────────┤ 验证 CUDA 算力管道真正畅通该探针由两个递进层级构成轻量心跳层Ping-Pong Heartbeat每 100 毫秒在双向流中发送极小字节的心跳帧精确度量跨地域网络抖动与往返时间RTT同时节点在上报包中附带当前的 GPU 显存利用率与就绪状态微推理合成探测层Micro-Inference Probe每隔 35 秒在流中注入一个极轻量的前向推理任务例如输入单字符 Prompt要求输出 1 个 Token直接走真实的 TensorRT-LLM 或 vLLM 推理管道。只有这一步成功返回才能彻底排除 CUDA 驱动挂起与显存死锁。二、基于 gRPC 探针的高性能检测代码实现下面展示网关探针客户端与服务端的心跳双向流核心实现基于 Go 语言构建利用高精度时钟精确捕获微秒级网络与推理时延package probe import ( context fmt io math sync sync/atomic time ) // ProbePayload 探针流传输数据载荷 type ProbePayload struct { TimestampNs int64 // 发送端纳秒时间戳 Type int32 // 1: Ping, 2: Pong, 3: MicroInference GpuMemoryFreePercent float32 // 节点剩余显存比例 (0.0 ~ 1.0) PendingTasks int32 // 队列积压任务数 } // NodeHealthState 节点健康画像 type NodeHealthState struct { NodeID string IsAlive bool LastRttMicrosec int64 SmoothRttMs float64 GpuFreeRatio float32 ConsecutiveFails int32 } // StreamSentinel 双向流哨兵客户端 type StreamSentinel struct { mu sync.RWMutex nodeStates map[string]*NodeHealthState failThreshold int32 } func NewStreamSentinel(failThreshold int32) *StreamSentinel { return StreamSentinel{ nodeStates: make(map[string]*NodeHealthState), failThreshold: failThreshold, } } // MonitorNodeStream 启动针对指定节点的心跳流守护协程 func (s *StreamSentinel) MonitorNodeStream( ctx context.Context, nodeID string, sendCh chan- ProbePayload, recvCh -chan ProbePayload, ) { state : NodeHealthState{ NodeID: nodeID, IsAlive: true, } s.mu.Lock() s.nodeStates[nodeID] state s.mu.Unlock() ticker : time.NewTicker(100 * time.Millisecond) defer ticker.Stop() for { select { case -ctx.Done(): return case now : -ticker.C: // 1. 发送 Ping 帧 sendPayload : ProbePayload{ TimestampNs: now.UnixNano(), Type: 1, // Ping } select { case sendCh - sendPayload: default: // 管道已阻塞说明网络或对端严重积压 s.markFailure(state, send channel blocked) continue } // 2. 等待接收 Pong 响应 (超时限制 80ms) select { case resp, ok : -recvCh: if !ok { s.markFailure(state, stream closed by remote) return } receiveTimeNs : time.Now().UnixNano() rttNs : receiveTimeNs - resp.TimestampNs rttUs : rttNs / 1000 s.updateSuccess(state, rttUs, resp.GpuMemoryFreePercent) case -time.After(80 * time.Millisecond): s.markFailure(state, pong response timeout (80ms)) } } } } func (s *StreamSentinel) updateSuccess(state *NodeHealthState, rttUs int64, gpuRatio float32) { s.mu.Lock() defer s.mu.Unlock() state.IsAlive true atomic.StoreInt32(state.ConsecutiveFails, 0) state.LastRttMicrosec rttUs state.GpuFreeRatio gpuRatio // EWMA 滑动平均时延平滑计算 (alpha 0.2) rttMs : float64(rttUs) / 1000.0 if state.SmoothRttMs 0 { state.SmoothRttMs rttMs } else { state.SmoothRttMs state.SmoothRttMs*0.8 rttMs*0.2 } } func (s *StreamSentinel) markFailure(state *NodeHealthState, reason string) { s.mu.Lock() defer s.mu.Unlock() fails : atomic.AddInt32(state.ConsecutiveFails, 1) if fails s.failThreshold { if state.IsAlive { state.IsAlive false fmt.Printf([ALARM] Node %s marked DEAD! Reason: %s, Consecutive Fails: %d\n, state.NodeID, reason, fails) } } } // GetFastestNode 获取当前最优质、最低延迟的健康机房节点 func (s *StreamSentinel) GetFastestNode() (string, error) { s.mu.RLock() defer s.mu.RUnlock() var bestNode string minScore : math.MaxFloat64 for nodeID, st : range s.nodeStates { if !st.IsAlive || st.GpuFreeRatio 0.05 { continue // 过滤死亡或显存耗尽节点 } // 评分算法时延权重 70% 显存紧张度加权 30% score : st.SmoothRttMs*0.7 float64(1.0-st.GpuFreeRatio)*100.0*0.3 if score minScore { minScore score bestNode nodeID } } if bestNode { return , fmt.Errorf(no healthy inference nodes available) } return bestNode, nil }三、毫秒级故障感知与全自动流量旁路切除通过部署上述 gRPC 双向流探针网关具备了微秒级捕获异动并在百毫秒内完成切流自愈的实战能力[故障发生 T0: 某机房专线光纤中断/GPU死锁] │ ▼ (耗时 80ms) [探针心跳超时触发连续失步告警 (Consecutive Fails 3)] │ ▼ (耗时 5ms) [网关控制面触发节点隔离更新本地路由拓扑健康权重置为 0] │ ▼ (耗时 15ms) [后续请求无缝流向异地备用集群在途受影响的断流连接触发 Client 重发]1. 消除在途长连接的“断崖式报错”对于正在发生流式输出的请求网关结合双向流探针的熔断信号不再等待后端 TCP 默认的长超时而是在断连瞬间立即激活“本地断点重放”。网关将上游已输出的历史 Token 拼接在客户端发起的上下文后面以无缝接力的方式向备用机房发起微调重试终端用户在前端界面上几乎只感受到不到 1 秒的打字轻微停顿便恢复了流式吐字彻底消除了 504 弹窗。2. 避免震荡的半开恢复Half-Open Probation当故障机房的网络或 GPU 恢复时探针必须连续 60 秒保持微推理探针 100% 成功、且 EWMA 延迟回归到基准线以下才允许将节点状态置为“半开预备态”并以 1% 的阶梯步长缓慢放回流量防止刚从故障中恢复的集群被积压请求再次打垮。四、生产实战效果总结在大规模高可用演练中我们在生产集群模拟了跨地域机房拔网线与 GPU 驱动热重载实验。演练数据显示链路故障感知时延由过去的4500 毫秒大幅压缩至 240 毫秒大模型推理请求的端到端错误率由 3.2%降低至 0.003%结合微推理深度探测成功捕获了 4 次宿主机进程存活但 CUDA 驱动僵死CUDA Out of Context的极端暗病真正做到了大模型高可用体系的“防患于未然”。