LangSmith LLM 网关：面向生产环境的Agent运行时管控方案

核心要点消除厂商锁定依赖一套网关兼容闭源与开源权重模型集中管控可灵活切换模型服务商不用再看A÷脸色成本与稳定性管控设置成本、调用频次限制追踪资源消耗并为任意模型、服务商、主机实例配置降级策略敏感数据脱敏防护在模型调用请求中自动脱敏个人身份信息、密钥等避免隐私信息外流至模型服务商生产环境运行的Agent需要一套管控能力以规避成本失控、服务中断等各类线上风险。token限额、调用速率限制、模型故障降级、敏感数据防护都是必不可少的管控手段。工程师痛点在于只能针对每一套Agent、每一家模型服务商手动重复开发这套管控逻辑。为此我们推出了 LangSmith LLM 网关。它部署在Agent与底层大模型之间作为统一治理中间层专门适配Agent工程团队在生产场景下的管控需求。通过 LLM 网关团队仅需一处配置即可对全部Agent、各类模型、多家服务商统一执行运行时管控在规范化模型调用行为的同时彻底摆脱单一厂商绑定。为什么Agent需要统一治理中间层在线上生产环境模型调用极易引发高额损耗与面向客户的服务故障实际场景中这类问题十分常见 模型服务商突发宕机、封号客服Agent持续返回报错直接引发客户不满、影响业务营收或是代码智能体夜间陷入无限重试循环次日产生上万次大模型调用生成四位数高额账单。核心问题在“统一”上面问题仅靠事后复盘远远不够必须在违规行为发生前就管控。但如果管控逻辑分散嵌入每个智能体代码每新增一套智能体、接入一家服务商都要重新开发、维护一套独立逻辑运维成本极高。 而LLM网关支持团队一次性定义管控规则自动在所有模型、全部Agent中统一生效。LLM 网关完整管控能力LLM 网关覆盖Agent在生产环境最核心的四类管控需求成本管控、调用限流、模型降级、数据脱敏。限额防超支LLM 网关支持对用户的大模型调用开销进行事前监控与管控防患于未然。你可以设置限时额度并从四个维度追踪资源消耗企业级全公司统一开销管控用户级限定个人开发者额度工作空间级各业务团队不同额度API 密钥级单个项目独立管控开销一旦达到设定上限Agent将收到标准 402 报错并附带清晰提示信息。限流保稳定支持在组织、工作空间、用户、API 密钥四层维度配置调用速率限制避免恶意攻击或高峰试用期耗尽配额保障其他Agent、业务团队的服务稳定性。多租户场景客户级独立限额与限流面向多租户平台、第三方代理商LLM 网关支持客户级独立管控无需为每个客户单独创建 API 密钥。 通过自定义请求头标识终端用户/业务团队即可对其分别配置限额与限流规则同时所有大模型请求共用同一个API 密钥。可在统一面板调整所有客户的配额与消耗无需自行开发配套逻辑。提高可靠性可跨模型、跨主机实例配置故障降级规则并对所有业务代码统一生效。当某服务商的模型宕机、触发限流或服务不可用时Agent将自动切换至备用模型无需在每个业务代码中单独编写降级逻辑。降低敏感数据泄露风险在请求转发至模型服务商前自动识别、脱敏、替换请求内的个人身份信息PII与密钥同时网关也会对 LangSmith 记录的链路追踪日志脱敏。该功能仅面向开通了企业计划的用户开放在 LangSmith 中追踪 LLM 网关事件所有网关的管控事件都作为元数据存入 LangSmith 的链路追踪日志可用于观测真实流量下管控逻辑是如何执行的。如果请求因限额、限流等规则被拦截可打开对应追踪日志结合完整事件上下文排查原因并决定是否需要调整管控配置。自由选择模型服务商LLM 网关提供统一接口负责智能体到各家模型服务商的请求路由。支持 OpenAI、Anthropic、Fireworks 等主流服务商以及兼容 OpenAI/Anthropic 协议的自定义模型端点。LangSmith 网关原生支持“自带密钥BYOK“模式你可以使用已有的服务商api-key通过LLM网关完成路由、治理、策略管控无需为每一处模型调用额外埋点。 如果团队希望简化采购流程、快速搭建智能体业务可直接在 LangSmith 内充值买点数就能调用 Fireworks 上面的开源模型。我们坚信开源权重模型具备极高业务价值内涵A÷是吧哈哈它让企业掌握更多的 AI 系统自主权团队可灵活根据成本、效果、延迟、隐私、部署要求择优选型并结合自身业务场景微调模型。LLM 网关正是我们降低开源模型生产落地门槛的方案之一。开源模型现已能够满足企业落地 AI 业务所需的“性能要求“。下一个发展重点是降低开源模型在智能体业务流程中的落地门槛 —— 企业需对成本、延迟与权限治理有可控能力。Fireworks 能大规模提供高速、高效且稳定的开源模型推理服务。我们十分期待与 LangChain 合作推出 LangSmith LLM 网关助力企业将这套高性能方案投入生产。——Fireworks 首席执行官 乔琳Lin Qiao企业团队落地网关的真实业务场景已有多家企业通过 LLM 网关为生产智能体配置硬性限额与统一管控典型使用场景包括面向公网需配置开销限额的 C 端智能体、多租户 SaaS 智能体需要统一账单、用量追踪、按用户独立配额LLM 网关帮我们实现深度智能体账单与消耗追踪集中化能够清晰查看每位客户的资源使用情况与配额限制。集成流程简单提供了业务规模化所需的完整可观测能力。 — Blueberry AI 联合创始人 CTO 肖恩・里奇所有线上智能体都必须配置硬性开销上限面向公网的产品更是刚需。LLM 网关直接消除了成本失控风险我们只需与客户敲定开销等管控规则点击几下即可完成全部配置。 — Friday 数字机构 AI 工程师 希尔克・西贝斯马LLM 网关快速上手教程你可直接通过 API 调用 LLM 网关也能搭配各类代码开发工具使用例如 Claude Code、Codex接入步骤将智能体的请求目标地址切换为 LangSmith 网关端点使用你的 LangSmith API 密钥完成身份鉴权将各大模型服务商密钥录入工作空间密钥库统一配置故障降级、调用限流、限额、数据脱敏等管控策略仅修改代码内base_url字段其余业务代码无需改动。LLM 网关未来规划当前 LLM 网关已上线企业高频刚需的管控能力后续我们将持续迭代扩充生产环境大模型调用的治理工具集安全护栏全面覆盖智能体调用外部模型、对接生产系统时产生的各类风险。CI/CD 管控支持托管提示词模板跑A/B 测试蓝绿发布、影子流量部署以及通过代码定义管控规则Infrastructure-as-Code