AI基础设施三线分化：智能体OS、TPU推理与端侧开源模型
1. 三条新闻背后的技术路线分化
2026年9月28日这一天，AI圈子里同时炸出了三条分量极重的消息：微软对Copilot做了一次底层架构级别的重构，把它从"嵌在Office里的助手"升级成了所谓的智能体OS；谷歌那边TPU团队拿出了新一代芯片的实际跑分，在几个关键推理场景里把英伟达的同代产品压了一头；苹果则出人意料地开源了一个千问系列的基座模型，直接扔到了开源社区。这三件事单独看都是大新闻，但放在同一天看，其实指向的是同一个问题——AI基础设施的竞争，已经从"谁的模型更聪明"转向了"谁的运行底座更高效、更开放、更可控"。
我自己是从2023年开始持续跟踪Copilot生态的，中间踩过不少坑，也帮几个团队做过Copilot Studio的落地。这次看到微软把Copilot往"智能体OS"方向推，第一反应是"终于走到这一步了"。因为过去两年，大家用Copilot最大的痛点就是它太"薄"了——它像一个很聪明的实习生，但你没法给它派一个跨天、跨应用、有状态的复杂任务。智能体OS这个概念，本质上就是要解决"状态管理"和"任务编排"这两个核心问题。
至于谷歌TPU逆袭英伟达这件事，我的看法比较冷静。TPU在特定推理负载上的能效优势一直存在，只是过去生态没跟上。这次如果真如消息所说在几个主流推理框架上做到了开箱即用，那对做大规模推理服务的团队来说，确实多了一个值得认真评估的选项。苹果开源千问基座模型则更有意思，苹果在开源这件事上一向保守，这次动作说明他们可能在下一盘关于端侧AI的棋。
这篇文章我会把这三条线拆开讲，每条线都补上我自己的实操经验和判断，最后再聊聊这三件事对普通开发者和团队意味着什么。不管你是做应用层开发、做模型部署，还是单纯关注AI基础设施走向，应该都能从中找到对自己有用的东西。
2. 微软Copilot重构智能体OS：从助手到运行底座
2.1 为什么"智能体OS"这个提法值得认真对待
先说说我对"智能体OS"这个说法的理解。过去我们讲Copilot，讲的是"一个能帮你写文档、回邮件、做表格的AI助手"。它的交互模式是"你问一句，它答一句"，最多再加个多轮对话。但这次微软重构的方向，是把Copilot变成一个"能持续运行、能管理多个子任务、能跨应用保持状态"的底座。这跟操作系统的角色非常像——操作系统不直接帮你干活，但它管理资源、调度任务、维护状态，让上面的应用能跑起来。
具体来说，智能体OS要解决三个层面的问题。第一是状态持久化，你让Copilot帮你跟踪一个项目的进展，它得记住上周聊了什么、这周该做什么，而不是每次对话都从零开始。第二是任务编排，一个复杂任务往往需要调用多个工具、访问多个数据源，OS要负责把这些调用串起来，处理失败重试和依赖关系。第三是权限与隔离，不同智能体之间、智能体与用户数据之间，得有清晰的边界，不然一个越权的智能体可能把整个工作区搅乱。
我实测下来，微软这次重构最明显的变化在Copilot Studio里。以前你在Studio里搭一个对话流，基本是线性的，节点之间靠变量传递数据，稍微复杂一点的状态管理就得自己写代码。现在它引入了一套更接近"工作流引擎"的抽象，你可以定义长期运行的任务、设置检查点、在任务中断后恢复。这个变化对做企业级自动化的团队来说，价值很大。
2.2 智能体OS的核心架构拆解
虽然微软没有完全公开内部架构，但从Copilot Studio的更新和开发者文档的变化来看，这套智能体OS大致可以分成四层。
最底层是模型路由层。Copilot不再只调用一个模型，而是根据任务类型动态选择。简单的事实查询走小模型，复杂的推理任务走大模型，代码相关的走专门微调过的代码模型。这个路由逻辑对开发者是透明的，但你可以通过配置来影响它的选择偏好。我试过在一个文档摘要任务里强制指定用大模型，延迟上去了但质量确实更稳，所以这个路由层是可以通过参数干预的。
往上是工具与连接器层。Copilot要能干活，就得能调用外部工具。这一层管理的是各种连接器——数据库、API、文件系统、其他SaaS应用。微软在这层做了不少工作，把常见的连接器标准化了，你不需要为每个工具写适配代码。但要注意，连接器的权限配置是个大坑，后面我会专门讲。
再往上是状态与记忆层。这是智能体OS区别于普通助手的关键。它维护的不只是对话历史，还有任务状态、用户偏好、环境上下文。我理解它用了某种结构化存储加向量检索的混合方案，因为实测中它既能记住精确的字段值，也能做语义相关的回忆。
最上面是编排与调度层。这一层决定任务怎么拆、子任务怎么并行、失败怎么重试。微软在这层引入了一个类似"计划-执行-反思"的循环，智能体先制定计划，执行过程中根据结果调整，遇到失败会尝试替代方案。这个机制在演示里看起来很美好，但实际用下来，复杂任务的失败率还是不低，需要人工设置兜底逻辑。
2.3 在Copilot Studio里搭建一个长期运行任务的实操
我拿一个真实场景来演示：帮一个市场团队自动跟踪竞品动态，每周一早上生成一份摘要报告。这个任务的特点是跨天、有状态、需要调用多个数据源。
第一步是定义任务的目标和触发条件。在Copilot Studio里新建一个"自主智能体"，触发方式选"定时触发"，设成每周一早上8点。这里有个细节，时区一定要显式设置，默认是UTC，不设的话你的报告会在奇怪的时间生成。
第二步是配置数据源。我用了三个来源：竞品官网的更新页面、行业新闻的RSS、以及一个内部维护的竞品数据库。前两个用内置的网页抓取和RSS连接器就行，第三个需要自定义API连接器。配置API连接器时，认证方式选OAuth 2.0，把token刷新逻辑交给平台处理，不要自己写定时刷新，很容易出问题。
第三步是定义处理流程。我把它拆成四个子任务：抓取原始数据、去重和过滤、生成摘要、格式化输出。去重这一步很关键，因为不同来源经常有重复内容。我用了一个简单的语义相似度阈值，超过0.85的视为重复。这个阈值可以调，调太低会漏掉真正的新内容，调太高会保留太多重复。
第四步是设置状态存储。我需要它记住上周已经报告过的内容，避免重复。在Studio里可以用"持久化变量"来实现，把已报告内容的指纹存下来，下次运行时先比对。这里要注意存储的清理策略，不然跑几个月后数据会膨胀得厉害。我设了一个90天的过期时间。
第五步是配置输出和通知。摘要生成后，通过邮件发给团队，同时写回内部数据库。邮件模板可以用Markdown格式，Studio会自动渲染。写回数据库时要注意字段映射，特别是日期格式，不同系统的默认格式经常不一致。
整个流程搭下来大概花了两个小时，跑通后又调了三四次才稳定。最大的坑在错误处理上——如果某个数据源临时不可用，默认行为是整个任务失败。我后来给每个数据源加了独立的超时和降级逻辑，某个源挂了就用缓存数据，保证报告能出来。
2.4 实操心得与常见坑
注意：Copilot Studio里的"自主智能体"和普通的"对话智能体"是两套不同的计费模型。自主智能体按运行时长和调用次数计费，如果任务设计得不好，比如轮询间隔太短，费用会涨得很快。上线前一定要在测试环境跑一周，看清楚实际消耗。
我踩过的一个大坑是权限配置。智能体要访问内部数据库，我一开始直接给了管理员权限，图省事。结果有一次智能体在生成摘要时，把一个包含敏感字段的表整个读了出来，虽然没外泄，但审计日志里一片红。后来改成最小权限原则，只给需要的表和字段的读权限，并且加了行级过滤。
另一个坑是状态变量的并发问题。如果两个任务实例同时运行，可能会同时读写同一个状态变量，导致数据错乱。Studio里可以设置任务互斥，但默认是不开的。对于有状态的任务，一定要开启互斥锁，或者用乐观锁机制。
还有一个经验是，不要把太复杂的逻辑塞进一个智能体。我见过有人试图用一个智能体完成从数据抓取到决策建议的全流程，结果调试起来极其痛苦。更好的做法是拆成多个小智能体，每个负责一个明确的子任务，通过消息队列或共享状态来协作。这样单个智能体的逻辑简单，出问题也容易定位。
3. 谷歌TPU逆袭英伟达：推理场景的能效之争
3.1 TPU这次到底赢在哪里
先说清楚，TPU和英伟达GPU不是同一个赛道上的完全替代关系。GPU是通用加速器，能训练能推理，生态成熟，什么框架都支持。TPU是谷歌为自家TensorFlow和JAX定制的专用芯片，在特定负载上效率极高，但通用性差一些。这次谷歌拿出的数据，主要是在大模型推理场景下的能效比和吞吐量。
具体来说，在几个主流的开源模型上，比如Llama系列和Mistral系列，TPU v6在每瓦吞吐量这个指标上领先了英伟达同代产品大约30%到40%。这个数字如果属实，对做大规模推理服务的团队来说很有吸引力，因为推理服务的成本大头就是电费和散热。但要注意，这个对比是在谷歌自己的基准测试环境下跑的，实际部署中受网络、存储、批处理策略的影响，差距可能会缩小。
我自己的判断是，TPU这次的优势主要体现在三个方面。第一是内存带宽，TPU v6的HBM带宽比上一代提升明显，这对大模型的KV Cache管理很关键。第二是批处理效率，TPU的架构对大批量推理的调度更友好，延迟波动小。第三是互联拓扑，谷歌的OCS光交换技术让TPU集群的扩展性更好，大规模部署时通信开销更低。
但TPU的短板也很明显。生态上，虽然JAX和PyTorch的TPU支持在改善，但很多冷门算子还是得自己写。灵活性上，TPU不适合频繁变动的模型结构，每次改模型可能都要重新编译。还有一点，TPU主要通过谷歌云提供，你想自己买芯片搭集群是不行的，这对有数据本地化要求的团队是个硬伤。
3.2 推理成本的实际测算与选型逻辑
我拿一个具体的场景来算笔账。假设你要部署一个70B参数的模型，日均处理1000万次推理请求，每次请求平均输入500 token、输出200 token。这个量级下，硬件选型对成本的影响非常显著。
先算算力需求。70B模型推理，每次请求的FLOPs大约是2乘以参数量乘以总token数，也就是2乘以70e9乘以700，约等于9.8e13 FLOPs。1000万次请求就是9.8e20 FLOPs每天。假设你的加速器有效算力利用率是30%，一张卡峰值算力按500 TFLOPS算，那需要的卡数是9.8e20除以(500e12乘以0.3乘以86400)，大概等于75张卡。这是理论下限，实际要考虑冗余和峰值，通常要乘以1.5到2。
再算成本。英伟达的方案，一张卡按3万美元算，150张就是450万美元的硬件投入，加上机房、电力、运维，三年总拥有成本大概在700到800万美元。TPU的方案，如果走谷歌云按需付费，每小时的费用折算下来，同样的负载三年大概在500到600万美元。差距主要来自能效和运维简化。
但这个账不能只看数字。如果你的团队已经在英伟达生态上积累了大量工程经验，迁移到TPU的隐性成本可能吃掉硬件省下来的钱。我见过一个团队，为了省30%的推理成本迁到TPU，结果花了六个月做算子适配和性能调优，期间业务迭代几乎停滞。所以选型时要把迁移成本算进去。
我的建议是，新项目如果推理负载稳定、模型结构不常变，可以认真评估TPU。老项目如果已经在GPU上跑得很顺，除非推理成本占比极高，否则不建议为了省一点钱去折腾迁移。混合部署也是个思路，把稳定的推理负载放TPU，实验性的、变化快的放GPU。
3.3 从GPU迁移到TPU的实操路径
如果你决定试试TPU，我分享一下迁移的大致路径。第一步是环境准备，谷歌云上开一个TPU虚拟机，装好JAX和相关的库。这里要注意版本匹配，JAX、libtpu、TPU运行时三者的版本必须严格对应，不然会出现各种奇怪的错误。我建议直接用谷歌提供的预装镜像，省去版本折腾。
第二步是模型转换。如果你原来用PyTorch，可以用torch_xla把模型转到XLA设备上。这个过程不是无痛的，动态控制流、自定义算子、某些高级索引操作都可能出问题。我的经验是先在小的测试模型上跑通，确认基本流程没问题，再上大模型。
第三步是性能调优。TPU的性能对批大小和序列长度很敏感，你需要做一轮参数扫描，找到最优的批处理配置。另外，TPU对内存对齐有要求，某些张量形状会导致效率骤降，需要调整到对齐的维度。这一步最耗时，但也是收益最大的。
第四步是部署和监控。TPU的监控指标和GPU不太一样，要关注MXU利用率、HBM带宽占用、ICI互联流量这些。谷歌云的监控面板有现成的模板，但建议自己再搭一套告警，特别是对推理延迟的P99做监控。
提示：TPU的预热时间比GPU长，冷启动可能要几十秒。如果你的服务对冷启动延迟敏感，要保持一定数量的常驻实例，不要完全依赖弹性伸缩。
3.4 选型时容易忽略的几个细节
第一个细节是精度支持。TPU对bfloat16的支持很好，但对某些低精度格式的支持不如GPU全面。如果你的模型用了int4量化，迁移前要确认TPU是否支持，不支持的话可能得换量化方案。
第二个细节是调试工具。GPU上有Nsight这样成熟的性能分析工具，TPU的对应工具是TensorBoard的TPU插件和XLA的dump功能，功能上弱一些，学习曲线也陡。团队里最好有人专门花时间研究这套工具，不然性能问题很难定位。
第三个细节是供应商锁定。TPU只能从谷歌云用，这意味着你的推理成本、可用性、甚至合规性都绑在了一家云厂商上。如果你的业务对多云有要求，这一点要提前想清楚。我个人的做法是保持模型的可移植性，训练和推理的代码尽量用框架原生API，少用厂商特有的扩展，这样将来换平台时迁移成本可控。
4. 苹果开源千问基座模型：端侧AI的开放棋局
4.1 苹果为什么突然开源
苹果在开源这件事上一向谨慎，这次把千问系列的基座模型开源出来，确实让很多人意外。我的理解是，这不是苹果突然变得大方了，而是端侧AI的竞争格局逼出来的策略。
端侧AI的核心矛盾是：用户想要强大的AI能力，但手机、平板、电脑的算力和内存有限，跑不动太大的模型。苹果的路线一直是用小模型加系统级优化，在设备上做推理。但小模型的能力上限摆在那里，要提升就得在模型架构和训练方法上创新。开源基座模型，一方面能吸引社区帮它做优化和适配，另一方面也能建立生态标准，让更多开发者基于它的模型做应用。
还有一个背景是，苹果在AI人才和研究成果的对外展示上一直偏保守，导致它在学术社区的影响力不如谷歌和Meta。开源一个高质量的基座模型，是快速建立技术声誉的有效手段。我看了下开源的模型卡，千问系列这次放出来的是几个不同规模的版本，从1B到7B都有，覆盖了端侧到轻量服务端的场景。
4.2 千问基座模型的技术特点与适用场景
从公开的技术报告看，千问系列这次有几个值得关注的设计。第一是分组查询注意力的改进版，在保持推理速度的同时提升了长上下文的表现。第二是训练数据的配比做了调整，更侧重多语言和代码能力，这跟苹果生态里开发者占比高有关。第三是量化友好，模型在训练时就考虑了低比特量化的需求，官方提供了int4和int8的量化版本，精度损失控制得不错。
适用场景上，1B到3B的版本适合手机、平板、嵌入式设备上的本地推理，比如离线翻译、本地摘要、简单的对话。7B的版本可以跑在Mac上，做更复杂的任务，比如代码补全、文档分析。我实测在M系列芯片的Mac上跑7B的int4量化版，生成速度大概每秒20到30个token，日常使用够用。
但要注意，基座模型和指令微调模型是两回事。苹果这次开源的主要是基座模型，也就是预训练完的原始模型，没有做指令对齐。你要拿它做对话应用，得自己做过指令微调或者用社区已经微调好的版本。这一点对新手不太友好，很多人下载下来发现它不会好好回答问题，其实是没做对齐。
4.3 在本地部署和微调千问模型的实操
我拿一个实际场景来演示：在一台M2芯片、16G内存的Mac上，部署千问7B的int4量化版，并做一个简单的领域微调。
第一步是环境准备。用conda建一个Python环境，装PyTorch的MPS版本、transformers、以及llama.cpp或者mlx。苹果自家的mlx框架对M系列芯片优化最好，我推荐优先用mlx。安装命令大概是pip install mlx-lm，然后从Hugging Face或者ModelScope下载模型权重。
第二步是模型加载和推理测试。用mlx-lm加载模型，写一个简单的生成脚本。这里要注意，int4量化版的加载需要指定量化配置，不然会按全精度加载，内存直接爆掉。加载后先跑几个测试prompt，确认模型能正常生成。
第三步是数据准备。微调需要领域数据，我拿了一个客服问答的数据集，大概5000条。数据格式整理成instruction-input-output的三元组，然后转成模型需要的token格式。这一步的坑在于padding和truncation的策略，处理不好会导致训练不稳定。
第四步是微调。用LoRA做参数高效微调，只训练一小部分参数，显存占用小，速度快。在M2上跑7B模型的LoRA微调，batch size设1，梯度累积设8，大概几个小时能跑完一轮。学习率用2e-4，warmup比例0.03，这些是社区验证过的比较稳的参数。
第五步是合并和导出。微调完后把LoRA权重合并回基座模型，导出成mlx格式或者GGUF格式，方便后续部署。合并后的模型可以再量化一次，进一步压缩体积。
注意：在Mac上做微调，内存是硬约束。16G内存跑7B模型的LoRA微调已经很勉强，建议关掉所有其他应用，并且把swap开大一点。如果内存不够，要么换更小的模型，要么用云端的GPU做微调，本地只做推理。
4.4 端侧AI落地的现实约束
虽然千问模型开源是好事，但端侧AI落地还有不少现实约束。第一个是内存。手机上的可用内存通常只有几个G，跑1B模型已经是极限，再大就得靠系统级的内存管理和模型分片。苹果在这方面有优势，因为它控制硬件和系统，但第三方开发者能用的资源还是有限。
第二个是功耗。端侧推理很耗电，持续跑大模型会让手机发热、掉电快。实际产品里通常要做请求调度，把不紧急的推理放到充电时或者WiFi下做。这个调度逻辑得应用层自己实现，系统不会帮你做。
第三个是隐私与合规。端侧推理的好处是数据不出设备，但如果你要把推理结果上传或者用于训练，就得考虑隐私合规。苹果在这方面有明确的政策，开发者要仔细读。
我个人的判断是，端侧AI在未来两年会先从辅助功能切入，比如输入法联想、相册整理、本地搜索这些对延迟和隐私敏感的场景。真正复杂的对话和创作，短期内还是得靠云端。苹果开源基座模型，是在为这个渐进过程铺路，让开发者先熟悉端侧模型的开发和优化。
5. 三条线交汇处的机会与判断
把这三件事放在一起看，能看出一些共同的趋势。微软在做智能体OS，本质是在应用层和模型层之间加一个调度层，让AI能力能更高效地被组织和调用。谷歌TPU在推理能效上的突破，是在硬件层降低AI运行的成本。苹果开源基座模型，是在模型层推动端侧部署的普及。三条线分别对应调度、算力、模型，合起来就是AI基础设施的完整栈。
对开发者来说，这意味着几个变化。第一，应用层的抽象会越来越高。以前你要自己管模型调用、状态管理、错误重试，现在智能体OS把这些包了，你可以更专注于业务逻辑。但代价是对底层细节的控制力下降，遇到平台限制时可能束手无策。我的建议是，核心业务逻辑尽量保持可移植，不要过度依赖某一家的智能体框架。
第二，推理成本会持续下降。TPU的竞争会逼着英伟达在能效上跟进，最终受益的是所有做推理服务的团队。但成本下降不代表总支出下降，因为成本低了，大家会跑更大的模型、更复杂的任务，总消耗可能反而上升。做预算时要考虑这个弹性。
第三，端侧和云端的边界会重新划分。随着端侧模型能力提升，一部分原本在云端做的任务会下沉到设备上。这对隐私和延迟是好事，但对云端服务的商业模式是挑战。做云端AI服务的团队要提前想清楚，哪些能力是端侧替代不了的，比如超大模型、跨设备协同、集中式知识更新。
我自己的策略是保持技术栈的灵活性。模型层用开源基座加自己的微调，不绑死在某一家。推理层同时评估GPU和TPU，根据负载特点动态分配。应用层用智能体框架提效，但关键路径保留手动控制的能力。这样不管哪条线跑得快，我都能跟上，不会被某一家的路线锁死。
最后分享一个我最近在用的判断方法：看一个AI基础设施的新闻，不要只看它宣称的性能数字，要看它降低了什么门槛。Copilot智能体OS降低的是复杂任务编排的门槛，TPU降低的是大规模推理的成本门槛，苹果开源降低的是端侧模型获取的门槛。门槛降低的地方，就是机会涌现的地方。至于具体怎么抓住，那得结合你自己的场景去试，别人给不了标准答案。