三月AI技术月报：推理成本下探、多模态落地与Agent框架收敛

1. 三月AI圈到底发生了什么

三月份这个时间节点，对AI行业来说向来不平静。今年尤其如此——我翻了一圈公开信息、开发者社区讨论和几个行业群里的聊天记录，发现三月份发生的事，几乎每一件都在往“AI从能用变成好用”这个方向推。如果你关注AI应用落地、模型能力演进、开发者工具链变化，那这个月的信息密度值得你花十分钟认真过一遍。

先说清楚这篇东西的定位：它不是新闻汇总，也不是官方月报。我更像是一个在AI应用一线干活的人，把自己在三月份观察到的、试过的、踩过坑的东西整理出来。哪些变化真正影响了我的工作流，哪些只是热闹但暂时用不上，哪些是值得提前布局的信号——这些才是我想聊的。

三月份有几个关键词反复出现：推理成本继续下探、多模态从演示走向生产、Agent框架开始收敛、端侧部署有了新选择。这四个方向基本构成了本月的主线。下面我按自己理解的逻辑，把每条线拆开讲。

2. 推理成本下探带来的连锁反应

2.1 为什么价格战不是坏事

三月份最直观的感受就是：调用大模型API做推理这件事，越来越便宜了。几家主流厂商在三月都调整了定价策略，有些是直接降价，有些是推出更小参数量的版本但保持可用的质量。我实测下来，同样一个文本分类任务，用新出的轻量模型跑，成本大概只有年初的三分之一，准确率只掉了不到两个百分点。

很多人一看到“价格战”就觉得是恶性竞争，但从应用开发者的角度看，这恰恰是好事。推理成本下降意味着以前因为成本卡住不敢做的功能，现在可以放开手脚试了。比如批量处理用户反馈、实时内容审核、长文档摘要这些场景，以前要精打细算token用量，现在可以更从容地设计流程。

注意：便宜不等于可以滥用。我见过不少团队因为成本降了就把prompt写得很随意，结果输出质量波动反而更大。成本下降应该用来做更精细的验证，而不是降低工程标准。

2.2 轻量模型的实际表现

三月份我重点测了几个新出的轻量级模型，参数规模大概在70亿到130亿之间。测试任务是三个：中文短文本分类、结构化信息抽取、多轮对话意图识别。结果如下：

从表里能看出来，轻量模型在简单任务上已经非常能打了。我的建议是：先把任务按复杂度分层，简单任务直接上轻量模型，复杂任务再走大模型。这样整体成本能降一半以上，用户体验几乎不受影响。

2.3 对开发者的实际影响

成本下降最直接的影响是，很多以前只能“想一想”的功能现在可以“做一做”了。我三月份帮一个做电商客服的朋友搭了一套自动回复系统，用的就是轻量模型加规则兜底。整套系统跑下来，每月API费用不到两百块，覆盖了大概七成的常见问题。剩下的三成复杂问题转人工，人工客服的压力小了很多。

这里的关键不是模型有多强，而是把模型放在合适的位置。轻量模型做初筛和简单回复，复杂问题走人工或者升级到大模型，这个分层思路在三月份被验证了很多次。

3. 多模态能力从演示走向生产

3.1 图片理解不再只是“看图说话”

三月份多模态领域最大的变化，是图片理解从“能识别出图里有什么”进化到了“能理解图里的逻辑关系”。我试了几个新版本的多模态接口，给一张复杂的流程图或者表格截图，它不仅能读出文字，还能解释流程走向和数据关系。

这个进步对实际工作影响很大。以前做文档数字化，图片里的表格只能靠OCR提取文字，结构信息全丢了。现在可以直接把截图丢给多模态模型，让它输出结构化的JSON，表格的行列关系、合并单元格都能保留。我三月份处理了一批扫描版合同，用这个方式提取关键条款，准确率比传统OCR方案高出一大截。

3.2 视频理解的实用化尝试

视频理解这块，三月份我看到一些有意思的尝试。不是那种“给视频打标签”的粗粒度理解，而是能回答关于视频内容的细节问题。比如给一段产品演示视频，问“第三步操作时界面上显示了什么提示”，模型能准确回答出来。

我实测下来，短视频（三分钟以内）的理解效果已经不错了，长视频还需要分段处理再汇总。这个能力对在线教育、产品教程、会议记录这些场景很有价值。三月份我帮一个做在线课程的朋友试了一套方案：把课程视频按知识点切片，每片生成文字摘要和时间戳，学生可以直接搜索视频内容。整套流程跑通之后，他说“以前学生问‘第几分钟讲了什么’，我只能让他们自己拖进度条，现在可以直接给时间点了”。

3.3 多模态落地的坑

多模态好用，但坑也不少。我踩过最典型的一个坑是：图片分辨率太高反而效果差。有些模型对输入图片的尺寸有隐含限制，太大的图会被压缩，细节丢失严重。后来我养成了一个习惯：不管原图多大，先缩放到模型推荐的最佳尺寸再传。

另一个坑是多模态接口的延迟普遍比纯文本高。如果做实时交互，需要提前做好加载状态和超时处理。我的做法是：图片理解走异步，先返回一个“正在分析”的状态，分析完了再推给前端。这样用户不会觉得卡。

4. Agent框架的收敛与实战选择

4.1 从百花齐放到几家争鸣

三月份Agent框架这个领域明显在收敛。年初还有十几个框架在争，到了三月，社区讨论集中到了三四个主流选择上。这个收敛对开发者是好事——不用再花大量时间比较框架了，选一个主流的深入用就行。

我三月份把几个主流框架都跑了一遍，感受是：没有绝对最好的框架，只有最适合你场景的。有的框架工具调用做得好，有的框架多轮规划能力强，有的框架部署简单。选型的时候先想清楚你的Agent要解决什么问题，再倒推选哪个。

4.2 工具调用的稳定性问题

Agent最核心的能力是调用工具。三月份我在这个点上花的时间最多。实测下来，工具调用的稳定性主要取决于三个因素：工具描述的清晰度、参数格式的约束强度、错误处理机制。

工具描述这块，我的经验是宁可写啰嗦一点，也不要留歧义。比如一个查询天气的工具，描述里要写清楚“输入城市名称，返回该城市当前温度和天气状况”，而不是简单写“查天气”。参数格式尽量用枚举或者正则约束，减少模型自由发挥的空间。

错误处理是很多人忽略的点。工具调用失败时，Agent应该能理解失败原因并决定是重试、换工具还是放弃。我三月份调的一个Agent，因为没做好错误处理，工具返回超时后它一直重试同一个调用，陷入了死循环。后来加了最大重试次数和降级策略才解决。

4.3 多Agent协作的适用边界

三月份也看到不少多Agent协作的案例，几个Agent分工合作完成复杂任务。我的看法是：多Agent适合任务边界清晰、可以并行处理的场景，不适合需要频繁交互和状态共享的场景。

举个例子，一个做市场调研的Agent系统，可以拆成“搜集数据Agent”“分析数据Agent”“撰写报告Agent”三个角色，每个角色独立工作，通过文件或者消息队列传递中间结果。这种场景多Agent很合适。但如果任务需要频繁来回讨论，多Agent之间的通信开销会很大，还不如用一个Agent加更长的上下文。

5. 端侧部署的新选择

5.1 手机端跑模型的实际体验

三月份端侧部署这块有几个新进展。我拿手头的安卓机试了几个端侧模型，跑7B量级的量化版本，生成速度大概每秒5到8个token。这个速度做实时对话有点勉强，但做离线摘要、本地分类这些任务完全够用。

端侧部署最大的好处是隐私和离线可用。有些场景用户数据不方便传到云端，端侧模型就是唯一选择。三月份我帮一个做笔记应用的朋友试了端侧摘要方案，用户笔记不出手机就能生成摘要，隐私顾虑小了很多。

5.2 端侧模型的选型考量

端侧选模型和云端逻辑不一样。云端可以堆算力，端侧必须考虑内存、电量、发热。我三月份测试下来的经验是：

• 参数量不是唯一指标，量化方式和推理框架的影响更大
• 内存占用比参数量更关键，有些模型参数少但内存管理差，跑起来反而更卡
• 发热控制决定用户体验，连续跑十分钟不烫手的模型才适合做常驻功能

提示：端侧部署一定要在真机上测，模拟器上的表现和真机差距很大。我吃过这个亏，模拟器跑得好好的模型，真机上因为内存不足直接崩了。

5.3 端云协同的实用模式

纯端侧和纯云端都有局限，三月份我看到比较实用的模式是端云协同：简单任务端侧处理，复杂任务云端处理，端侧做缓存和预处理。

比如一个智能输入法，常用短语和简单补全在端侧做，长文本生成和复杂纠错走云端。这样既保证了响应速度，又保留了云端模型的能力上限。三月份我试了一套类似的方案，端侧负责首屏响应，云端负责后续内容，用户感知到的延迟比纯云端方案低了不少。

6. 三月份踩过的坑和实用技巧

6.1 模型版本升级的兼容性问题

三月份好几个模型都发了新版本，我兴冲冲升级之后发现，同样的prompt在新版本上输出格式变了。以前稳定输出JSON的，新版本偶尔会加一句解释性文字在前面，导致解析失败。

后来我养成了一个习惯：模型版本升级后，先跑一遍回归测试，用固定的测试集对比新旧版本的输出。如果格式有变化，要么调整prompt，要么加一层输出清洗。这个习惯帮我省了不少线上事故。

6.2 长上下文不等于无限上下文

三月份长上下文模型越来越多，动不动就支持几十万token。但我实测下来，上下文越长，模型对中间部分的注意力越弱。把关键信息放在长文档的开头或结尾，效果明显好于放在中间。

我的做法是：如果必须用长上下文，先把关键信息提取出来放在prompt最前面，再附上完整文档。这样模型既能看到全局，又不会漏掉重点。

6.3 评测集要自己建

三月份我花了不少时间建自己的评测集。网上的榜单参考价值有限，因为你的任务和榜单任务往往不一样。我建评测集的方法是：从真实业务数据里抽200到500条，人工标注好答案，每次模型更新或者prompt调整都跑一遍。这个评测集不大，但非常能反映实际效果。

建评测集这件事，越早做越好。我见过不少团队模型换了好几轮，效果好坏全靠感觉，出了问题也不知道是模型的问题还是prompt的问题。有了评测集，每次改动都有数据支撑，决策会清晰很多。

6.4 常见问题速查

7. 这个月值得关注的几个信号

三月份还有一些信号，虽然暂时没形成大规模应用，但我觉得值得留意。

第一个信号是小模型加高质量数据的组合。三月份有几个小模型在特定任务上超过了通用大模型，靠的就是针对性的高质量训练数据。这提示我们：不是所有场景都需要最大的模型，把数据做精做专，小模型也能有很好的表现。

第二个信号是AI应用的交互范式在变化。从最早的聊天框，到后来的画布式交互，三月份我看到一些产品开始尝试“AI主动发起交互”的模式。比如检测到用户可能遇到问题，AI主动弹出提示。这个方向还在早期，但交互逻辑的变化往往比模型能力提升更能影响用户体验。

第三个信号是评估和监控工具在完善。三月份有几个专门做AI应用评估和监控的工具更新了版本，支持更细粒度的指标和更实时的告警。这对把AI应用真正跑在生产环境的团队来说，是很实在的进步。

8. 我个人的一些体会

三月份过完，我最大的感受是：AI应用的门槛在降低，但做好AI应用的难度在提高。模型能力越来越强，API越来越便宜，意味着“能跑起来”越来越容易。但“跑得好”“跑得稳”“跑得省”，这些工程上的功夫反而更关键了。

我三月份花时间最多的不是调模型，而是搭评测、做监控、写错误处理。这些工作不性感，但决定了AI应用能不能真正交付给用户。如果你也在做AI应用，我的建议是：把至少一半的精力放在工程化上，模型选型反而不是最需要纠结的。

另外，三月份的信息量确实大，但没必要每个都追。选一两个和你业务相关的方向深入下去，比泛泛了解十个方向更有价值。我自己的做法是：每月挑一个重点方向做深度实践，其他方向保持关注但不投入太多时间。这样既能跟上节奏，又不会分散精力。

最后分享一个小技巧：三月份我开始用“周报”的方式记录AI相关的实践和踩坑，每周花半小时写几条。一个月下来回看，哪些是真正有用的，哪些只是热闹，一目了然。这个习惯推荐你也试试。