一行配置让长输出吞吐翻倍：实测书生S2 的 MTP 加速，8 张 H200 上发生了什么

一行配置让长输出吞吐翻倍：实测书生S2 的 MTP 加速，8 张 H200 上发生了什么

【免费下载链接】Intern-S2-397B项目地址: https://ai.gitcode.com/InternLM/Intern-S2-397B

你有没有过这种体验：让 AI 写一份三千字的行业分析，前面的开头刷刷往外蹦，到中途速度肉眼可见地慢下来，光标一格一格往前爬，你盯着屏幕开始怀疑网速。

问题往往不在网速，而在大模型"说话"的方式——它天生是个"一个字一个字往外挤"的慢性子。

最近上海 AI 实验室开源的Intern-S2-397B（圈内叫"书生 S2"），给出了一个很讨巧的解法：MTP 多 Token 预测。官方部署文档里，开启它只需要多写几行参数；而在 8 张 H200 的实测里，长输出的吞吐量几乎翻了一倍。

这不是玄学，我把这份"加速说明书"翻译成大白话，咱们一点点拆。

一、先搞懂：AI 为什么"说话"这么慢

大模型生成文字，像老式打字机：打一个字，回一下车，再打下一个字。

它每吐一个 token（可以粗略理解为一个字或半个词），都要把前面所有内容重新"过一遍脑子"，算完才敢定下一个字。回答越长，前面攒的内容越多，每一格都要背上越来越重的包袱。

所以你会发现一个规律：短回答感觉挺快，长回答越写越像卡带。

MTP 的思路，是给这台打字机配一个"抢答的实习生"。

主模型还没动笔，模型自带的小模块先一口气猜出后面好几个词，写成一份草稿；主模型再一次性批改：猜对的直接盖章通过，猜错的位置从那儿推倒重写。

原本要跑四轮才能确认四个字，现在可能一轮就放行三四个。这就是"一行配置"背后的全部秘密——不是算得更快，而是少算了几轮。

二、这个 397B 的"书生"，到底是个什么量级

先给不熟悉的朋友补一句：Intern-S2-397B 是上海 AI 实验室开源的科学多模态大模型，总参数 397B，采用 MoE（混合专家）结构，一共 512 个"专家"，但每次推理只叫其中 10 个出来干活。

打个比方：这是一家坐拥 512 位各科主任医师的超级医院，你看一次病，只挂 10 个最对口的号。名义上人多势众，实际出诊的只是一小撮，所以它既有大模型的见识，又不至于慢到没法用。

它还有几个很"非典型"的本事：

• 能直接读论文原文，包括 PDF 里的图表、公式排版，不用先转成纯文本再喂进去；
• 能看分子式、蛋白质序列，还能生成材料晶体结构，这是很多通用模型做不到的；
• 能处理时间序列，比如给一段地震波信号，判断有没有地震事件、P 波和 S 波从第几个点开始；
• 支持 256K 长上下文，塞进一整本书或几十页报告不费劲；
• 许可证是 Apache-2.0，商用友好。

官方推荐用 LMDeploy、vLLM 或 SGLang 部署，8 张 H100 或 H200起步。这个门槛，注定它不是给你家笔记本准备的。

三、实测数据摊开看：越长越赚，短问答几乎无感

社区里已经有人按官方文档，在8×H200（单卡 144GB 显存）+ SGLang的环境下把这套加速跑了一遍，用 SGLang 自带的压测工具、模拟真实聊天场景的数据集，对比"开 MTP"和"不开 MTP"。

结果很有意思，我挑最关键的三个指标说：

第一个是吞吐量，也就是每秒能吐出多少字。输出长度从 1024 一路加到 16000：

• 输出 1024 时，从约 4614 tok/s 涨到 5337 tok/s，提升约15.7%；
• 输出 4096 时，从约 6315 涨到 9556，提升约51%；
• 输出 8192 时，从约 6401 涨到 11263，提升约76%；
• 输出 16000 时，从约 6174 涨到 12194，提升约97.5%，基本就是翻倍。

第二个是"每个字要等多久"。开启后，平均每个输出 token 的耗时从 10.05 毫秒降到 3.86 毫秒，降了约 61%。翻译成人话：原来读一个字要眨一次眼，现在快到眼睛都来不及眨。

第三个是"草稿命中率"，专业叫 accept length。它表示每轮猜四个词，主模型平均认几个：

• 短输出时约2.97 个；
• 长输出 16000 时升到3.63 个。

看出来了吗？回答越长，实习生猜得越准。因为长文写作有惯性——前面定了"综上所述"，后面大概率跟着总结句，草稿自然好猜。这也是为什么短问答提升只有一成多，而写长文能接近翻倍。

对普通用户来说，这意味着什么？同样一批 GPU，以前一小时服务 100 个人写长报告，现在能服务将近 200 个；摊到每一次调用上，就是更便宜的 API 价格、更少的光标等待。

四、复现门槛：一台顶配服务器，加五行参数

说"一行配置"是修辞，实际是多写五行启动参数，而且不用改模型、不用重训、不用碰任何源码：

打开推测解码开关、选 NEXTN 这套方案、草稿步数设 3、每轮送 4 个草稿 token 给主模型验证，再给调度器留一点额外缓冲。就这些。

官方部署文档里写得很直白：不加这几行，就是普通模式；加上，就是加速模式。同一个模型权重，同一台机器，差别只在启动命令。

几个实测中值得记下的"坑"，也一并告诉你：

• 首字延迟不会变快，甚至可能略慢。MTP 优化的是"越写越快"，不是"更快开口"。指望它改善首字响应，会失望。
• 短输出别指望惊喜。如果你只是让 AI 回一句"你好"，开不开差别不大，甚至白担一点额外开销。
• 显存要留余量。草稿 token 和验证过程会多占一些显存，官方建议把静态显存占比压到 0.8 左右。
• 长上下文要单独配 YaRN 参数。想跑 512K 甚至更长，得一起调位置编码配置，否则要么报错，要么速度断崖。
• 别随便关"思考模式"。官方特别提醒，智能体（Agent）类任务关掉思考会明显掉质量，快是快了，活儿干得糙。

五、普通人怎么用上？别急着买显卡

先把话说明白：397B 的模型，8 张 H200，这不是家用设备。单是权重文件就超过 800GB，普通人本地跑既不现实也没必要。

想体验，有三条现实路径：

一是官方网页端，直接打开书生的在线对话页面就能聊，不花钱也不折腾，适合先感受一下它的科学问答和多模态理解；

二是官方 API，接口兼容 OpenAI 格式，改个地址和模型名就能接进自己的小工具、Agent 框架，甚至能挂到 Claude Code 这类编程助手里；

三是云端租卡自建，适合有数据不能外传的团队——医院、材料实验室、做时间序列分析的工业团队，模型跑在自己的机器上，数据不出门。

至于 MTP，对普通用户是"看不见的红利"：你不需要懂它，你只会感觉到同一个 AI，长回答没那么磨叽了，服务商的价格也可能跟着降。

结语：AI 的下半场，比的不只是"多聪明"

过去两年，大家卷参数、卷榜单、卷谁的分数高零点几。但真正决定一个模型能不能用起来的，往往是这种"不性感"的工程细节——同样的电、同样的卡，能不能多服务一倍的人。

MTP 这类技术的有趣之处在于：它不改变模型的智力，只改变模型"说话"的节奏。而很多时候，用户感知到的"聪明"，其实就是"不用等"。

最后抛个问题给大家：你平时用 AI，最不能忍的是"答得不够好"，还是"等得太久"？如果有个模型答得略糙但快一倍，你会选它吗？评论区聊聊。

【免费下载链接】Intern-S2-397B项目地址: https://ai.gitcode.com/InternLM/Intern-S2-397B