V2.6 刚登顶,v3 架构就被剧透:罗福莉的下盘棋

发布时间:2026/10/16 11:57:52
V2.6 刚登顶,v3 架构就被剧透:罗福莉的下盘棋
V2.6 刚登顶v3 架构就被剧透罗福莉的下盘棋【免费下载链接】MiMo-V2.6-Pro-RLMiMo-V2.6-Pro-RL 是 MiMo-V2.6 系列的旗舰检查点。该系列旨在通过强化学习RL实现自我改进的规模化——同时扩展 RL 计算资源、环境多样性以及评分器grader计算能力使模型能够通过探索和反馈持续拓展其能力边界。项目地址: https://ai.gitcode.com/XiaomiMiMo/MiMo-V2.6-Pro-RL9 月 22 日小米发布并开源 MiMo-V2.6 系列Pro、Flash 与 Pro-Ultraspeed 三档旗舰检查点 MiMo-V2.6-Pro-RL 随即登顶 AAArtificial Analysis全球开源模型榜首被封面新闻、驱动之家等多家媒体冠以新一代性价比斩杀线之名6 天强化学习训练、约 347 万美元折合人民币 2000 余万元的成本细节也被 36Kr 与 21 财经先后披露。而仅仅两天之后9 月 24 日小米 MiMo 大模型负责人罗福莉便在社交平台发文MiMo-V3 将采用全新架构核心组件 HySparse 2 当日发布——模型还没影论文全说了。一边是刚用真金白银验证过的 RL 规模化路径一边是迫不及待公开的下一代架构路线图。这篇剧透里藏着罗福莉和 MiMo 团队怎样的下盘棋结合仓库里 MiMo-V2.6-Pro-RL 的真实源码与配置我们把这条时间线拆开来看。登顶时刻V2.6 靠什么拿下开源榜首先把 V2.6 的战报摆清楚。据社区实测与媒体报道MiMo-V2.6 系列发布于 2026 年 9 月 22 日Pro 与 Flash 双版本开源API 价格与前代 V2.5 持平新增的 Pro-Ultraspeed 主打响应速度。很快小米MiMo-V2.6模型登顶AA全球开源榜首成为行业快讯驱动之家则评价其性能已超 K3 开源最强。这次登顶的含金量在于它的训练方式几乎是为开源榜首四个字量身定做的。仓库 README.md 开篇即点明系列定位Scaling Reinforcement Learning Toward Self-Improvement把强化学习规模化通向自我进化。几个关键数字值得逐条核对You Only RL Once不做按领域分跑的 RL而是把代码、通用 Agent、视觉、网络安全等任务与多种评测 harness 混合在同一个 batch 里训练让能力互相增强。Scaling RL Compute全异步 GRPOGroup Relative Policy Optimization单步 1,568 个 prompt × 16 次 rollout每次更新消耗数十亿 token。Groupwise Agentic Grading自改进闭环二元的 pass/fail 无法给都通过了的样本排序所以团队把奖励信号本身也规模化——Groupwise Reward SynthesisGRS离线从对比样本中构建任务级 rubric 并融合测试结果Groupwise Advantage RedistributionGAR在线对通过轨迹排序、把优势权重移向更优解。Aligned RL MOPD2从自我纠错冷启动全程用环境加固、对抗筛查与 verifier 交叉校验防 reward hacking混合 RL 之后再用多前缀多教师蒸馏MOPD2把能力延伸到难验证的任务上。这套把 RL 本身 scale 起来的打法正对应罗福莉此前反复强调的判断——2026 年 AI 最关键的趋势是自进化。业内流传的第一个直播 RL 训练过程的说法也印证了团队的坦率模型未必第一但把大规模 RL 的中间过程公开给社区围观本身就是一次信任建设。仓库里的架构数据也足够硬核。config.json 显示V2.6-Pro-RL 为稀疏 MoE总参数量 1.02T、激活 42B70 层 Transformer60 层滑动窗口注意力 SWA 10 层全局注意力 GA384 个路由专家、每 token 激活 8 个上下文长度 100 万 token另配 5 层 SWA 投机解码器MTPDFlash 风格单次前向并行验证 7 个后续 token。视觉侧是 681M 参数的 MiMo ViT28 层中 24 层 SWA 4 层全局音频侧是 308M AudioTokenizer 加 127M patch encoder。整体架构可参考仓库配图图 1MiMo-V2.6 架构示意来自 README.md评测数字同样分布在多个 Agent 维度DeepSWE v1.1 达 71.9、AutomationBench 53.1、OSWorld-Verified 82.0、CyberGym 94.0多个基准与 Claude Opus 5、GPT-5.6 Sol 等闭源旗舰咬在同一档位——这也是登顶开源榜首的底气所在。v3 剧透HySparse 2 与全新架构V2.6 发布 48 小时后罗福莉的剧透就来了。据 IT 之家与智源社区转述MiMo-V3 将采用全新架构核心 HySparse 2 当日发布卖点是更少的预填充、更小的 KV 缓存、更出色的长上下文检索且明确指向 1M token 场景。智源社区的标题一针见血模型还没影论文全说了——技术方案先于模型发布论文即路线图。把剧透放回 V2.6 的仓库里看演进逻辑其实相当连贯。当前代模型已经是一套混合注意力的产物从 config.json 的hybrid_layer_pattern可以看到70 层中每隔 7 层插入一个全局注意力GA层其余 60 层全部为滑动窗口SWA窗口 128partial_rotary_factor为 0.334即只有约三分之一的维度做旋转位置编码同时attention_chunk_size为 128配合swa_full_tokens_ratio一类的部署参数见 README.md 的 SGLang 部署示例整套设计的目标非常明确让注意力计算的开销与序列长度解耦从而扛住百万级上下文。HySparse 2 的关键词——更少的预填充、更小的 KV 缓存——正是对这套思路的进一步激进。SWA 滑动窗口是把注意力局部化的工程近似HySparse 则把稀疏性从注意力形态升级为贯穿预填充与推理全流程的系统级设计预填充阶段的计算被压缩KV 缓存占用被缩小长上下文检索的精度反而提升。换句话说v2 证明混合注意力 1M 上下文可行v3 的论文则回答在 1M 上下文下如何让成本和速度都再降一个量级。值得注意的还有时机。罗福莉在 V2.5 发布2026 年 4 月底前后就放出过送 100T token、开源、押注自进化的信号社区博主如掘金的甲维斯对 V2.5 的实测甚至用被 DeepSeek 完虐来总结。而从 V2.5 到 V2.6 仅隔约四个月V2.6 就用大规模 RL 一次翻身、直登榜首。这种上一代还在挨打、下一代立刻登顶的节奏恰恰说明团队把 RL 当成了能力迭代的主引擎——而 v3 的架构剧透只是把引擎的下一档转速提前公开。「论文先行、模型后出」意味着什么在开源大模型圈论文先行、模型后出通常有两种解读一种是学术团队的常规节奏先投稿再开源权重另一种是刻意为之的叙事管理。从罗福莉的公开言论和 MiMo 团队的路径看这次的论文先行更接近前者——而且是一盘有明确方法论支撑的棋。罗福莉早在今年 4 月就公开表态算力和数据并非最终护城河科学的研究文化与方法才是她追求的模型要能理解物理世界、具备自进化能力。V2.6 正是这套理念的工程化标本GRS 与 GAR 的本质是让模型用自己的样本当裁判把奖励信号本身变成一个可 scale 的组件——这已经不是传统 RLHF 的训一个奖励模型而是把评测、对比、优势重分配全部卷进训练循环形成自我改进的飞轮。论文先行在这个语境下有三个务实作用。第一它把方法论和产品分开交付论文先接受社区与同行检验权重随后按工程节奏发布降低开源即背锅的风险。第二它提前卡位技术话语权——当行业还在讨论 Agent 竞赛从模型参数走向执行底座DOIT 曾以此为题对比 DeepSeek 最新论文与 MiMo-V2.6MiMo 直接把下一代架构的关键词HySparse、稀疏注意力、KV 压缩写进公共讨论空间。第三它服务于人才与生态对开发者而言论文先行意味着可以提前做适配与部署验证而不是等模型发布后被动跟进。这一点在仓库的部署侧也能看到呼应。README.md 给出了完整的 SGLang 与 vLLM 部署配方SGLang 侧开启--enable-dp-attention、--moe-a2a-backend deepep、EAGLE 投机解码与--reasoning-parser mimovLLM 侧推荐--reasoning-parser mimo与--enable-auto-tool-choice采样参数固定为temperature1.0, top_p0.95。推理栈、解析器、工具调用协议在模型发布时已全部就绪——工程节奏的成熟度与论文先行的学术节奏恰好互为表里。v3 若落地国产开源推理模型格局怎么变最后回到最现实的问题如果 v3 真按剧透落地国产开源推理模型的市场会怎样。第一能力-成本的性价比曲线会被再次改写。V2.6 已经做到了性能超 K3 开源最强、API 价格与前代持平v3 的更少预填充 更小 KV 缓存一旦兑现推理成本的竞争将从每 token 单价进一步下探到每任务单价——对于动辄几十万 token 上下文的 Agent 任务长仓库、工具调用轨迹、多会话运行KV 缓存和预填充开销的压缩直接决定能否把 1M 上下文从演示指标变成生产可用。第二开源榜的头部梯队将围绕RL 规模化重排座次。V2.6 用 6 天、347 万美元证明了一件事开源模型可以用可控成本逼近闭源旗舰的 Agent 能力。当训练方法论 训练成本成为公开可复制的范式后来者的门槛不是算力而是环境多样性、grader 计算与 RL 工程细节——这正是 MiMo 团队通过论文和剧透想要占住的生态位。第三对开发者与国产推理生态而言v3 的论文先行意味着更长的适配窗口。从 config.json 的auto_mapMiMoV2ForCausalLM与 modeling_mimo_v2.py到 chat_template.jinjaMiMo 一直保持 transformers 生态的即插即用一旦 v3 的稀疏架构论文公开SGLang、vLLM 等推理框架的优化如--swa-full-tokens-ratio、EAGLE 多层投机都可以提前为其预留参数位。国产开源推理模型的竞争正在从谁先发布权重转向谁的论文路线图更值得提前押注。V2.6 的登顶是 RL 规模化的阶段性胜利v3 的剧透则是下一盘棋的落子预告。从混合注意力到 HySparse从训练时规模化到推理时稀疏化罗福莉的路径始终围绕同一个命题把自进化从理念变成可 scale、可复现、可开源的工程事实。对行业来说真正值得盯着的或许不是 v3 的参数规模而是论文先行、模型后出这套打法会不会成为国产大模型团队的新标配。【免费下载链接】MiMo-V2.6-Pro-RLMiMo-V2.6-Pro-RL 是 MiMo-V2.6 系列的旗舰检查点。该系列旨在通过强化学习RL实现自我改进的规模化——同时扩展 RL 计算资源、环境多样性以及评分器grader计算能力使模型能够通过探索和反馈持续拓展其能力边界。项目地址: https://ai.gitcode.com/XiaomiMiMo/MiMo-V2.6-Pro-RL创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考