上周开源大模型盘点：Qwen3.8-Flash-Next 领衔，5款重磅模型显存实测对比与部署选型决策表

一、本周速览五款模型五个不同的硬件档位上周的盘点里我写过一句话开源模型的竞争已经从「跑分」转向「谁能真正跑起来」。这一周的发布把这句话推到了极致——同一周内你能看到 2.3B 的文档解析小模型和 770B 的数据中心巨兽同时开源。先看一张总表数据来源各家官方模型卡 / Hugging Face 仓库 / 官方发布博客模型发布方发布日期参数量上下文许可证权重体积Qwen3.8-Flash-Next阿里通义千问08-26125B MoE / 6B 激活51B n-gram 4B MTP262KYaRN 可扩 1MQwen Community License 1.0BF16 ~360GB131 分片GLM-5.3-Flash智谱 Z.ai08-26320B MoE / 18B 激活1,048,576MITFP8 ~306GiBHy4 preview腾讯混元08-28770B MoE / 49B 激活1MApache 2.0FP8 ~770GBGranite 4.2IBM08-253B / 8B / 30B 稠密131K可扩 512KApache 2.08B BF16 ~17.6GBParse 5Cohere08-272.3B VLM8,192商业 APIHF 可试~4.6GB一句话定位Qwen3.8-Flash-Next—— Qwen4 架构的提前剧透本周最值得折腾的「默认模型」候选。GLM-5.3-Flash—— MIT 许可的多模态前沿模型价格屠夫。Hy4 preview—— 生产力场景的重炮但你大概买不起。Granite 4.2—— 企业私有化 Agent 的务实选择单卡能跑。Parse 5—— 不是聊天模型是 RAG 流水线的前置零件。二、Qwen3.8-Flash-Next本周的最大变量2.1 架构四项改动一起上Qwen 这次把 Qwen4 的架构改动提前扔了出来官方称实验性预览。48 层混合结构MoE 层 512 专家 top-10 路由四项核心改动数据来源Qwen 官方模型卡与技术报告GDN QSA 混合注意力Gated DeltaNet 负责状态更新Qwen Sparse Attention 负责稀疏选择上下文。长文本效率与检索精度兼顾。N-gram Embedding51B 参数的「短语词典」把常见词组当独立词条。关键点是——这 51B 可以放在主机内存里异步预取不占 GPU 显存SGLang Day-0 支持公告原话以几乎为零的额外每 token 计算扩展模型容量。Gated Residual显式 GR Read / GR Write 路径给层间信息传递 4 条通道而非 1 条。Muon 优化器官方称训练成本降至 Qwen3.7-Plus 的 1/9。2.2 官方基准6B 激活打赢 Opus 4.6 Max官方模型卡给出的对比均为官方数据未经第三方独立复现基准Qwen3.8-Flash-NextClaude Opus 4.6 MaxSWE-bench Pro62.553.4SWE-bench Multilingual81.077.5LiveCodeBench v691.988.8GPQA Diamond91.7—DeepSWE 1.158.7—IFBench指令遵循81.362.5CoWorkBench长程办公73.968.2AndroidWorld84.562.0HLE35.9更强9 项可比基准里 8 项领先只有 HLE 输给闭源。这不代表两者等价——榜单口径不完全一致——但一个 6B 激活的可下载模型能出现在这个位置本身就是新闻。2.3 显存的真相360GB 还是 5.95GB这是本周最容易误读的数字。总参数决定显存容量激活参数只决定速度。按常规方式加载BF16 整包约 360GB其中 n-gram 表就占约 102GB。这需要机柜不是一张卡。但社区用 AirLLM 的分层流式加载做到了单卡运行——RTX 409024GB上完整 BF16 权重生成期间显存峰值 5.95GB初始化后 0.85GB数据来源AirLLM 项目实测MIT 协议。原理是48 层混合结构里单层 MoE 只有几 GB逐层从磁盘加载→计算→释放102GB 的 n-gram 表用文件映射放在主机侧取行从不拷进显存。代价是速度——分层加载受磁盘 IO 限制适合验证、微调实验、离线批处理不适合交互式对话。2.4 部署代码路径 AAirLLM 单卡跑完整权重消费级显卡验证用python# 环境要求8GB 显存、64GB 系统内存、数百 GB 空闲磁盘原权重 切片 # pip install -U airllm3.3.0 # pip install githttps://github.com/huggingface/transformers.git # ↑ Flash-Next 需要带 in-tree qwen4_exp 的 transformers目前只在 main 分支 from airllm import AutoModel # delete_originalTrue切片完成后回收原始权重文件省磁盘 model AutoModel.from_pretrained( Qwen/Qwen3.8-Flash-Next, delete_originalTrue, ) input_text [用一句话解释什么是稀疏注意力。] input_tokens model.tokenizer( input_text, return_tensorspt, return_attention_maskFalse, truncationTrue, max_length128, paddingFalse, ) generation_output model.generate( input_tokens[input_ids].cuda(), max_new_tokens64, use_cacheTrue, return_dict_in_generateTrue, ) print(model.tokenizer.decode(generation_output.sequences[0]))路径 BSGLang 生产部署官方推荐NVFP4 量化版单卡 TP1bash# pip install sglang[all] # 需 Day-0 支持版本请按官方 cookbook 对齐版本号 sglang serve \ --model-path RadixArk/Qwen3.8-Flash-Next-NVFP4 \ --tp 1 \ --linear-attn-prefill-backend flashinfer \ --linear-attn-decode-backend flashinfer \ --mamba-ssm-dtype bfloat16 \ --reasoning-parser auto \ --host 0.0.0.0 --port 30000python# 客户端OpenAI 兼容接口 from openai import OpenAI client OpenAI(base_urlhttp://127.0.0.1:30000/v1, api_keyEMPTY) resp client.chat.completions.create( modelQwen/Qwen3.8-Flash-Next, messages[ {role: user, content: 写一个 Python 函数把 JSONL 转成 Markdown 表格。} ], temperature0.7, max_tokens1024, ) print(resp.choices[0].message.content)⚠️ 许可证提醒Qwen Community License 1.0不是Apache/MIT。对外表述应用「开放权重」而非「开源」商业部署前请逐条核对仓库 LICENSE 义务。三、GLM-5.3-FlashMIT 许可 320B 多模态GLM-5 系列首个原生多模态模型8 月 26 日开源MIT 无修改许可——这是它最硬的卖点。核心参数数据来源Z.ai 官方发布 仓库 config.json45 层语言主干 24 层视觉编码器448px288 路由专家 1 共享每 token top-8。混合稀疏注意力DSA 线性注意力KDA mHC 流形约束超连接 MTP 多 token 预测。30 万亿 token 多模态预训练语料。官方称对比旗舰 GLM-5.3注意力计算降 3.01×、KV cache 降 4.44×。Artificial Analysis 综合智能指数 57 分与 Claude Opus 4.8 持平官方引用。API 定价 0.15/0.15/0.50 每百万 token9 月 9 日前折半。显存现实检查精度权重体积最低硬件官方 vLLM recipeFP8原生~306 GiB4×H200564GB剩 ~250GB 给 KV cache或 8×H100 80GBBF16~612 GiB8×H200Dynamic 2bit GGUF~105–115GB估算128GB 统一内存机器 Unsloth llama.cpp 分支第三方实测记录数据来源LLM Hangar 2026-08-27 在 RunPod 4×H200 SXM 部署从创建请求到端点就绪 34 分钟拉镜像 2 分钟 下载 328GB 权重 14.5 分钟 vLLM 加载编译 15 分钟首个请求 1.9 秒输出 159 token第二个 3.1 秒输出 397 token。整轮验证成本 $10.95。踩坑提醒值得单独标出来GLM-5.3-Flash 的代码在 vLLM main 分支和专用镜像vllm/vllm-openai:glm53-flash里但不在编号 release 中——0.28.0 与权重同日发布早于集成。pip install vllm装完加载会失败。bash# 正确姿势用官方专用镜像 docker run --gpus all -p 8000:8000 \ -v /path/to/GLM-5.3-Flash:/model \ vllm/vllm-openai:glm53-flash \ --model /model \ --tensor-parallel-size 4 \ --max-model-len 32768 \ --trust-remote-codeHopper 架构上KV cache 必须留在 BF16不支持 FP8 KV cache长上下文时显存占用会明显上升做容量规划时别按 FP8 算。四、其余三款各占一个生态位4.1 Hy4 preview腾讯混元08-28770B 总参 / 49B 激活78 层1 稠密 77 MoE256 路由 1 共享专家 top-8原生 MTP 推测解码层Gated DSA IndexCache 稀疏注意力1M 原生上下文Apache 2.0。FP8 权重约 770GB单机消费级完全不可能官方 recipe 是 8 卡 TP。官方基准Terminal-Bench 2.1 85.4、SWE-Bench Pro 65.7、MCP-Atlas 83.7、GPQA Diamond 92.3均为官方数据。内部盲测 2.99 分优于 GLM 5.32.92与 Kimi K32.94。定位很清楚数据中心级 Agent 基座长程编程 / 跨文件办公 / 工具编排。上周四我写过完整部署文见专栏索引这里不重复。4.2 Granite 4.2IBM08-253B / 8B / 30B稠密推理模型Apache 2.0。本周唯一「单卡真的能舒服跑」的通用选项8B BF16 约 17.6GB24GB 卡有余量。原生 OpenAI 格式工具调用8B/30B 含 Agentic RL 训练。官方自测30B 在 SWE-bench Verified 57.00、Terminal-Bench 2.1 29.24、BFCL v4 61.39、AIME25 89.17。上下文 131K 可扩 512K支持 12 语言含中文。python# Granite 4.2-8B 单卡最小可跑示例 # pip install transformers4.57 torch accelerate import torch from transformers import AutoModelForCausalLM, AutoTokenizer MODEL ibm-granite/granite-4.2-8b-instruct tok AutoTokenizer.from_pretrained(MODEL) model AutoModelForCausalLM.from_pretrained( MODEL, torch_dtypetorch.bfloat16, device_mapauto, ) messages [{role: user, content: 用 Python 实现 LRU 缓存要求 O(1) 读写。}] inputs tok.apply_chat_template( messages, add_generation_promptTrue, return_tensorspt ).to(model.device) out model.generate(inputs, max_new_tokens512, temperature0.6, do_sampleTrue) print(tok.decode(out[0][inputs.shape[-1]:], skip_special_tokensTrue))4.3 Parse 5Cohere08-27不是聊天模型别拿它跑 benchmark。2.3B VLM约 4.6GB8,192 上下文专职一件事把 PDF / PPT / JPEG 一次推理转成结构化 Markdown含 HTML 表格、bounding box、图片描述无需前置 OCR。9 种语言稳定含日韩不含中文——这点必须提中文文档需自测。Cohere 自报 ParseBench 79.2胜 Mistral OCR 474.5、Azure Document Intelligence74.3。但要看清口径这是五维中只取三维表格 / 内容忠实度 / 语义格式化的平均值砍掉了图表提取和视觉定位——恰好是大多数解析器崩掉的两维。公开五维榜单上 LlamaParse Agentic 以 84.88 领先Parse 5 未上榜。所以 79.2 是厂商自报子集分值得测但别当定论。API 1.50/1000页。ModelVault单租户Medium1.50/1000页。ModelVault单租户Medium2,500/月按 $0.0015/页 算约 167 万页/月才是盈亏平衡点——低于这个量级用计量 API 更便宜。五、选型决策表从 8GB 笔记本到 8 卡 H200这才是周度盘点该有的东西。按你手上的硬件反查你的硬件推荐模型部署方式现实预期8GB 显存 64GB 内存 SSDQwen3.8-Flash-NextAirLLM 分层流式能跑完整权重峰值 5.95GB但磁盘 IO 限速只适合验证/离线批处理24GB 单卡4090/5090Granite 4.2-8BTransformers / vLLM唯一舒服的交互式选择BF16 17.6GB工具调用开箱可用24GB 单卡 要多模态Qwen3.8-27B上周文章Q4_K_M ~17GB本周新模型里没有 24GB 档的多模态沿用上周方案128GB 统一内存Strix Halo / MacGLM-5.3-FlashUnsloth 分支 2bit GGUF105–115GB估算依赖 Linux 内存解锁量化质量无 Flash 专属数据单卡 NVFP4Qwen3.8-Flash-Next-NVFP4SGLang TP1生产可用路径需对齐 Day-0 版本4×H200 / 8×H100GLM-5.3-FlashvLLMglm53-flash镜像 TP4MIT 许可 多模态 1M 上下文性价比最高的自建方案8×H200 及以上Hy4 preview官方 8 卡 TP recipe生产力 Agent 天花板注意 770GB 权重文档 RAG 流水线Parse 5Parse API / SageMaker167 万页/月走计量 API中文需先自测三条选型原则本周格外适用总参数买显存激活参数买速度。GLM-5.3-Flash 18B 激活很省算力但 320B 全量必须驻留。这条规则本周被反复验证。许可证优先于跑分。Qwen3.8-Flash-Next 分数最漂亮但 Qwen Community License 1.0 有条款GLM-5.3-Flash 分数低几分MIT 无修改。做商业产品时后者省下的法务成本可能更值钱。首日能加载 ≠ 能上生产。GLM-5.3-Flash 的 vLLM release 缺集成、Qwen3.8-Flash-Next 要 transformers main 分支——本周两个头部模型都踩了这个坑。上生产前务必钉住 model revision 引擎版本。六、使用建议与调优提示适用场景私有化 Agent / 编程助手Granite 4.2-8B单卡→ GLM-5.3-Flash多卡是一条清晰的升级路径。长上下文文档处理GLM-5.3-Flash 1M 上下文 Parse 5 做前置解析是本周组合出的最优 RAG 流水线。架构研究 / 微调实验Qwen3.8-Flash-Next 是唯一能在消费级硬件上拆开看 Qwen4 结构的入口。不适用场景拿 Qwen3.8-Flash-Next 的 AirLLM 方案做在线服务——分层加载的延迟撑不住并发。拿 Parse 5 处理中文合同——9 种稳定语言里没有中文零样本精度未知。拿 GLM-5.3-Flash 的 1M 上下文当默认值——Z.ai 自己的评测是在 300K 配合上下文管理做的长上下文的 KV cache 会吃掉 H200 的全部余量。调优提示GLM-5.3-Flash 官方推荐temperature1、top_p0.95reasoning_effort可设max推理默认常开且 reasoning 与 answer 分离返回。Qwen3.8-Flash-Next 用enable_thinking/preserve_thinking/reasoning_effort控制思考模式。MoE 模型上生产前先在小max-model-len下验证工具调用格式和多模态模板再逐步放大上下文并观察 KV cache 曲线别一步到位。七、写在最后这一周真正的信号不是某个模型的分数而是同一周内出现了 2.3B 和 770B 两个极端并且都有人在认真部署。开源生态已经分层完成小模型做流水线零件中模型做单卡主力大模型做数据中心基座。「我该用哪个开源模型」这个问题从今天起应该改成「我的哪一层该用哪个」。数据来源声明本文所有参数量、显存体积、基准分数均来自各家官方模型卡、Hugging Face 仓库配置文件、官方发布博客或已标注的第三方实测报道并在正文中逐项标注「官方数据」「估算」「第三方实测」。本文写作环境无多卡 GPU 条件未进行自主实测tok/s 与显存数字请以你自己硬件上的测量结果为准。发现数据偏差欢迎评论区指正。