Qwen3-Next-80B-A3B-Instruct重磅发布：下一代混合架构大模型完全指南

Qwen3-Next-80B-A3B-Instruct 是 Qwen3-Next 系列首发的下一代混合架构大模型：总参数 800 亿，每 token 仅激活 30 亿，原生支持 256K 上下文（可扩展至 100 万 token），以 10% 的训练成本超越了 Qwen3-32B 基座，在 32K 以上长上下文中推理吞吐提升 10 倍。本指南将带新手快速看懂它的四大架构创新、核心规格、仓库文件结构，并给出一键部署与超长上下文扩展的完整方法。

🚀 四大核心亮点：混合架构到底强在哪

Qwen3-Next-80B-A3B 通过架构创新实现了"更强的模型、更低的成本、更快的推理"，核心升级有四点：

• 混合注意力（Hybrid Attention）：用 Gated DeltaNet（线性注意力）+ Gated Attention（门控注意力）的组合替代标准注意力，48 层中每 4 层才用 1 层全注意力，使超长上下文建模既高效又精准；
• 高稀疏 MoE（混合专家）：每层 512 个专家，每个 token 仅激活 10 个专家加 1 个共享专家，大幅降低单 token 计算量，同时保留完整模型容量；
• 稳定性优化：引入零中心化、带权重衰减的 LayerNorm 等技术，让预训练与后训练更加稳健；
• 多 Token 预测（MTP）：提升预训练质量，并可直接加速推理生成。

性能表现（来自 README.md 官方数据）：

💡 注意：该模型仅支持 instruct（非思考）模式，输出中不会出现 思考块，适合追求响应速度的在线服务场景。

📊 模型核心规格一览

完整参数定义见 config.json，关键规格如下：

📁 仓库文件结构说明

本仓库是一个标准的 Hugging Face 模型仓库，41 个model-XXXXX-of-00041.safetensors分片构成完整权重。各配置文件的作用如下：

🏃 快速上手：3 步在本地跑通模型

第 1 步：安装依赖。Qwen3-Next 的代码已合并进transformers主分支，旧版本会报KeyError: 'qwen3_next'，务必使用最新开发版：

pip install git+https://github.com/huggingface/transformers.git@main

第 2 步：下载模型权重。

git clone https://gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct

第 3 步：加载并生成。80B 参数建议使用多卡自动分配：

from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "Qwen/Qwen3-Next-80B-A3B-Instruct" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained( model_name, dtype="auto", device_map="auto" ) messages = [{"role": "user", "content": "Give me a short introduction to large language model."}] text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) model_inputs = tokenizer([text], return_tensors="pt").to(model.device) generated_ids = model.generate(**model_inputs, max_new_tokens=16384) print(tokenizer.decode(generated_ids[0][len(model_inputs.input_ids[0]):], skip_special_tokens=True))

⚠️ MTP 加速在 Hugging Face Transformers 中暂不可用；对吞吐有要求时，建议改用下方的专用推理框架。

🖥️ 生产部署：SGLang 与 vLLM 一键启动命令

部署推荐使用 SGLang 或 vLLM，两者都能启动 OpenAI 兼容 API，并支持 MTP 推测解码加速。

SGLang 部署步骤（要求sglang>=0.5.2）

pip install 'sglang[all]>=0.5.2' python -m sglang.launch_server --model-path Qwen/Qwen3-Next-80B-A3B-Instruct \ --port 30000 --tp-size 4 --context-length 262144 --mem-fraction-static 0.8

启用 MTP 加速时追加参数：

--speculative-algo NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4

vLLM 部署步骤（要求vllm>=0.10.2）

pip install 'vllm>=0.10.2' vllm serve Qwen/Qwen3-Next-80B-A3B-Instruct --port 8000 \ --tensor-parallel-size 4 --max-model-len 262144

启用 MTP 加速时追加参数：

--speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'

📌 默认上下文为 256K，若服务器启动失败，可先把--context-length/--max-model-len降到32768再逐步调高。

🔭 256K 超长上下文如何扩展到 1M tokens

官方已用 YaRN 方法验证了 100 万 token 上下文下的效果（RULER 1M 基准平均分 91.8，384K 处仍保持 86.9）。两种启用方式：

方式一：修改 config.json 增加字段

"rope_scaling": { "rope_type": "yarn", "factor": 4.0, "original_max_position_embeddings": 262144 }

方式二：启动时传参（vLLM 示例）：

VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 vllm serve ... \ --rope-scaling '{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":262144}' \ --max-model-len 1010000

💡 静态 YaRN 的缩放因子恒定，可能对短文本性能有轻微影响，仅在确需长上下文时再添加rope_scaling配置。若业务典型长度为 524K，建议把factor调为 2.0。

⚙️ 最佳实践：推荐采样参数与输出长度

官方推荐的生成参数已内置于 generation_config.json，手动设置时建议保持一致：

• 采样参数：Temperature=0.7、TopP=0.8、TopK=20、MinP=0；可用presence_penalty（0~2）抑制重复，但过高可能导致语言混杂；
• 输出长度：多数问题预留16,384 tokens输出即可；
• Agent 场景：模型工具调用能力突出，可结合 Qwen-Agent 框架，通过 MCP 配置文件接入自定义工具；
• 评测规范：数学题在 prompt 中加入 "put your final answer within \boxed{}"，选择题要求以"answer": "C"的 JSON 格式输出选项。

❓ 常见问题 FAQ

Q1：加载时报KeyError: 'qwen3_next'？transformers版本过旧，升级到主分支最新开发版即可解决。

Q2：服务器启动失败、显存不足？先把上下文长度从 262144 降到 32768，确认能启动后再按需调高；多卡时确保--tp-size与 GPU 数量匹配。

Q3：为什么不输出 思考内容？Instruct 版仅支持非思考模式，这是设计如此，可获得更快的首 token 响应。

Q4：MTP 能用在 transformers 里吗？目前暂不支持，需通过 SGLang / vLLM 的推测解码参数启用。

Qwen3-Next-80B-A3B-Instruct 用混合注意力 + 高稀疏 MoE + MTP 的组合，展示了"小激活、大容量、长上下文"的下一代大模型路线。无论是本地实验还是生产部署，从上面的快速上手到一键启动命令，你都已经具备了把它跑起来的完整知识。