Coder390 已知局限与 FAQ：NVFP4 GPQA 为何只有 172、长尾 48K 题为何仍掉点

基础模型大模型多模态模型量化模型评测本地部署【免费下载链接】Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2项目地址https://ai.gitcode.com/hf_mirrors/nerkyor/Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2点击查看免费下载Coder390Qwen3.8-27B-Coder390-EfficientThink已知局限与 FAQNVFP4 W4A4-W8A8 量化版的 GPQA 得分为 172/198比 BF16 / 静态 FP8 的 178 低 6 分思考超过 48K token 的长尾题正确率也仍明显偏低。本文用仓库内的分桶数据逐段拆解 NVFP4 量化掉点的原因、4-bit 与 8-bit 的取舍以及专治停不下来为什么没有彻底消灭长尾。上图为仓库卡片中的 FP8 对比原版对比图实际文件为 LFS 指针时无法渲染可忽略核心数据见下方表格。先对齐口径172 是怎么测出来的项目设置题目量GPQA 198、MMLU 500、LCB 100全量协议100K 上下文、94,208 token 生成上限、客户端不计超时、开 DFlash2 投机、SGLang硬件NVFP4 三档为单张 RTX PRO 6000、C8BF16 / FP8 为两卡、每卡 C8计分空答记错截断但答对记对失败样本全部留在分母原始记录可查 evaluation/SCORES_NVFP4_MIXED.jsonW4A4-W8A8 档、evaluation/SCORES_NVFP4_W4A16.json 与 evaluation/SCORES_NVFP4_W4A4.json完整口径见 README.md 的「NVFP4 三档」一节。一、GPQA 1726 个丢分点花在哪先看 GPQA 按思考长度分桶的成绩答对题数/桶内题数思考长度桶静态 FP8178/198NVFP4 W4A4-W8A8172/1982K82/8479/822–12K68/7458/6312–24K17/1919/2224–48K9/1714/22≥48K2/42/9三个可以直接读出的结论短题几乎不亏。2K 与 2–12K 桶的单题正确率两种精度都在 92%–97% 区间差距在采样噪声范围内。4-bit 权重 4-bit 激活没有伤简单题。丢分的主战场是 24K 长推理区。静态 FP8 只有 21 道题滑进 24K 区间NVFP4 混合档有 31 道该区两种精度的单题正确率都只有五成上下9/17 2/4 vs 14/22 2/9是全套题里最弱的地带。为什么 NVFP4 的题更多滑进长桶看思考长度分位数就清楚了档位P50P70P90静态 FP82,9667,83226,431NVFP4 W4A4-W8A82,95310,01035,731P50 基本一样都是简单题快速答完但 P70 涨了约 28%、P90 涨了约 35%。合理解释是4-bit 精度让每步推理带更多噪声模型更频繁地走再验算一遍的自纠错回路推理被拉长而恰恰是长推理区模型最弱于是 6 分的差距主要花在了这里——不是量化把简单题做错了而是量化把更多题推进了弱区。另外该档 GPQA 的 2 次 94K 截断第 74、79 题与 4 个空答第 24、74、79、127 题中第 74、79 题同时是截断 空答已知局限中还提到 GPQA 的空答在三种精度下都出在同两道分子生物题上属于题目本身的老问题与量化无关。为什么混合精度 W4A4-W8A8 比纯 W4A4 多 5 分档位GPQAMMLULCB包大小NVFP4 W4A1617043991≈19.2 GiBNVFP4 W4A416744092≈19.2 GiBNVFP4 W4A4-W8A817244288≈22.1 GiB三档用的是同一份校准数据和算法唯一区别是层布局详见 evaluation/NVFP4_CALIBRATION_METHOD.mdW4A16400 个 Linear 层用 NVFP4 权重激活保持 BF16W4A4同样 400 层激活也压到 NVFP4W4A4-W8A8MLP gate/up/down192 层用 NVFP4 W4A4全注意力 q/k/v/o 与线性注意力投影208 层保留 FP8 W8A897 个敏感层in_proj_a/b、lm_head等保持 BF16。GPQA 上 167 → 172 的回升说明注意力路径是长链推理对精度最敏感的部分。把注意力留在 8-bit等于保住了多步推导中最容易累积误差的那一段代价只是包体从 19.2 GiB 涨到 22.1 GiB。量化元数据MIXED_PRECISION格式逐层标NVFP4/FP8见 NVFP4/W4A4-W8A8/hf_quant_config.jsonSGLang 自动识别为modelopt_mixed免补丁加载。二、长尾 48K为什么治好了停不下来却没治干净Coder390 的 RLOO 训练目标是去掉无效长尾、保留必要长推理。看奖励设计就明白为什么长尾只能压缩、不能清零情形奖励短且对24K1.05长且对1.0短且错24K−0.2错24K–48K−0.5错≥48K−0.7写到 94K 有选项但错−0.9空答−1.0惩罚只打在错的一侧一条 60K token 但答对的轨迹照样拿 1.0。这是刻意的——真需要长推导的题多步证明、复杂题解如果一长就罚模型会学会提前交卷。所以成果同口径下 94K 截断从原版 FP8 的 GPQA 4 道 / LCB 13 道压到 Coder390 各档的 1–2 道 / 2–4 道残留思考 ≥48K 的题单题正确率依然只有两三成静态 FP8 的 LCB ≥48K 桶仅 2/8GPQA ≥48K 桶 2/4NVFP4 MIXED 的 GPQA ≥48K 为 2/9。这部分题本身就在能力边界上48K 的推导链条越长每一步的小误差累积越明显量化版会更早偏轨94K 上限仍会被顶到静态 FP8 的 LCB 仍有 3 道写满 94,208NVFP4 MIXED 的 GPQA 有第 74、79 两道。这些题的共性是会做但刹不住或越算越绕属于已知局限中明确承认长尾仍未消除的部分。一句话RLOO 把无效长尾答完还反复 Wait/Actually压掉了把必要长尾留了下来而必要长尾恰好是正确率最低的区域——所以你会看到分数上长尾题仍掉点这既是训练目标的设计取舍也是 4-bit 量化在长链上的额外损耗。三、FAQ常见疑问速答Q1NVFP4 的校准数据用的是 GPQA 题吗会不会背题不会。校准集是512 条、约 173.5 万 token的完整轨迹提示 思考 最终答案全部取自 Coder390 自己 RLOO 训练数据中答对且答案非空的 rollout172 组轮转取样、单条最多 4,096 token319 条被截断到上限官方 GPQA / MMLU / LCB 的题目一条都不进校准清单与 sha256 记录在 evaluation/NVFP4_CALIBRATION_METHOD.md。这同时意味着另一层含义校准集单条最长 4,096 token模型并没有在上万 token 长推理的激活分布上做过针对性校准——长尾区表现一般与此有关。Q2172 和 178 的差距全是量化锅吗不全是。两部分要分开其一是固有题难——GPQA 有两道分子生物题在三种精度下都会空答属于题目老问题其二是量化效应——如上文的分桶分析主要体现为更多题滑入 24K 弱区。MMLU 上三档439/440/442与 BF16/FP8445–450的差距也在 1–5 分内README 明确标注 445–450 本身属于采样抖动不宜跨口径直接比较。Q3LCB 为什么 MIXED 档 88 分反而低于 W4A4 的 92LCB 只有 100 题±3 分在采样波动量级内但分桶看也有结构因素MIXED 的 LCB 在 24–48K 桶只有 7/10且 24K 区合计 19 题只对了 11 题——与 GPQA 同样的长推理区更弱模式。纯 W4A4 的 LCB92反而最高说明编码任务对全 4-bit的敏感度低于科学推理。按精度选档时建议以三套成绩一起看而不是单看一项。Q494K 截断后答对了算不算数算。评分规则是截断但答对记对空答记错失败样本全部留在分母。所以表里 GPQA 的 172 已包含写到上限但挤出了正确选项的样本数字是偏保守口径不是挑好的。Q5生产环境到底选哪个档要最高正确率BF16BF16/约 51.8 GiB或静态 FP8FP8/约 31.4 GiBGPQA 都是 178单卡要小体积 速度NVFP4 三档都是 19–22 GiB 级DFlash2 下单请求可达 211–218 tok/sFP8 档不开投机只有约 45 tok/s。GPQA 上W4A4-W8A8172 W4A16170 W4A4167纯精度角度优先 MIXEDLCB 视角则是 W4A4 领先按你的业务题型取舍显存 ≤24GB 端侧另看 GGUF/ 的 Q2/Q3 LynnStyle内置 MTP其中 Q2 包约 12.4 GiB是 16GB 卡的推荐起步档。四、已知局限清单原文要点以上 FAQ 汇总自 README.md 的「已知局限」一节核心几条GPQA 空答在三种精度下都出在同两道分子生物题是题目老问题与量化无关长尾未消除≥48K 题正确率明显偏低静态 FP8 LCB ≥48K 为 2/8LCB 仍有 3 道写满 94KMMLU 445–450 属采样抖动分数依赖 100K / 94,208 上限 / 不计超时这一口径跨口径比较无意义NVFP4 只在 SGLang 上验证FP8 包另做了 vLLM 冒烟vLLM 0.28 MTP 对 FP8 暂不可用INT8 W8A8 / INT4 W4A16 仅 vLLM 可加载NInfer 包仅 NInfer 引擎可加载。结论172 不是量化把题做错了而是量化让更多题滑进了本来就弱的 24K 长推理区长尾题掉点则是 RLOO 奖励设计长而正确仍给正分与 4-bit 长链误差叠加的必然结果。两者都有数据支撑、可复现、已如实标注在仓库内。赞分享基础模型大模型多模态模型量化模型评测本地部署【免费下载链接】Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2项目地址https://ai.gitcode.com/hf_mirrors/nerkyor/Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2点击查看免费下载相关推荐如何高效管理网页媒体资源猫抓浏览器插件的完整使用指南如何高效管理网页媒体资源猫抓浏览器插件的完整使用指南 在当今数字时代网页浏览已成为我们获取信息和娱乐的主要方式。然而当你在网页上遇到精彩的视频教程、动听的音视频Catch2测试局限已知问题说明Catch2测试局限已知问题说明 概述 Catch2作为现代C测试框架的佼佼者虽然功能强大且易于使用但在实际应用中仍存在一些固有的局限性。本文深入分析测试开发工具CXX 的局限性剖析为什么 Chromium 只在叶子节点使用 RustCXX 的局限性剖析为什么 Chromium 只在叶子节点使用 Rust 本篇技术指南以 comprehensive rust 课程中 Chromium文档教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考