gemma-4-26B-A4B-it-OptiQ-4bit-REAP-14B 文件地图：config.json、kv_config.json 与 optiq_metadata.json 详解指南

【免费下载链接】gemma-4-26B-A4B-it-OptiQ-4bit-REAP-14B项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-26B-A4B-it-OptiQ-4bit-REAP-14B点击查看免费下载如果你下载了 gemma-4-26B-A4B-it-OptiQ-4bit-REAP-14B面对一堆 config.json、kv_config.json、optiq_metadata.json 是不是有点懵这个仓库是 Google Gemma 426B MoE、每 token 激活 4B 参数经OptiQ 混合精度量化 REAP 专家剪枝后的 Apple Silicon 本地部署版磁盘占用从 17.5 GB 降到 10.4 GB运行内存从 16.4 GB 降到 9.4 GB而每个 token 激活的专家数保持不变。本文将逐个文件带你读懂这张模型身份证。 30 秒看懂这个模型指标父模型OptiQ-4bit本模型REAP-14B变化磁盘占用17.5 GB10.4 GB−40%峰值内存16.4 GB9.4 GB−42%参数量25.8B14.3B−45%能力评分75.7568.13−7.62做法很简单粗暴每层 128 个路由专家砍掉一半保留 64 个top-8 路由不变所以变小但不变慢。保留下来的专家是从父量化模型逐位拷贝的——没有反量化、没有合并、没有重训练。剪枝方法为 REAPCerebras ResearchICLR 2026详见 README.md。️ 文件地图总览文件作用一句话解读config.json主配置72 KB模型结构 每个张量的量化位宽kv_config.jsonKV Cache 量化配置2 KB30 层各自的 KV 缓存位宽optiq_metadata.jsonOptiQ 处理档案59 KB量化与剪枝的完整手术记录generation_config.json生成参数默认的 temperature / top_k / top_ptokenizer_config.json、tokenizer.json分词器262K 词表、工具调用特殊 tokenchat_template.jinja对话模板19 KBGemma 4 官方对话模板model-00001-of-00003.safetensors 等 3 片模型权重按 model.safetensors.index.json 映射optiq/optiq_vision.safetensors视觉侧车bf16 视觉编码器独立存放 config.json 详解模型身份 量化排班表config.json 内容很多2800 余行但骨架只有四块模型身份、逐张量量化方案、文本/视觉结构、OptiQ 剪枝账本。模型身份与总体量化顶层字段表明这是一只多模态 MoEarchitectures为Gemma4ForConditionalGenerationmodel_type为gemma4。核心的量化方案写在quantization块config.json#L21bits: 4、group_size: 64、mode: affine默认按 64 个权重一组做 4-bit 仿射量化每组一个缩放系数 偏置对应权重文件里的scales/biases。其后是一长串逐张量例外embed_tokens、各层注意力q/k/v/o_proj、共享 MLP、router.proj等被指定为8-bit而占比最大的专家权重experts.switch_glu.*大多数保持4-bit如 config.json#L277-L288。这就是混合精度小而敏感的层给高精度大而冗余的专家用 4-bit 省空间。text_config30 层 MoE 与混合注意力text_configconfig.json#L2639-L2717描述了文本主干参数值含义num_hidden_layers30总层数hidden_size2816隐藏维度num_experts64剪枝后每层专家数原始 128top_k_experts8每 token 激活 8 个专家moe_intermediate_size704专家 FFN 中间维度sliding_window1024滑动注意力窗口max_position_embeddings262144支持 256K 上下文vocab_size262144词表大小两个细节值得注意layer_types数组里 30 层中只有第 6、12、18、24、30 层是full_attention其余 25 层是 1024 窗口滑动注意力——省 KV 内存的关键设计rope 方面full attention 层用proportional方式partial_rotary_factor: 0.25rope_theta: 1000000.0滑动层用rope_theta: 10000.0。vision_config 与 optiq_vision视觉侧车vision_config定义了一个gemma4_vision编码器27 层、hidden_size: 1152、patch_size: 16每张图编码为 280 个软 token。但注意视觉权重不在3 个主权重分片里而是按optiq_vision块config.json#L2765-L2770指向侧车文件 optiq/optiq_vision.safetensorsbf16、356 个张量。optiq_mep剪枝账本文件末尾的optiq_mep块config.json#L2771-L2807是剪枝结果的回执original_num_experts: 128→experts_per_layer每层均为64uniform: true均匀保留num_experts_per_tok: 8→ 激活专家数不变推理速度不受影响 kv_config.json 详解KV Cache 的逐层量化排班kv_config.json 是一个 30 元素的数组每个元素形如{layer_idx, bits, group_size}规定每一层 KV Cache 的缓存位宽组大小 64。这是长上下文本地的救命配置——KV 缓存随上下文线性膨胀把它量化能省下可观内存层号KV 位宽层数0、3、4、5、8、9、11、128-bit8 层其余层1、2、610、13294-bit22 层可以看到又是同一套混合精度思路对校准中更敏感的层保留 8-bit其余用 4-bit。修改推理框架的 KV 量化行为时只需对照这张表即可。✂️ optiq_metadata.json 详解OptiQ 的手术记录optiq_metadata.json 记录了这个模型从google/gemma-4-26B-A4B-it加工成品的全部过程分两大块。混合精度量化记录文件头部optiq_metadata.json#L1-L10字段值解读methodoptiq_mixed_precision混合精度量化referenceuniform_4bit对照组全 4-bittarget_bpw/achieved_bpw5.0 / 5.0013目标平均 5 bit/参数实际达成n_high_bits/n_low_bits246 / 798-bit 张量 246 个、4-bit 张量 79 个per_layer逐张量位宽与 config.json 的quantization块互为镜像也就是说最终平均 5 bit的效果是靠 246 个 8-bit 张量 79 个 4-bit 张量调配出来的。expert_pruningREAP 剪枝档案expert_pruning块optiq_metadata.json#L1312-L1357是 REAP 剪枝的完整档案来源parent_model为mlx-community/gemma-4-26B-A4B-it-OptiQ-4bitnum_experts_before: 128收益expert_bytes_before15,130,165,248 →expert_bytes_after7,565,082,624 字节专家权重体积精确减半方法method: reap、ranking: saliency按路由权重 × 专家输出范数的显著性排序、retention_target: 0.5保留一半可复现性calibration_mix: optiq、calibration_samples: 8、seed: 42保留名单retained_experts逐层列出保留的 64 个专家编号0–127 中例如第 0 层保留[1, 3, 4, 5, 6, 7, 8, 11, …]optiq_metadata.json#L1358-L1409——想审计谁被剪了查这里就行 其余配置文件速览generation_config.json仅 208 B默认采样temperature: 1.0、top_k: 64、top_p: 0.95、do_sample: true结束符eos_token_id: [1, 106, 50]。tokenizer_config.jsonGemmaTokenizerGemma4Processor定义了图像/音频/视频特殊 token对应 config.json 里的 258880–258884 等 ID、思考 token|think|和gemma4工具调用解析规则tool_parser_type: gemma4response_schema正则。chat_template.jinjaGemma 4 官方对话模板2026-07-09 版390 行内置工具调用循环与思考内容的顺序处理。model.safetensors.index.jsonmetadata.total_size为 10,058,707,260 字节约 9.4 GiBweight_map把每个张量映射到 3 个分片每个量化张量都对应weight/scales/biases三条记录。 快速上手装好工具后一条命令起服务需要 16 GB 内存的 M 系芯片峰值占用约 9.4 GBpip install mlx-optiq optiq serve --model mlx-community/gemma-4-26B-A4B-it-OptiQ-4bit-REAP-14B也可以用 MLX 生态直接加载生成from mlx_lm import load, generate model, tok load(mlx-community/gemma-4-26B-A4B-it-OptiQ-4bit-REAP-14B) print(generate(model, tok, promptHello, max_tokens64))⚖️ 值不值得用先看代价剪枝不是免费的。官方基准摘自 README.md基准父模型本模型ΔMMLU65.038.9−26.1GSM8K93.889.1−4.7IFEval73.080.87.8HumanEval90.272.0−18.2规律很清晰指令遵循反而提升知识类MMLU与编程HumanEval损失明显。如果你的场景以对话、指令执行、轻量推理为主且内存吃紧这个 10.4 GB 的版本非常划算若重度依赖百科知识或代码能力建议直接用父模型或用optiq prune-experts --retain 96保留 75% 专家换更小损失。一句话总结config.json 是模型的身份 排班表kv_config.json 管 KV 缓存的逐层位宽optiq_metadata.json 则是量化与剪枝的完整病历——三者对照着看这个 REAP-14B 的来龙去脉就全清楚了。赞分享【免费下载链接】gemma-4-26B-A4B-it-OptiQ-4bit-REAP-14B项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-26B-A4B-it-OptiQ-4bit-REAP-14B点击查看免费下载相关推荐深度拆解gemma-4-26B-A4B-it-OptiQ-4bit-REAP-14B架构30层滑窗注意力、256K长上下文与64专家MoE路由深度拆解gemma 4 26B A4B it OptiQ 4bit REAP 14B架构30层滑窗注意力、256K长上下文与64专家MoE路由 gemma 4读懂模型档案XYZ-Aquila-mini-OptiQ-4bit 的 config.json、kv_config.json 与 optiq_metadata.json 完整解读读懂模型档案XYZ Aquila mini OptiQ 4bit 的 config.json、kv_config.json 与 optiq_metadata.XYZ-Aquila-mini-OptiQ-4bit-REAP-18B 模型文件完全解读config.json、kv_config.json 与 safetensors 索引逐个拆解XYZ Aquila mini OptiQ 4bit REAP 18B 模型文件完全解读config.json、kv_config.json 与 safete上一篇OpenUSD usdLux 之 DomeLight_1 详解基于 HDR 环境贴图的穹顶光IBL方案下一篇Dagger TypeScript SDK 的 FileContentsOpts 详解用 offsetLines 与 limitLines 精准读取文件内容创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考