MiniCPM-V-4.7-35B-A3B-GPTQ 参数配置完全清单：推荐采样参数与高级参数调优详解

大模型多模态基础模型模型量化本地部署计算机视觉openBMB【免费下载链接】MiniCPM-V-4.7-35B-A3B-GPTQ项目地址https://ai.gitcode.com/hf_mirrors/openbmb/MiniCPM-V-4.7-35B-A3B-GPTQ点击查看免费下载MiniCPM-V-4.7-35B-A3B-GPTQ 是 MiniCPM-V 4.7 视觉多模态 MoE 大模型的 GPTQW4A16量化版本。本文整理该模型的完整参数配置清单包括官方推荐的采样参数temperature、top_p、top_k 等默认值与调优建议、apply_chat_template的高级参数以及 GPTQ 量化方案的完整解读帮你快速完成推理配置。模型概况35B 总参数、3B 激活的 MoE 多模态模型MiniCPM-V 4.7 是 MiniCPM-V 系列的首个 MoE 架构模型支持单图、多图与视频理解。仓库中的关键信息项目数值说明总参数 / 激活参数35B / A3BMoE 混合专家每 token 仅激活约 3B 参数专家数量256 个每 token 选 8 个见 config.jsonnum_experts、num_experts_per_tok上下文长度262144max_position_embeddings超 25 万 token 长上下文量化方式GPTQ W4A16int4 权重 / 16 位激活group_size128、actorderstatic注意力线性注意力 每 4 层 1 次全注意力full_attention_interval4 由于 MoE 的稀疏激活特性该模型在 iPhone 17 Pro Max 上可跑出 13 tokens/s 的解码速度约 3 GB 内存这也是35B-A3B命名的由来。配置文件清单仓库里有哪些关键文件文件作用config.json模型结构、视觉编码器、GPTQ 量化配置generation_config.json默认生成/采样参数recipe.yamlGPTQ 量化方案llm-compressorpreprocessor_config.json图像/视频预处理默认值processor_config.json处理器与切图slice默认值chat_template.jinja对话模板README.md官方用法与推荐参数说明model.safetensors.index.json两个分片权重的索引映射推荐采样参数清单官方 instruct 模式参数表官方在 README.md 中给出的 instruct 模式推荐采样参数如下直接照抄即可参数推荐值作用调优建议do_sampleTrue启用随机采样贪心解码可设为False结果更确定但易重复temperature0.7采样温度偏低0.5–0.7更稳定偏高0.8–1.0更发散top_p0.95核采样阈值与top_k同时生效时取更严格者top_k100候选词数量上限小样本场景可降到 20–50 收敛输出min_p0.0相对概率下限默认关闭即可presence_penalty0话题惩罚出现跑题/复读时可调到 0.3–1.0repetition_penalty1.03重复惩罚轻惩罚抑制套话过高会损伤自然度⚠️ 注意 generation_config.json 中的默认值是temperature1.0、top_k20、top_p0.95见 generation_config.json#L3-L10。默认配置更随机保守而官方推荐值temperature0.7、top_k100在问答与视觉理解任务上表现更好。建议在generate()中显式传入上表参数覆盖默认值。最小可运行的推理片段generated_ids model.generate( **inputs, downsample_mode16x, # 必须与 apply_chat_template 保持一致 max_new_tokens512, # 官方推荐 instruct 模式采样参数 do_sampleTrue, temperature0.7, top_p0.95, top_k100, min_p0.0, presence_penalty0, repetition_penalty1.03, )高级参数调优图像与视频处理参数除采样参数外README.md 提供了 5 个高级参数全部通过apply_chat_template传入用于在视觉细节与推理成本之间权衡参数默认值适用范围说明与推荐downsample_mode16x图像 视频视觉 token 压缩比16x省算力4x保留 4 倍 token 看更细细节。必须同时传给generate()max_slice_nums9图像 视频高分辨率图切分数上限。官方推荐图像 36、视频 1max_num_frames128仅视频主帧采样上限长视频可下调以省显存stack_frames1仅视频每秒采样点数1仅主帧推荐3或5主帧子帧网格合成use_image_idTrue图像 视频是否在每张图前加image_idN标签。推荐图像True视频False默认值可在 processor_config.json 中核对例如downsample_mode16x、max_slice_nums9、max_num_frames128、stack_frames1、use_image_idtrue。按场景的参数组合速查OCR / 文档 / 小目标识别downsample_mode4xmax_slice_nums36use_image_idTrue牺牲速度换细节。️常规图像问答downsample_mode16xmax_slice_nums9默认即可。长视频理解max_slice_nums1max_num_frames128use_image_idFalse动作快的视频把stack_frames提到3或5max_new_tokens相应放大到 2048。⚡端侧 / 低显存保持16x压缩 适度降低max_num_frames配合 GPTQ 4 位权重可显著降低内存占用。 常见坑downsample_mode只传给apply_chat_template而没传给generate()会导致占位 token 数量与视觉编码器输出不匹配而报错。GPTQ 量化配置详解recipe.yaml 与 config.json本仓库是 W4A16 GPTQ 量化版本量化方案由 recipe.yaml 定义llm-compressor 的GPTQModifier配置项值含义schemeW4A16权重 4 位整型、激活 16 位通用且兼容性好block_size128每 128 个权重共享一组 scale/zero-point对应config.json中group_size: 128actorderstatic静态排序优化 GPTQ 误差传播dampening_frac0.01Hessian 阻尼系数提升量化数值稳定性requires_calibration_datatrue量化时使用校准数据集targets/ignore仅Linear视觉塔、merger、self_attn、linear_attn、mlp.gate、shared_expert、lm_head等保持 BF16 不量化量化后的完整配置记录在 config.json 的quantization_config字段quant_method: compressed-tensorsformat: pack-quantized。解读只对专家路由的专家矩阵做 4 位量化注意力、门控、视觉编码器保留全精度——这既省显存又保住了 MoE 路由精度与视觉质量是端侧流畅推理的关键设计之一。架构参数速查text_config 关键项以下为 config.jsontext_config中值得了解的结构参数一般无需改动供排查问题与估算显存时参考参数值说明hidden_size2048语言模型隐层维度num_hidden_layers4040 层layer_types中标注线性/全注意力分布num_attention_heads/num_key_value_heads16 / 2GQAKV 头压缩利于长上下文缓存head_dim256每头维度rope_theta10000000大 RoPE 基频支撑 262144 上下文partial_rotary_factor0.25仅 25% 维度应用旋转位置编码vocab_size248144含图像/视频特殊 tokenimage_token_id248056、video_token_id248057mrope_section[11, 11, 10]多模态 RoPE 的 t/h/w 分段mrope_mode: canvas视觉侧vision_config27 层 ViT、hidden_size1152、patch_size14原始输入分辨率 980、缩放基准 448并通过merge_kernel_size[2,2]merger_times1做视觉 token 合并。常见问题速答Q1为什么建议用官方推荐参数而不是 generation_config 默认值默认temperature1.0 top_k20适合探索性生成官方推荐的temperature0.7 top_k100 top_p0.95是在图像/视频问答基准上验证过的 instruct 模式最优组合回答更准确稳定。Q24 位量化会明显掉点吗本仓库采用W4 权重 BF16 激活 关键模块不量化的策略配合block_size128细粒度分组精度损失远小于整层粗粒度量化官方也将其定位为性能-效率帕累托前沿方案。Q3显存不够怎么办依次尝试downsample_mode16x已是高压缩、降低max_slice_nums、视频降低max_num_frames、单卡改为device_mapauto多卡分片。总结配置 MiniCPM-V-4.7-35B-A3B-GPTQ 的核心就三件事采样参数temperature0.7, top_p0.95, top_k100, min_p0.0, presence_penalty0, repetition_penalty1.03视觉参数按任务在4x/16x压缩与max_slice_nums之间权衡图像 36 / 视频 1量化参数无需干预recipe.yaml已定义好 W4A16、block_size128、静态 actorder 的 GPTQ 方案。照着本文清单配置即可在图像、视频、OCR 等不同场景下快速获得稳定输出。赞分享大模型多模态基础模型模型量化本地部署计算机视觉openBMB【免费下载链接】MiniCPM-V-4.7-35B-A3B-GPTQ项目地址https://ai.gitcode.com/hf_mirrors/openbmb/MiniCPM-V-4.7-35B-A3B-GPTQ点击查看免费下载相关推荐MiniCPM-V-4.7-35B-A3B-mxfp4配置文件详解config.json与量化配置关键参数完全参考MiniCPM V 4.7 35B A3B mxfp4配置文件详解config.json与量化配置关键参数完全参考 MiniCPM V 4.7 35B A3Bdownsample_mode、max_slice_nums、stack_frames都怎么用MiniCPM-V 4.7-35B-A3B-FP8高级参数调优手册downsample_mode、max_slice_nums、stack_frames都怎么用MiniCPM V 4.7 35B A3B FP8高级参数调优手大模型多模态模型量化本地部署openBMB图片细节识别不准怎么办MiniCPM-V-4.7-35B-A3B-mxfp8下采样模式与采样参数调优完全指南图片细节识别不准怎么办MiniCPM V 4.7 35B A3B mxfp8下采样模式与采样参数调优完全指南 用 MiniCPM V 4.7 35B A3B上一篇5步解锁720P视频生成Wan2.2-TI2V-5B本地部署实战指南下一篇CS-Script最佳实践代码组织与项目架构设计创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考