MPO混合偏好优化揭秘：InternVL3-78B-Pretrained系列推理能力+4.1分的训练算法

【免费下载链接】InternVL3-78B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3-78B-Pretrained点击查看免费下载InternVL3-78B-Pretrained 是 InternVL3 系列 78B 参数多模态大模型的预训练权重版本。本文带你快速搞懂让该系列推理能力提升4.1 分的关键训练算法——MPOMixed Preference Optimization混合偏好优化它解决什么问题、如何工作、消融数据如何证明收益来自算法本身。为什么需要 MPO训练与推理的分布不匹配问题多模态大模型MLLM在训练时有一个隐藏的坑训练阶段模型基于标准答案ground-truth中的前序 token预测下一个 token推理阶段模型只能基于自己之前生成的 token往下预测。这两者的输入分布不一致会产生distribution shift分布偏移直接损害模型的Chain-of-ThoughtCoT思维链推理能力——简单说就是平时跟着标准答案做题没问题自己考试时却容易跑偏。MPO 正是为此设计的它引入正样本positive与负样本negative双重监督把模型的回复分布拉回到标准答案分布上从而修复推理短板。 MPO 最早由 InternVL2.5-MPO 提出InternVL3 系列将其作为标准后训练阶段之一继续打磨。MPO 如何工作三大损失函数拆解MPO 的训练目标由三部分加权组合而成$$ \mathcal{L}w_{p}\cdot\mathcal{L}{p} w{q}\cdot\mathcal{L}{q} w{g}\cdot\mathcal{L}_{g} $$损失项符号通俗理解偏好损失$\mathcal{L}_p$用正/负样本对比让模型学会什么是好的回答质量损失$\mathcal{L}_q$约束正样本本身的高质量避免劣币驱逐良币生成损失$\mathcal{L}_g$保证回复稳定、流畅地生成其中 $w_*$ 是各损失项的权重系数。三者协同既教模型分辨好坏又保住表达能力。MPO 消融数据4.1 分的推理提升从何而来这是本文最硬核的结论。官方消融实验在7 个多模态推理基准上对比了用 MPO 微调与不用 MPO的模型InternVL3-78B比不用 MPO 的对应版本高出4.1 分InternVL3-38B高出4.5 分更关键的一点MPO 使用的训练数据是 SFT监督微调数据的一个子集。这意味着能力提升主要来自训练算法本身而非更多数据——对于数据资源有限的团队这一点尤其值得关注。InternVL3-78B-Pretrained 训练流程全景MPO 在整个训练链路中处于临门一脚的位置完整流程共四步Native Multimodal Pre-Training原生多模态预训练把图文、视频、多模态交错数据与大规模纯文本语料混合在同一个预训练阶段同时学语言与视觉省去了单独的模态对齐模块SFT监督微调沿用 InternVL2.5 的随机 JPEG 压缩、平方损失重加权、多模态数据打包等技术并扩展到工具使用、GUI 操作、长上下文、视频理解等场景MPO混合偏好优化即本文主角专攻推理能力Test-Time Scaling测试时扩展采用 Best-of-N 策略配合VisualPRM-8B作为评审模型挑选最优推理答案。架构上该模型延续 ViT-MLP-LLM 范式视觉端为 InternViT-6B-448px-V2_5语言端为 Qwen2.5-72B中间用 MLP 投影层连接通过 pixel unshuffle 将视觉 token 压缩为原来的 1/4并采用 448×448 动态分辨率切片与V2PE可变视觉位置编码增强长上下文理解。具体参数可参考 config.json模型实现分别在 modeling_internvl_chat.py 与 modeling_intern_vit.py。InternVL3-78B 快速上手两步加载推理⚠️注意本仓库是预训练版本尚未经过 SFT 与 MPO 后训练指令遵循能力有限。想直接体验完整的多模态对话效果请使用完成全部后训练的 InternVL3-78B 版本。若需加载本预训练权重做研究或二次训练只需transformers4.37.2import torch from transformers import AutoTokenizer, AutoModel model AutoModel.from_pretrained( OpenGVLab/InternVL3-78B-Pretrained, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, trust_remote_codeTrue).eval().cuda()硬件参考16-bit 加载至少需要 3 张 80GB GPU开启 8-bit 量化load_in_8bitTrue则需 2 张 80GB GPU。完整的对话、多图、视频推理示例见 README.md对话模板逻辑在 conversation.py 中实现。新手 FAQ3 个高频问题Q1MPO 和 SFT 是什么关系SFT 教模型照着标准答案学MPO 进一步教模型区分好坏回答两者是互补的先后阶段。消融实验证明同样的数据上MPO 能额外榨出 4 分以上推理分。Q2这个 Pretrained 版本能直接当聊天助手用吗不建议。它只完成了原生多模态预训练对话与推理能力要等 SFT MPO 后的完整版本才有最佳表现。Q3想在自己数据集上复现 MPO 效果InternVL 官方仓库以及 SWIFT、XTuner 等微调框架均已支持 InternVL 系列的后训练流程可参考 README.md 中 Finetune 章节的指引。总结MPO 混合偏好优化用正负样本双监督 三损失组合这一简洁设计为 InternVL3 系列带来了实打实的推理跃升。对于预训练版本的权重model.safetensors.index.json 记录了全部 33 个分片的参数映射方便做分片加载与结构检查。赞分享【免费下载链接】InternVL3-78B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3-78B-Pretrained点击查看免费下载相关推荐MPO 混合偏好优化InternVL3 多模态推理能力跃升背后的训练秘诀MPO 混合偏好优化InternVL3 多模态推理能力跃升背后的训练秘诀 InternVL3 38B Instruct 是 OpenGVLab 开源的 380MPO混合偏好优化原理详解一文看懂InternVL3-78B-Instruct与正式版的推理差距MPO混合偏好优化原理详解一文看懂InternVL3 78B Instruct与正式版的推理差距 你是不是遇到过这种情况明明下载的是 78B 大模型推理表InternVL2_5-38B-MPO推理能力更强的秘密MPO混合偏好优化DPOBCOSFT原理详解InternVL2_5 38B MPO推理能力更强的秘密MPO混合偏好优化DPOBCOSFT原理详解 InternVL2_5 38B MPO 是 Op上一篇Baserow工作流引擎业务流程建模与自动化执行下一篇如何构建高可用的微服务系统Polly弹性和故障处理库实战指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考