stage2-UMT-Qwen2_5_7B_1m-tome16_mlp如何对标LLaVA-OneVision与Qwen2.5-VL？多模态视频模型对比与选型指南

【免费下载链接】stage2-UMT-Qwen2_5_7B_1m-tome16_mlp项目地址https://ai.gitcode.com/OpenGVLab/stage2-UMT-Qwen2_5_7B_1m-tome16_mlp点击查看免费下载在多模态视频模型选型中stage2-UMT-Qwen2_5_7B_1m-tome16_mlp是一款主打超长视频理解的开源检查点它把 UMT 视觉编码器、ToMe token 压缩与 Qwen2.5-7B-Instruct-1M 的百万级上下文结合在 7B 级模型中。本文将它与 LLaVA-OneVision、Qwen2.5-VL 逐维对比帮你快速做出选型判断。模型速览它由哪三块拼成从 config.json 的architectures字段可以看到这是一个LlavaQwenForCausalLM结构即LLaVA 式视觉编码器 投影器 语言模型的三件套但每块都有独到之处组件本模型方案关键配置见 config.json视觉编码器umt-largeUMT 统一多模态 Transformermm_vision_tower: umt-large输出维度mm_hidden_size: 1024投影器ToMe token 合并 MLPmm_projector_type: tome16_mlp_hd6416 倍合并隐藏维度 64语言骨干Qwen2.5-7B-Instruct-1M_name_or_path: Qwen/Qwen2.5-7B-Instruct-1Mmax_position_embeddings: 1010000权重映射可以直观验证这一结构28 层 LLM 权重分布在 4 个分片中视觉塔与投影器集中在 model-00003-of-00004.safetensors对应 model.safetensors.index.json 中的mm_projector.mlp.*与vision_tower.*条目。 命名拆解stage2第二阶段训练UMT视觉塔Qwen2_5_7B_1m1M 上下文语言骨干tome16_mlp16 倍 ToMe 压缩 MLP 投影。两大核心卖点token 压缩与 1M 上下文1️⃣ 视频 token 逐级瘦身专治长视频显存爆炸长视频最大的成本是视觉 token 数量。本模型做了两级压缩投影阶段ToMeToken Merging以 16:1 的比例合并视觉 token再经小型 MLP 投影进语言空间语言阶段llm_compress_type: attention配合llm_compress_layer_list: [8, 16, 24]与llm_image_token_ratio_list: [1.0, 0.5, 0.25, 0.125]即视觉 token 在第 8 / 16 / 24 层按 0.5、0.25、0.125 的比例逐级衰减——越深层的注意力只需越少的视觉 token。这意味着几小时的视频输入进入 LLM 的视觉序列长度可以控制在可负担范围这是它在选型中区别于其他 7B 模型的核心优势。2️⃣ 1M token 上下文 双块注意力max_position_embeddings达到 1,010,000约 100 万 token并启用dual_chunk_attention_config262144 的 chunk、8192 的 local window在保持长程依赖的同时降低超长序列的注意力开销。配合min_slow_num_frames: 4、mm_local_num_frames: 4等参数它同时处理图像与视频vision_encode_type: video_image。横向对比与 LLaVA-OneVision、Qwen2.5-VL 的 5 个维度对比维度stage2-UMT-Qwen2_5_7B_1m-tome16_mlpLLaVA-OneVisionQwen2.5-VL视觉编码器UMT-large自研统一编码器SigLIP 系视觉塔自研 ViT原生动态分辨率语言骨干Qwen2.5-7B-Instruct-1M7B 级 LLMQwen2.5 系 LLM长视频理解✅ 核心卖点ToMe 逐级压缩 1M 上下文⚠️ 视频支持相对基础✅ 支持小时级视频时序定位强高分辨率图像36 档 image_grid_pinpoints 动态网格224×224 起✅ 任意分辨率、文档场景强✅ 动态分辨率 OCR/GUI 定位强结构风格LLaVA 式三件套开源可复现LLaVA 家族社区生态成熟闭源权重、一体化产品化程度高 一句话总结差异LLaVA-OneVision胜在一张视觉塔通吃多分辨率高分辨率文档与多图像输入体验好Qwen2.5-VL胜在综合能力与产品化OCR、GUI 操作、时序定位但权重不开源本模型用显式的 ToMe 压缩机制把长视频 7B 级参数 开源可玩三件事同时做到属于差异化定位。选型指南3 种场景 3 个答案 ✅你的场景推荐选择理由长视频摘要、视频问答、流媒体理解开源部署stage2-UMT-Qwen2_5_7B_1m-tome16_mlp1M 上下文 token 压缩7B 级显存压力可控高分辨率文档 / 多图分析LLaVA-OneVision原生高分辨率处理开源轻量需要 OCR、GUI 自动化、时序定位的通用助手Qwen2.5-VL能力面最全产品化成熟如何获取与检查这份模型仓库为只读检查点克隆后即可得到完整权重git clone https://gitcode.com/OpenGVLab/stage2-UMT-Qwen2_5_7B_1m-tome16_mlp拿到后建议先核对这几个文件config.json架构与压缩策略tome16_mlp_hd64、llm_compress_layer_list等model.safetensors.index.json总权重约 15.8GB分 4 个 safetensors 分片generation_config.json默认采样参数temperature 0.7、top_p 0.8、top_k 20trainer_state.json训练了约 28194 步、接近 1 个 epoch 的第二阶段记录tokenizer.json、vocab.json、merges.txtQwen2.5 系分词器词表 152064added_tokens.json新增的对话/工具调用特殊 token常见问题 FAQ ❓7B 模型跑长视频会不会爆显存关键在两级压缩ToMe 先 16 倍合并LLM 内再按 0.5 → 0.25 → 0.125 逐级削减视觉 token见 config.json 中llm_image_token_ratio_list实际进入注意力的视觉序列远小于原始帧数。它和 Qwen2.5-VL 冲突吗不冲突。本模型借用了 Qwen2.5-7B-Instruct-1M 作为语言骨干与 Qwen2.5-VL 的 LLM 同源但上下文更长差异主要在视觉前端与压缩策略且本模型完全开源、可自行复现。模型是训练中间产物吗从 trainer_state.json 看训练完整走完约 1 个 epochglobal_step: 28194属于第二阶段stage2完成的检查点而非中断产物。总结如果你的核心痛点是用 7B 级开源模型理解长视频stage2-UMT-Qwen2_5_7B_1m-tome16_mlp是三者中定位最精准的选项UMT 视觉塔负责看全ToMe 16 倍压缩 逐层 token 衰减负责看省Qwen2.5-7B-Instruct-1M 负责看得长。选型时按场景对号入座即可长视频选它文档选 LLaVA-OneVision通用助手选 Qwen2.5-VL。赞分享【免费下载链接】stage2-UMT-Qwen2_5_7B_1m-tome16_mlp项目地址https://ai.gitcode.com/OpenGVLab/stage2-UMT-Qwen2_5_7B_1m-tome16_mlp点击查看免费下载相关推荐性能对比与选型指南stage2-UMT-Qwen2-7B-tome16_mlp 对标 InternVL 与 Mini-O3 多模态大模型性能对比与选型指南stage2 UMT Qwen2 7B tome16_mlp 对标 InternVL 与 Mini O3 多模态大模型 stage2 UMT初识stage2-UMT-Qwen2_5_7B_1m-tome16_mlpOpenGVLab多模态视频理解模型如何实现1M token长上下文初识stage2 UMT Qwen2_5_7B_1m tome16_mlpOpenGVLab多模态视频理解模型如何实现1M token长上下文 stage2token压缩的秘诀stage2-UMT-Qwen2_5_7B_1m-tome16_mlp的tome16_mlp投影器如何把视觉token压到1/16token压缩的秘诀stage2 UMT Qwen2_5_7B_1m tome16_mlp的tome16_mlp投影器如何把视觉token压到1/16 st上一篇Gleam语言演进之路从类型安全到系统构建的艺术下一篇Qwen3-Reranker-8B实战打造企业级智能语义检索系统的完整方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考