JEV-27B-VL:把“决策“从“聊天“里拆出来,0.11 秒答完 70% 问题实测

发布时间:2026/10/26 18:10:37
JEV-27B-VL:把“决策“从“聊天“里拆出来,0.11 秒答完 70% 问题实测

JEV-27B-VL:把"决策"从"聊天"里拆出来,0.11 秒答完 70% 问题实测

【免费下载链接】JEV-27B-VL项目地址: https://ai.gitcode.com/hf_mirrors/autotrust/JEV-27B-VL

JEV-27B-VL 是一款开源的多模态决策模型。它解决的不是聊天,而是"做判断"。System 1 单次前向传播、约 0.1 秒给出每个选项的校准概率;System 2 在置信度不够时接管深度推理。底座 Qwen3.8-27B,Apache-2.0,单张 80GB GPU 本地部署。

它能做什么

传统大模型只有一种回答方式:要么快而糙,要么慢而细。JEV-27B-VL 在同一个 27B 模型里装了两套"大脑":System 1 负责秒级决策,System 2 负责难题,两者共用底座。System 1 不是小模型,而是挂在主模型上的轻量 LoRA 适配器加一个决策头。

能力维度JEV-27B-VL常见替代方案
决策输出单次前向传播,约 0.1 秒,每个选项都有概率文本生成要几秒,还得解析和重估
选项数量一次问 2~256 个,无需重训练每个选项各问一次是/否,多次调用
概率可信度ECE 0.0009,可直接设业务阈值生成式概率普遍校准不准
图片输入同一个接口,state 里直接混入图片需要单独的 VLM 或 OCR 转文本

同一个模型,秒级决策和深度思考都做了。

背后的原理(说人话版)

认知科学里有双系统理论:人有秒答的直觉,也有费时的推理。JEV-27B-VL 把它搬进模型:System 1 在 Qwen3.8-27B 上挂一个 LoRA 适配器和决策头,问题进来后读选项 token 的 logprob,加上偏置、除以温度,直接输出每个选项的概率——一次前向传播,不生成任何文字。

关键是概率可信。calibration.json 里给每种题型配了校准温度,实测期望校准误差 ECE 只有 0.0009。这意味着:

  1. 它说"83% 把握",实际就约 83% 对;
  2. 可以按概率设业务阈值:高就自动执行,低就升级给 System 2 或人工;
  3. System 1 置信度低于 0.70 时,交给同一个 27B 逐步深度思考。

两个系统共用一个底座,所以 System 1 的知识面和视觉理解与 System 2 完全一致。视觉塔是 Qwen3.8-27B 的原配,决策头只用文本训练过,图片上的判断全部零样本。

关键数字

  • 级联准确率:0.892,70% 的问题 0.11 秒内被 System 1 直接采纳(GSM8k、AQUA-RAT 等四个数学/常识基准)—— 纯 System 1 是 0.792,每题都深度思考是 0.917。
  • 期望校准误差 ECE:0.0009(held-out test_set_30k)—— 嘴上说的把握和实际命中率基本相等,阈值可以直接设。
  • 多模态评委准确率:78.3%(VL-RewardBench,1247 组人工校验对)—— 超过 2025 年官方榜单全部 26 个模型(GPT-4o 65.8%)。
  • Agent 评委宏平均准确率:73.2%(Plan-RewardBench,1171 对轨迹)—— 榜单第一,GPT-5 为 68.5%。
  • 机械臂抓取放置完成率:75%(MuJoCo 仿真 20 个随机场景)—— 单步约 240 毫秒,JEV 家族最佳。

典型场景

AI 评委:"哪个更好"变成一次判断

模型训练和 Agent 评测都需要裁判。JEV-27B-VL 把"哪个答案更好"当成一次 System 1 判断:VL-RewardBench 78.3%,2025 官方榜单第一(GPT-4o 65.8%);Plan-RewardBench 73.2%,榜单第一(GPT-5 68.5%)。为什么行:概率来自同一个 27B 底座,每组只需一次判断,2494 次判断单卡 163 秒,不必单独训一个评委模型。

零样本短视频推荐:一张封面解决冷启动

信息流要判断"这个用户会不会看这条新视频",而新视频没有任何行为数据。MicroLens 上 JEV-27B-VL 只看用户最近看过的 5 张封面加 1 张候选封面,一次前向传播给出观看概率:AUC 0.727,追平用 59,045 名用户日志学出来的协同过滤(0.728),Top-5 命中率 59% 对 49%。为什么这事难:协同过滤在新视频上传的第一秒排不了序,而封面是它唯一的初始信息。

实时控制循环:每帧一次决策

机械臂抓取放置、浏览器操作、游戏每一步,本质都是"下一步选哪个动作"。MuJoCo 20 个随机场景完成 75%,真实浏览器 60 个多步任务完成 95%,每次点击约 0.26 秒,单步约 240 毫秒。为什么行:控制循环等不了文本生成的几秒,一次前向传播输出一整个动作概率分布,本身就是控制信号。

跑起来

硬件:单张 80GB 以上显存的 GPU(官方在单张 B200 上测试),vLLM 环境。

hf download autotrust/JEV-27B-VL --local-dir JEV-27B-VL bash JEV-27B-VL/serve.sh

启动后用 curl 打POST localhost:8000/v1/decide,传 kind、state、question、options,返回里直接是每个选项的概率和最优选择;System 2 则照常调 /v1/chat/completions。

⚠️ serve.sh 里的--max-num-seqs 8不能删:单批并发超过 8 条时,这个多模态模型的 LoRA 路径会返回错误的 System 1 概率。 ⚠️ 默认上下文 32K;要满 256K 需设 MAX_MODEL_LEN=262144,但 256K 的 KV 缓存约 17GB,80GB 卡建议先用 131072。

仓库里值得看的文件

路径一句话说明
README.md全部基准数字、/v1/decide 字段说明、System 1 提示词写法
serve.sh 与 serve_decide.py一键启动脚本,/v1/decide 路由的实现源码
adapter_vllm/System 1 的 LoRA 权重和 decision_head.json(选项 token、偏置)
calibration.json各题型校准温度,"概率可信"的出处
reports/demos/机械臂与电脑操作的逐回合实验数据

最后

JEV-27B-VL 最大的特点是两个字:决策。如果你的业务瓶颈是"模型要做选择"而不是"模型要写文章",值得先把它跑一遍——两条命令,跑通了就能直接进生产循环。

【免费下载链接】JEV-27B-VL项目地址: https://ai.gitcode.com/hf_mirrors/autotrust/JEV-27B-VL

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考