JEV-27B-VL:把“决策“从“聊天“里拆出来,0.11 秒答完 70% 问题实测
JEV-27B-VL:把"决策"从"聊天"里拆出来,0.11 秒答完 70% 问题实测
【免费下载链接】JEV-27B-VL项目地址: https://ai.gitcode.com/hf_mirrors/autotrust/JEV-27B-VL
JEV-27B-VL 是一款开源的多模态决策模型。它解决的不是聊天,而是"做判断"。System 1 单次前向传播、约 0.1 秒给出每个选项的校准概率;System 2 在置信度不够时接管深度推理。底座 Qwen3.8-27B,Apache-2.0,单张 80GB GPU 本地部署。
它能做什么
传统大模型只有一种回答方式:要么快而糙,要么慢而细。JEV-27B-VL 在同一个 27B 模型里装了两套"大脑":System 1 负责秒级决策,System 2 负责难题,两者共用底座。System 1 不是小模型,而是挂在主模型上的轻量 LoRA 适配器加一个决策头。
| 能力维度 | JEV-27B-VL | 常见替代方案 |
|---|---|---|
| 决策输出 | 单次前向传播,约 0.1 秒,每个选项都有概率 | 文本生成要几秒,还得解析和重估 |
| 选项数量 | 一次问 2~256 个,无需重训练 | 每个选项各问一次是/否,多次调用 |
| 概率可信度 | ECE 0.0009,可直接设业务阈值 | 生成式概率普遍校准不准 |
| 图片输入 | 同一个接口,state 里直接混入图片 | 需要单独的 VLM 或 OCR 转文本 |
同一个模型,秒级决策和深度思考都做了。
背后的原理(说人话版)
认知科学里有双系统理论:人有秒答的直觉,也有费时的推理。JEV-27B-VL 把它搬进模型:System 1 在 Qwen3.8-27B 上挂一个 LoRA 适配器和决策头,问题进来后读选项 token 的 logprob,加上偏置、除以温度,直接输出每个选项的概率——一次前向传播,不生成任何文字。
关键是概率可信。calibration.json 里给每种题型配了校准温度,实测期望校准误差 ECE 只有 0.0009。这意味着:
- 它说"83% 把握",实际就约 83% 对;
- 可以按概率设业务阈值:高就自动执行,低就升级给 System 2 或人工;
- System 1 置信度低于 0.70 时,交给同一个 27B 逐步深度思考。
两个系统共用一个底座,所以 System 1 的知识面和视觉理解与 System 2 完全一致。视觉塔是 Qwen3.8-27B 的原配,决策头只用文本训练过,图片上的判断全部零样本。
关键数字
- 级联准确率:0.892,70% 的问题 0.11 秒内被 System 1 直接采纳(GSM8k、AQUA-RAT 等四个数学/常识基准)—— 纯 System 1 是 0.792,每题都深度思考是 0.917。
- 期望校准误差 ECE:0.0009(held-out test_set_30k)—— 嘴上说的把握和实际命中率基本相等,阈值可以直接设。
- 多模态评委准确率:78.3%(VL-RewardBench,1247 组人工校验对)—— 超过 2025 年官方榜单全部 26 个模型(GPT-4o 65.8%)。
- Agent 评委宏平均准确率:73.2%(Plan-RewardBench,1171 对轨迹)—— 榜单第一,GPT-5 为 68.5%。
- 机械臂抓取放置完成率:75%(MuJoCo 仿真 20 个随机场景)—— 单步约 240 毫秒,JEV 家族最佳。
典型场景
AI 评委:"哪个更好"变成一次判断
模型训练和 Agent 评测都需要裁判。JEV-27B-VL 把"哪个答案更好"当成一次 System 1 判断:VL-RewardBench 78.3%,2025 官方榜单第一(GPT-4o 65.8%);Plan-RewardBench 73.2%,榜单第一(GPT-5 68.5%)。为什么行:概率来自同一个 27B 底座,每组只需一次判断,2494 次判断单卡 163 秒,不必单独训一个评委模型。
零样本短视频推荐:一张封面解决冷启动
信息流要判断"这个用户会不会看这条新视频",而新视频没有任何行为数据。MicroLens 上 JEV-27B-VL 只看用户最近看过的 5 张封面加 1 张候选封面,一次前向传播给出观看概率:AUC 0.727,追平用 59,045 名用户日志学出来的协同过滤(0.728),Top-5 命中率 59% 对 49%。为什么这事难:协同过滤在新视频上传的第一秒排不了序,而封面是它唯一的初始信息。
实时控制循环:每帧一次决策
机械臂抓取放置、浏览器操作、游戏每一步,本质都是"下一步选哪个动作"。MuJoCo 20 个随机场景完成 75%,真实浏览器 60 个多步任务完成 95%,每次点击约 0.26 秒,单步约 240 毫秒。为什么行:控制循环等不了文本生成的几秒,一次前向传播输出一整个动作概率分布,本身就是控制信号。
跑起来
硬件:单张 80GB 以上显存的 GPU(官方在单张 B200 上测试),vLLM 环境。
hf download autotrust/JEV-27B-VL --local-dir JEV-27B-VL bash JEV-27B-VL/serve.sh启动后用 curl 打POST localhost:8000/v1/decide,传 kind、state、question、options,返回里直接是每个选项的概率和最优选择;System 2 则照常调 /v1/chat/completions。
⚠️ serve.sh 里的--max-num-seqs 8不能删:单批并发超过 8 条时,这个多模态模型的 LoRA 路径会返回错误的 System 1 概率。 ⚠️ 默认上下文 32K;要满 256K 需设 MAX_MODEL_LEN=262144,但 256K 的 KV 缓存约 17GB,80GB 卡建议先用 131072。
仓库里值得看的文件
| 路径 | 一句话说明 |
|---|---|
| README.md | 全部基准数字、/v1/decide 字段说明、System 1 提示词写法 |
| serve.sh 与 serve_decide.py | 一键启动脚本,/v1/decide 路由的实现源码 |
| adapter_vllm/ | System 1 的 LoRA 权重和 decision_head.json(选项 token、偏置) |
| calibration.json | 各题型校准温度,"概率可信"的出处 |
| reports/demos/ | 机械臂与电脑操作的逐回合实验数据 |
最后
JEV-27B-VL 最大的特点是两个字:决策。如果你的业务瓶颈是"模型要做选择"而不是"模型要写文章",值得先把它跑一遍——两条命令,跑通了就能直接进生产循环。
【免费下载链接】JEV-27B-VL项目地址: https://ai.gitcode.com/hf_mirrors/autotrust/JEV-27B-VL
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考