何恺明团队提出 VISTA：不重训模型，让多模态 AI 学会“回头看画面“

近日何恺明团队在论文《VISTA: A Visual Harness for Reasoning in an Interactive World》里提出了一套叫 VISTA 的视觉原生 Harness框架。它的核心主张很简单不从头训练多模态模型就能让现有的模型直接观察环境、保存原始画面并在推理时随时回看、放大、检查细节。在 ARC-AGI-3 基准测试中据报道配合 VISTA 的 Claude Opus 5.0 完成了全部 25 个公开游戏相对人类动作效率得分达到满分 100所用游戏动作数比首次游玩的人类基线少 57.4%GPT-5.6 Sol 同样全部通关得分 99。这个成绩里藏着比又拿了个第一更值得琢磨的东西。一、VISTA 到底解决什么问题先说清楚 Harness 是什么。它不是新模型而是套在模型外面的一层脚手架负责模型怎么看、怎么记、什么时候回头查。模型本体没动动的是它和世界打交道的方式。VISTA 由三个组件构成视觉观测让模型直接观察环境而不是只看一次截图无损视觉记忆把历史画面原样存下来不做有损压缩主动视觉检查推理过程中按需回看、放大、复查画面细节。问题的本质在于过去很多 Agent 的做法是把看到的画面转述成文字再拿这段文字去推理。一转身画面里的空间关系、细微差异就丢了。VISTA 换了个思路——保留原始像素需要时再看一眼。这更像人做难题时的习惯不是凭第一眼印象答题而是反复回头看题干。二、为什么少用 57.4% 的动作比分数更重要满分 100 很亮眼但我更关注那个57.4%。在游戏、RPA流程自动化、自动化测试这类场景里Agent 每做一个动作都意味着一次模型调用、一份算力、一点延迟。动作数少一半多等于成本直接砍半。对每天要跑成千上万次任务的生产环境这个数字比排行榜名次实在得多。换个角度看这次工作的技术位置它把能力提升的发力点从训练阶段挪到了推理与交互阶段。以前想提升效果第一反应是攒数据、堆算力、微调模型VISTA 说明很多时候瓶颈不在模型脑子不够用而在信息怎么喂进去。改 Harness比重训便宜太多。作者阵容也说明这不是随手之作共同第一作者是 Qiushi Han、胡珂雅、Linlu Qiu另外两位作者是 Cathy Wu 和何恺明。据报道何恺明目前是 MIT 电气工程与计算机科学系终身副教授也是 ResNet、Mask R-CNN、MAE 等工作的主要作者。三、没变的是什么别被不做训练就满分带跑。基础模型的能力仍然是天花板VISTA 依赖模型本身已有足够强的视觉理解它做的是把已有能力用对不是凭空造出新能力。动作少是效率指标不等于模型有了通用智能。而且这是特定基准ARC-AGI-3上的结果配合了浏览器游戏、迷宫、连线题等测试。基准成绩和真实业务之间的差距做工程的人都清楚。四、对普通开发者意味着什么一套思路落到实际大致是这样做多模态 Agent 的先别急着微调模型检查一下你的信息管道——是不是把图转成了文字描述能不能保留原图、允许随时回看这种改动往往比训练便宜得多。做 RPA / 自动化测试 / 游戏 AI 的动作效率对成本敏感场景是硬指标。哪怕只借鉴保留原始画面、按需复查的思路也可能省下可观的调用量。做视觉记忆存储的无损保存意味着更高的存储和上下文成本这里有个取舍——存多少、留多久、什么时候触发回看都需要工程上的权衡。用伪代码示意这个循环大概是# 伪代码仅示意 Harness 的观察-记忆-回看流程非真实 APImemory[]# 无损视觉记忆forstepinrange(max_steps):frameobserve(env)# 视觉观测拿当前画面memory.append(frame)# 不压缩原样存档ifneed_detail(question):# 主动视觉检查需要时才回看framememory[-1].zoom(region)actionmodel.decide(frame,memory,question)env.step(action) 要点是**模型还是那个模型变的是它保存什么、什么时候回头看。**## 五、几个要留意的坑-Harness 工程本身不轻松上下文管理、视觉记忆的存储成本、何时回看的触发策略都是实打实的活--基准分数不能直接外推到业务**别用排行榜数字做技术选型**--据报道论文已公开但框架的开源进度和可复现性还需继续跟踪别急着照搬。## 写在最后我一直觉得AI 这行最近太多注意力在模型又强了多少而 VISTA 这类工作提醒我们**同样一个模型怎么让它看和记可能比模型本身更影响最终效果。**这是工程味很重的一种进步也是普通开发者相对够得着的方向。 你会把让 Agent 保留原图、按需回看这套思路用在自己的项目里吗评论区聊聊。