Griffin全双工视频交互与Ultravox收购：实时语音AI进入新拐点

实时语音交互赛道最近动静不小。Tavus把全双工视频交互模型 Griffin 推了出来核心卖点是能持续读懂人的表情和动作同时在 VideoFDB 的生成与感知两个榜单上都拿了第一另一边Inworld 把语音智能体平台 Ultravox 收归麾下。两条消息同一天砸过来说明这个赛道正在从能听会说往看得懂、接得快、反应准的方向拐。这篇文章专门拆一拆 Griffin 全双工视频交互到底动了哪些底层技术VideoFDB 双榜第一有多重以及语音智能体平台被收购背后的行业逻辑变化给做对话式 AI、虚拟数字人、实时互动产品的人一些可以直接落地的判断参考。1. 两件看似独立的事其实指向同一个拐点先说 Griffin。Tavus 这家公司更新的节奏一直偏快前几代模型主打的是对口型、动作迁移这一类数字人生成能力本质上解决的是脸好不好看、嘴型对不对得上。但这次直接把输入模态从文本和语音扩到了视频流本身模型不再只是拿着用户发来的一段话去生成回复而是能一边看用户的表情、动作、视线一边同步组织语言和面部反应。这个转变不是加一个摄像头的接入那么简单它意味着整个交互范式从你一句我一句变成了你看着我说话我也看着你回话。再看 Inworld 收购 Ultravox。前者是专门做游戏和虚拟世界 NPC 智能体起家的平台后者是主打实时语音对话的智能体基础设施侧重点一直是低延迟的语音输入输出管线、打断处理、说话人分离这一类偏底层的能力。Inworld 本身不缺大模型编排和角色设定的技术缺的恰恰是像人一样自然的语音节奏这一层。把这笔收购和 Griffin 的发布放在一起看两条线的目标完全一致让 AI 在实时互动里既不迟钝也不抢话还能感知到对方当前的情绪状态。我为什么说这是拐点因为过去一年市面上的语音助手、虚拟人产品绝大多数还是半双工体验。用户在说话的时候 AI 基本只能等着用户停顿超过几百毫秒 AI 才接话用户中途打断 AI 也常常反应不过来。这种体验偶尔用还行一旦涉及到长时间的深度对话比如在线教育陪练、心理咨询、远程面试模拟就会立刻露馅。全双工加视频理解正是冲着这些真实场景去的。这篇文章后面所有内容都围绕为什么难、怎么实现、怎么评估、行业会怎么走这四条线展开。2. 为什么实时语音交互一直不够像人半双工与全双工的差距很多做产品的人对全双工的理解就是两边可以同时说话这个理解没错但太粗了。工程上真正的难点在于全双工不是一个开关而是一整套从感知、决策到表达的低延迟闭环。2.1 半双工时代的体验天花板传统的语音交互流程是用户按住说话或者等待静音检测语音被送入 ASR 转成文本文本丢给大模型生成回复再通过 TTS 合成音频播出来。这条链路里每一步都可以优化得很快但结构上有一个绕不过去的瓶颈状态切换。系统必须等用户完整表达完一个意图之后才能开始处理判定说完没有这件事本身就极不可靠。用户说“呃……那个……”稍微多停顿一秒系统可能就抢话了用户真心说完想等对方接话时系统又可能觉得没结束继续傻等。半双工系统还有个更隐蔽的问题它丢失了所有副语言信息。同样一句“你确定吗”用平稳语气说出来和带着犹豫、盯着屏幕皱眉说出来含义完全不同但 ASR 转出来的文本是一模一样的。半双工不是不想理解这些而是架构上压根没有承载这些信息的通道。2.2 全双工的四个工程层次真正意义上的全双工视频交互模型需要同时解决四个层面的事。第一是音频层的全双工。麦克风和扬声器同时工作AI 在播放回复的同时还要能听到用户的声音这就要做回声消除和声音事件检测判断用户是同时在说话还是只是背景噪音。第二是语义层的全双工。模型不能等用户说完整句才开始推理而是每收到一小段输入就增量更新对用户意图的理解。用户说“我想请你帮我…算了没事”模型需要跟踪这中间的意图转变知道“算了”意味着之前的内容作废。第三是视觉层的全双工。摄像头持续拍摄模型要实时解析用户的表情和动作而且这个解析是流式的——用户从微笑变为皱眉的瞬间模型最好在几百毫秒内感知到。第四是表达层的全双工。AI 回复的同时面部表情、口型、头部动作要和语音内容同步不能出现嘴上在安慰人、表情却纹丝不动的情况。Griffin 这次能引起关注就是因为它在第四个层次上第一次给出了比较完整的工程方案而不是实验室里的展示 Demo。它把视频理解模型和语音生成模型放进同一条实时管线里视觉信号可以随时打断或修正对话的走向这才是“持续读懂表情动作”这句话的真正分量。2.3 数据层面的隐藏门槛全双工视频交互模型对训练数据的要求也是指数级上升的。普通语音对话只需要文本和音频的对齐数据全双工模型需要的是“一边说话一边有对应表情动作”的多模态交互数据并且需要带时间戳和情感标签。这类数据的采集成本极高通常要布置多机位摄像机、专业收音设备再由标注团队逐帧标注微表情和意图变化。VideoFDB 这类基准库的价值某种程度上也在于它把散落各处的评测数据统一成了一个行业可以共同对照的尺子。3. Griffin 的全双工视频理解读表情的本质是持续追踪意图Griffin 这个名字没什么特别含义但模型本身的架构思路很值得拆开看。它和市面上其他数字人模型最大的不同在我的理解里是三层视觉编码的流式化、跨模态状态融合、以及生成侧的实时驱动。3.1 视频输入不再是抽帧而是贯穿早期的数字人模型处理视频输入基本都是抽关键帧比如每秒取一帧或者检测到人脸表情变化时取一张图然后单独分析这一帧的情绪再拼到对话上下文里。这种做法问题很明显表情是连续变化的动态过程一个从紧张到放松的表情转变中间可能有几十帧的微妙过渡抽帧很容易漏掉关键信息。Griffin 的管线设计思路更像是把视频当作一条持续流动的信号。视觉编码器以固定的时间步长接收视频片段每个片段里包含用户的表情、视线方向、头部姿态、手势幅度等多维特征再把这些特征按时间顺序编码成视觉状态序列。这个状态序列不是一次性算完丢在一边的而是持续跟随对话进程做增量更新。这样做的好处很直接用户如果中途露出困惑的表情模型可以在下一个生成的句子里追加一句澄清“我是不是说太快了”或者“这里有点绕我再换个说法”。这种反应能力靠抽帧根本做不到因为抽帧的结果是滞后的等你分析完那一帧用户的情绪可能已经过去了。3.2 表情识别与意图判断的边界这里必须泼一点冷水当前所有视频理解模型包括 Griffin 在内都不可能做到真正读心。表情识别的结果是“用户当前面部状态是什么”而不是“用户内心在想什么”。从面部状态推测意图靠的是大量行为学数据的统计规律多数人在困惑时会皱眉、视线会短暂移开多数人在不耐烦时会频繁调整坐姿、眨眼频率下降。所以“读懂表情动作”本质上是在做一个概率推断结合当前表情、对话历史、上下文语境推断用户当前最可能的心理状态然后据此调整交互策略。这意味着模型的判断一定会出错关键不在于永远判断对而在于判断错误时能不能快速修正。全双工交互的好处恰恰在这里——模型刚说完一句可能冒犯用户的话如果视觉通道发现用户脸色变化下一句可以立刻换成更温和的表达。这种“边做边校准”的能力才是持续理解最有价值的体现。3.3 视频-语音联合建模的实时性代价视频理解加入对话闭环之后最直接的代价就是计算量增加。音频信号和视频信号的采样频率差异很大模型需要在不同时间尺度上做对齐。为了控制延迟Griffin 的架构里对视觉特征做了降采样和压缩把关键信息浓缩成比原始视频小得多的特征表达再和语音特征一起送入生成模块。延迟永远是这类模型的命门。用户表情变化到 AI 做出反应中间如果超过了一秒整个交互体验就会从“自然”跌回“机械”。要做到几百毫秒内响应工程上通常要拆两条路径一条是快速反应路径只处理表情变化和语义意图生成较短的回馈信号比如点头、挑眉、简短的附和词另一条是常规生成路径处理完整的语言回复。Griffin 在设计上明显更偏重快速反应路径的优化这也是它能做全双工而其他模型只能做半双工的技术根基之一。4. VideoFDB 双榜第一意味着什么从能生成到看得懂标题里提到的 VideoFDB 双榜第一是评估 Griffin 能力最关键的指标。我平时看 AI 模型的评测榜单会比较谨慎因为很多榜单的指标设计得很空洞刷分容易。但 VideoFDB 这个数据集的设计思路比较扎实它把“视频交互”这个能力拆成了生成和感知两条线来分别考察。4.1 生成榜回答“能不能像人一样做表情和动作”生成维度的评价核心是给定一段对话和对应的用户视频输入模型生成的数字人视频在表情丰富度、动作自然度、口型同步、情绪一致性这几个维度上能不能达到接近真人的水平。以前的数字人模型在这个维度上普遍有一个短板情绪表达很“钝”。所谓钝就是模型能对上嘴型能说话但面部表情只有那么几种固定模板——高兴就咧嘴难过就皱眉激动就瞪眼。真实人类的表情是细腻且复合的比如尴尬的笑、礼貌性微笑里藏着不耐烦、听到坏消息时先愣一下再强装镇定。这些复杂情绪的组合表达对生成模型来说极难建模因为需要训练数据本身就得有足够丰富的微表情标注。Griffin 能在生成榜拿第一说明它在表情动作的多样性和细腻度上确实突破了传统模板化的瓶颈。4.2 感知榜回答“能不能看得懂用户在做什么”感知维度的评价更硬核它考察的是模型从视频流里提取信息的能力。具体包括能不能准确识别用户的表情类别能不能检测到动作变化比如摊手、摇头、点头、前倾身体能不能判断用户说话时的注意力状态。感知榜第一的技术难度比生成更高因为感知错误没法靠生成技巧掩盖。用户明明在摇头模型识别成点头后续对话走向就可能完全跑偏。这也是为什么我特别强调 VideoFDB 把感知和生成分开评一个模型可能能生成好看的视频但根本看不懂用户另一个模型能看懂用户但生成的数字人却像个木头人。只有两个榜都名列前茅才能说明这个模型是“既会看又会演”。4.3 双榜第一的商业价值从商业角度看双榜第一意味着 Tavus 对外喊出的“全双工视频交互”不是 PPT 卖点而是有基准数据支撑的真实能力。对于集成方来说这意味着更低的技术验证成本——不需要自己再花几个月去搭建评测流程直接看榜单和数据说明就能初步判断模型是否适合自己的场景。但我也提醒一句榜单优秀不等于产品成熟。基准评测通常是在特定数据集和指标下进行的真实场景里的光线变化、网络波动、摄像头角度、用户方言口音等变量都会显著影响模型的实际表现。选型的时候榜单成绩可以作为入场券但不能作为最终决策依据还是要拿自己的真实业务场景做一批小规模的灰度测试。5. 语音智能体平台 Ultravox 被收购之后基础设施会如何演化Inworld 收购 Ultravox 这条消息在热闹的模型发布新闻里容易被忽略但我认为它的长期影响比很多新的 Demo 更大。它预示着实时语音交互领域的竞争正在从“模型能力比拼”转向“全栈基础设施整合”。5.1 语音智能体为什么难做做语音智能体的人都有体会模型生成文本的能力早就不是瓶颈了难的是语音链路上的那些“不性感”的工程问题。比如打断检测。用户正听着 AI 回复中途说一句“等等我插一句”智能体需要在一两百毫秒内识别出这是有意打断而不是背景噪音然后立刻暂停自己的输出。再比如语音活动检测要分清楚用户是在思考时的拖长音“嗯——”还是真的说完了话等待回应。还有回声消除、音量自适应、双人重叠说话的分离每一个都是影响体验的关键细节但都不在“大模型能力”这个范畴里。Ultravox 做的就是这些底层基础设施而且做得相当扎实。被 Inworld 收购后这些能力会直接内嵌到 Inworld 的智能体平台里做游戏 NPC 集成的开发者不用再自己拼装 ASR、打断检测、TTS 这一堆组件整个链路可以开箱即用。5.2 收购背后的技术整合方向对 Inworld 来说这笔收购补上的不仅仅是语音管线还有大模型驱动的对话节奏控制。Ultravox 本身对多模态上下文和实时推理有比较深的技术积累它能根据对话的紧张程度调整回复速度和语气。这和 Inworld 本身的角色扮演类智能体需求高度匹配。我预计整合之后会出现几个明显的变化。一是在游戏和虚拟世界里NPC 的语音对话将不再是“触发-播放”的固定脚本模式而是可以实时感知玩家语音状态、随时调整剧情的动态互动模式。二是面向开发者的 API 会进一步标准化语音智能体的接入成本从好几个月的定制开发降为几周的调用集成。三是底层基础设施的竞争会加剧做全双工语音的企业级玩家会越来越多基础设施更新的速度会追上模型更新的速度。5.3 对开发者和产品经理的启示这两年的技术方向变化很快容易让人产生“每天都有新模型”的疲惫感。但实际上对于绝大多数应用层开发者来说真正值得关注的不是某一款模型又刷了多少分而是基础能力的整合进度。ULTRAVOX 这类基础设施被收购的新闻就是典型的“平台能力升级”信号。等 Inworld 的平台把 Ultravox 的语音能力完全消化之后即便是小团队也能在很短的时间内做出以前只有大厂才能做的实时语音交互产品。6. 从这两件事看实时多模态交互的下一阶段把 Tavus 的 Griffin 和 Inworld 收购 Ultravox 放在一起来看实时多模态交互的下一个阶段其实已经轮廓清晰了全双工将成为标配视频理解会成为差异化优势底层语音基础设施会被巨头和平台方快速整合。6.1 场景落地次序从工具型到陪伴型我的判断是第一批真正受益于全双工视频交互模型的应用不会是泛娱乐产品而是工具型场景。比如远程面试培训AI 不仅听你说了什么还看着你的表情管理、眼神交流、肢体语言这些恰恰是面试中最关键的软技能。再比如在线教育AI 助教可以实时看见学生是不是走神了、是不是没听懂然后调整讲解节奏。这类场景的特点是任务目标清晰、交互时长较长、用户对自然度的要求极高全双工视频交互的能力能直接转化为可量化的效果提升。陪伴型场景会随后跟上。虚拟人陪伴、情感倾诉、心理咨询预筛这类应用如果 AI 能敏锐捕捉到用户的情绪变化体验会完全不一样。但这类场景对安全性和伦理的要求更高产品方在做的时候需要投入更多精力去把握边界。6.2 技术选型的四个建议如果你正在考虑把全双工视频交互或实时语音智能体接入自己的产品我给出几条基于实操经验的建议。第一先跑通“最小自然度闭环”不要一开始就追求完美。搭建一个最简单的全双工链路——用户摄像头打开、AI 能边看边聊、延迟控制在可接受范围内——把这个闭环跑顺再逐步优化表情理解准确率和回答质量。第二把“意图跟踪”和“表情识别”分开评估。实际开发中这两个能力是独立退化的表情识别可能很准但意图跟踪经常跟不上用户话题的快速切换。分开评估才能精准定位问题。第三一定要做延迟分位统计不要只看平均延迟。全双工交互里最伤体验的是尾延迟也就是最慢的那 5% 请求。哪怕平均延迟只有 600 毫秒如果有 5% 的请求延迟到了 2 秒用户依然会觉得系统很迟钝。第四数据安全和用户知情必须前置。摄像头持续开启的视频交互意味着用户的生物特征信息会被持续采集和处理产品上线前必须把数据加密存储、最小化采集、用户授权这些环节全部理清楚这不是合规部门单方面能解决的事产品和工程要从设计之初就介入。6.3 六个月后回看这两条新闻以我观察技术发展规律的经验六个月后再回看 Tavus 和 Inworld 的这一波动作大概率会发现这是实时交互产品从“能用”迈入“好用”的起点。模型质量会继续提升基础设施会被更多平台整合还会有更多创业公司从不同角度切入这条赛道。对普通开发者和产品团队来说现在最应该做的不是焦虑地追逐每一款新模型而是想清楚自己的产品到底需要哪一层能力然后选一套最合适的组合方案把精力花在真正能带来产品差异化的地方。我第一次实际测试全双工视频交互模型时最震撼的不是它听懂了我的话而是我沉默了三秒时模型会主动问“你是不是在想别的事”——它读的是我的表情不是我的台词。那一刻我突然意识到AI 交互下一代的样子已经在路上了而且比我们想象中来得更快。