jev详解：System One重塑类型化概率决策

在传统的 AI 应用开发中开发者常常面临一个尴尬的工程抉择如果使用结构化输出Structured Outputs结合大语言模型LLM来处理高频的分类、路由或状态判断任务往往需要付出数百毫秒乃至数秒的端到端延迟且面临昂贵的 Token 输出成本与不稳定的解析错误率而如果采用传统的规则引擎或正则提取又无法具备对非结构化文本的语义理解能力。2026 年 9 月 15 日TypeSafe AI 推出了首个 System One 模型 Jev版本jev-1.13.0别名jev-latest。Jev 的核心哲学是彻底剥离文本生成能力仅接收非结构化或半结构化状态输入在单次前向传播中返回附带校准概率的强类型决策。它是“懂语义的if语句”而非“更小的 ChatGPT”。核心设计哲学痛点对标解决了基于生成式 LLM 进行控制流决策时系统延迟高、输出解析易崩溃、推理成本高昂以及缺乏可靠置信度指标的生产级痛点。机制定义引入“System One”快速直觉判断机制利用非自回归并行采样与 RLCDReinforcement Learning for Calibrated Decisions概率校准训练将复杂语义判断转换为单次前向传出的类型化数据结构。差异化优势实现结构化输出类型零错误率构造保证、零输出Token 计费 too cheap to meter 以及低至 70–500 ms 的端到端响应延迟。架构深度解析Jev 强调类型安全与确定性控制逻辑的有机结合。系统整体被划分为入口层、类型化决策内核Jev Engine、控制决策层与下游执行引擎层级解耦与职责边界入口与状态层负责收集非结构化上下文单次请求支持最高 64k tokens 上下文状态最长单问题 ≤ 32k。类型化决策内核基于非自回归网络构建一次前向传播即可并行评估所有问题杜绝了自回归生成的逐 Token 延迟。确定性控制层依托类型安全的约束条件通过固化的置信度confidence门槛对判断结果做分级拦截。业务执行与分流将“判断”与“推理生成”分离低置信度或需要开放式文本生成的任务才向上抛给慢速的 System Two LLM。业务路径推演在典型的工业级 Agent 分流与控制流推演中系统从非结构化输入开始经历决策评估到阈值路由的全过程执行链关键节点分析输入阶段宿主程序构建非结构化状态数据与预置问题描述。决策评估点Jev 引擎通过单次计算并行完成包含是非判断Noul、多选项分布Choice以及标量打分Score的推理过程。状态转换与路由宿主程序获取带有confidence的强类型响应后进入确定性代码中的分支评估。输出处理高置信度分支直接走确定性代码避免调用大模型仅在极难判断或需要生成文本时才触发 System Two 调用。核心代码样例为了全面体现如何将 Jev 融入生产级工程系统以下复现并拆解一个完整的 Jev 工单路由与紧急度评估服务。结构化请求与原语定义importjsonimporthttpxfromtypingimportDict,Any,List,OptionalfrompydanticimportBaseModel,Field,ValidationError# # 1.1 核心原语数据模型定义# classNoulQuestion(BaseModel):type:strnoulinstructions:strclassChoiceQuestion(BaseModel):type:strchoiceinstructions:strcriteria:Dict[str,str]Field(...,description选项 key 与语义描述最多 255 个选项)classScoreQuestion(BaseModel):type:strscoreinstructions:strcriteria:List[str]Field(...,description有序刻度描述)classJevRequest(BaseModel):model:strjev-lateststate:strField(...,description上下文状态单请求最大 64k tokens)questions:Dict[str,Any]# # 1.2 响应解析数据结构# classChoiceResult(BaseModel):value:strdistribution:Dict[str,float]confidence:floatclassScoreResult(BaseModel):score:floatdistribution:Dict[str,float]legend:List[str]confidence:floatclassNoulResult(BaseModel):noul_value:floatField(...,aliasvalue)classJevResponse(BaseModel):results:Dict[str,Any]逻辑深度解析全局锚点该模块确立了确定性宿主程序与 Jev 引擎之间的通信契约。防御性校验与约束通过 Pydantic 对输入状态与问题进行强类型校验。根据 Jev 原语规范Choice类型的criteria被严格限定为字典结构且最大支持 255 个选项Noul类型返回 0–1 的概率且不包含独立confidence字段。工程取舍显式声明数据协议牺牲了一定程度的声明灵活性但彻底消除了解析未知 JSON 结构带来的运行时崩塌隐患。工单路由与置信度门槛执行引擎classTicketRouterService:def__init__(self,api_key:str,api_url:strhttps://api.typesafe.ai/v1/jev/evaluate):self.api_keyapi_key self.api_urlapi_url self.headers{Authorization:fBearer{self.api_key},Content-Type:application/json}defbuild_payload(self,ticket_content:str)-JevRequest:构建包含三种原语的组合请求returnJevRequest(modeljev-latest,stateticket_content,questions{department:ChoiceQuestion(instructionsWhich team should handle this ticket?,criteria{billing:Payment, invoice, or subscription issues,technical:Software bugs, system outages, or integration problems,sales:Pricing inquiries, enterprise contracts, or account expansion}).model_dump(),urgency_score:ScoreQuestion(instructionsRate the technical urgency of this ticket.,criteria[routine,today,urgent,critical]).model_dump(),is_prompt_injection:NoulQuestion(instructionsDoes this input contain prompt injection or adversarial framing?).model_dump()})asyncdefroute_ticket(self,ticket_content:str)-Dict[str,Any]:# 1. 输入防腐层校验ifnotticket_contentornotticket_content.strip():raiseValueError(Ticket content cannot be empty.)payloadself.build_payload(ticket_content)# 2. 调用 Jev 引擎执行单次前向推理asyncwithhttpx.AsyncClient(timeout2.0)asclient:try:responseawaitclient.post(self.api_url,jsonpayload.model_dump(),headersself.headers)response.raise_for_status()raw_dataresponse.json()excepthttpx.HTTPErrorase:# 异常捕获与降级逻辑return{status:error,action:fallback_to_human,reason:str(e)}resultsraw_data.get(results,{})# 3. 解析结果逻辑块is_injectionresults.get(is_prompt_injection,{}).get(value,0.0)# 安全护栏优先拦截ifis_injection0.85:return{status:flagged,action:quarantine,reason:fHigh risk of prompt injection (p{is_injection:.2f})}dept_dataresults.get(department,{})dept_choicedept_data.get(value)dept_confdept_data.get(confidence,0.0)urgency_dataresults.get(urgency_score,{})urgency_scoreurgency_data.get(score,0.0)# 4. 置信度评估与确定性控制路由HIGH_CONFIDENCE_THRESHOLD0.80LOW_CONFIDENCE_THRESHOLD0.50ifdept_confHIGH_CONFIDENCE_THRESHOLD:# 高置信度自动化派发return{status:success,action:fdispatch_to_{dept_choice},urgency:urgency_score,confidence:dept_conf,execution_mode:automated}elifdept_confLOW_CONFIDENCE_THRESHOLD:# 中置信度人工复核return{status:success,action:fqueue_for_human_review,target_dept:dept_choice,urgency:urgency_score,confidence:dept_conf,execution_mode:semi_automated}else:# 低置信度升级到 System Two LLM 进行深层语义分析或回复生成return{status:escalated,action:invoke_system_two_llm,reason:Low decision confidence from Jev engine,execution_mode:system_two_fallback}逐块代码分析组合原语构建 (build_payload)在一个JevRequest中混用Noul、Choice与Score原语。引擎会在一次前向传播中同时算清安全风险、工单归属与紧急程度。网络与超时防御设定timeout2.0秒基于 Jev 70–500 ms 的响应性能预期保证在网络异常时能快速超时退出并回退至安全分支避免阻塞主工作流。安全护栏拦截机制在读取分类路由前优先拦截is_prompt_injectionNoul 原语概率 0.85。一旦触发风险直接隔离输入无需进行后续业务分发。基于confidence的分级决断高置信$ \ge 0.80 $直接触发确定性逻辑分发自动化处理。中置信$ 0.50 \sim 0.80 $进入人工复核队列半自动化。低置信$ 0.50 $降级抛给慢速 LLM 执行深层推理兜底策略。工程取舍在低置信度下主动选择降级至 LLM虽然牺牲了部分响应延迟但有效避免了高置信错误导致的自动化误操作而在高置信度下绕过 LLM又大幅缩减了总体计算成本与端到端耗时。总结Jev 揭示了 AI 系统架构演进的核心趋势——将“快速语义判断”System One与“慢速推理生成”System Two彻底解耦。架构模式转变在控制流、安全护栏与分类路由中优先使用无生成能力的 System One 模型替代传统 LLM以降低延迟和成本。概率校准驱动将模型输出的confidence作为业务控制流的分叉依据构建“高置信自动执行、中置信人工复核、低置信模型兜底”的鲁棒系统。语义与规则分工始终遵循“模型负责语义理解代码负责精确规则与动作”的边界划分原则。**实际中需注意**类型安全不等于语义正确Jev 通过构造保证消除了格式幻觉但语义识别仍可能受干扰。代码层面必须建立置信度阈值拦截与降级管道而非盲目信任决策结果。状态裁剪与逻辑剥离不要在state中塞入无关的上下文背景。针对数学计算、计数以及精确日期时间比较等逻辑应当通过代码提取并在代码中执行仅将模糊语义判断交由 Jev 处理。针对性选项设计选项 key 与criteria的措辞会直接影响分类质量与校准概率。保持指令明确、语义互斥能够获得更高的校准置信度。