视觉语言模型在机械图纸标注合规审查中的应用实践

“vlm 当前图纸是否符合标注要求如果不符合请给出修改步骤”这句话我最近几乎每天都要读一遍。它看起来像是一条下给AI助手的指令实际上它概括了制造企业审图岗位上最真实的一个痛点——图纸标注合规性检查。传统流程里这活儿靠老工程师一双眼睛死磕一张A0图纸几百个尺寸、公差、粗糙度符号逐项对照国标和企业标准既费眼又费人还免不了漏检。我今年陆续搭了几套基于视觉语言模型的图纸预审管线把这句话变成了可以跑起来的系统输入一张图纸或一包PDF模型自动回答“是否符合标注要求”不符合就直接给出修改步骤。今天把这一路的踩坑、选型、提示词设计和部署细节整理出来希望对准备往这个方向试水的朋友有点用。1. 我为什么要把VLM搬进审图流程背景与痛点先交代下背景。我所在的团队主要做非标机械装备的图纸审核与标准化管理每个月过手少说几百张图纸来自不同工程师、不同三维软件、不同年代。审图的核心任务之一就是标注合规性检查——尺寸标注是否完整、公差有没有超范围、粗糙度标注规范与否、基准符号是否明确、标题栏信息是不是齐全以及所有标注是否符合现行国标和企业标准。这个工作难受在哪第一标准版本多。像GB/T 4458.4尺寸注法、GB/T 1182几何公差标注、GB/T 131表面结构表示法都更新过好几轮不同客户还可能有自己的企业规范工程师照着旧习惯画图是常态。第二检查项极细眼睛要一直盯着图纸一条条核对两小时下来基本处于“看山不是山”的状态。第三经验断层明显——能准确判断标注合不合规的人得是既懂制图标准又见过大量实际图纸的老师傅这种人在任何企业都是稀缺资源。我最早试过把图纸丢给通用OCR工具去做文字提取效果很一般。普通OCR确实能识别数字但面对“直径符号φ落没落在尺寸线上”“公差带代号和基本偏差代号搭配得对不对”“粗糙度符号的三角形是不是封口的”这类问题它完全没有判断力。更别说它根本读不懂一张图纸里各个标注元素之间的空间关系——比如这个公差到底是约束哪个圆柱面的引线指到哪里了。也就是说审图需要的不是“认出字”而是“看懂图”。VLM恰好补上了这一环。它既能识别图纸上的图形和符号又能理解位置关系还能把这些信息跟用户提供的标准条文做语义匹配。换句话说它是第一个让“让电脑读图并判断标准符合性”这件事从实验室走向工程可用的技术方向。我做的第一轮测试里GPT-4V、Qwen-VL、InternVL这类模型在标注元素识别、空间关系判断上的表现虽然离老师傅还有差距但已经能覆盖大量机械性、重复性的合规检查工作了。这里必须说清楚一个定位问题VLM审图绝对不是要替代人而是把人眼从高强度的机械核对中解放出来。模型先跑一遍把所有存疑的地方标记出来人再去复核。这样一张图纸的初审时间可以从半小时压缩到几分钟漏检率也能大幅下降。所以不要一上来就指望它做“最终裁判”它的角色是“第一道筛子”。2. 一套可落地的VLM审图链路从DWG到审查结论纸上谈兵没意思直接给出我目前在用的、已经跑通的全链路方案。整体上是一条流水线原始图纸文件 → 渲染成图像 → 交给VLM多模态模型 → 模型按提示词规则输出结构化审查结论 → 程序解析结果推送给人审。2.1 图纸文件的输入与预处理上游文件通常三类DWG/DXF矢量图、PDF出图纸、图片扫描件。DWG/DXF需要通过AutoCAD或ODA等工具批量转成PDF再转成位图PDF直接解析出页面图像扫描件基本就直接用了。关键点在于分辨率——这是后面所有环节的地基。我踩过的坑是A0图纸压缩到常见API默认尺寸后直径符号和公差数字直接糊成一片模型张口乱说。所以我的做法是统一控制渲染DPIA3及以上图纸至少按200 DPI出图像素密度要保证最小的标注字符在图像里也有足够的可辨识度。如果图纸幅面特别大我会做切片处理。把大图按网格切成若干块每块之间留10%~15%的重叠避免标注恰好被切在边缘处。切片之后逐块送模型识别最后再把各块结果按坐标合并。这个切片的思路跟卫星影像识别里的瓦片策略是一样的属于工程常识但确实管用。2.2 模型选型的取舍从投入产出比来看如果图纸涉及企业机密、不允许出内网那一条路是私有化部署开源VLM。我实测过InternVL系列和Qwen-VL系列前者在文档版面理解和细节文本识别上表现不错后者的中文理解更稳。如果合规允许上云直接调用GPT-4o或通义千问VL的API会更省事识别精度也确实更高。我的建议是先拿二三十张有代表性的图纸在闭源API上跑一遍建立预期标杆再决定要不要花精力折腾开源模型微调。下面是几个主流方案的粗略对比仅代表我个人的测试感受方案部署方式中文能力图纸细节识别适合场景GPT-4o系列云端API强优秀数据合规要求宽松、效果优先项目Qwen-VL系云端API/私有化强良好中文图纸批量处理、需私有化部署InternVL系私有化良好良好数据敏感、需要在内部服务器上跑LLaVA系本地中等一般技术验证、极小规模试用2.3 审查输出的结构化这是整条链路里最容易被新手忽略的一环。VLM返回的自然语言结果没法直接进业务流程必须让它输出JSON结构。我依赖一套严格的返回格式约束每个审查项对应固定字段审查项名称、是否符合标准true/false、问题描述、定位区域坐标、建议修改方式、参考标准条款。这套JSON直接灌进内部系统生成“审图意见单”由标注负责人逐条处理。一个典型输出的简化示例{ job_id: DWG-20240715-0032, checks: [ { item: 尺寸标注完整性, pass: false, issue: 主视图左侧φ80外圆缺少径向尺寸标注, bbox: [1240, 860, 1680, 1130], suggestion: 在该圆柱面标注径向尺寸格式为φ80尺寸线平行于轴线箭头指向轮廓线, reference: GB/T 4458.4 第4.2条 }, { item: 表面粗糙度标注, pass: true, issue: none, bbox: null, suggestion: , reference: GB/T 131-2006 } ] }2.4 人工复核兜底最后一道工序必须是人。所有模型判为不合规的项以及模型自己标注为“不确定”的项全部进入人工复核队列。我把复核界面做成“左图右单”的模式左边显示定位框右边显示问题描述和修改建议复核员只需要做三件事确认、驳回、修改建议。这个环节有效压住了模型的误报率也让审图员不再需要从头盯到尾只处理被标记出来的候选问题就够了。3. 提示词设计与标准知识注入如何让VLM真正“看懂”标注要求如果说图像输入是VLM审图的“眼睛”那提示词就是它的“大脑里的规则手册”。提示词设计的好坏直接决定了模型是在一本正经地胡说八道还是在真实地帮你挑毛病。3.1 提示词的核心结构我现在用的提示词不是一段话而是一个结构化的规则包。它分成四层角色定义、任务清单、判定标准、输出格式。角色定义我用的是“国家机械制图标准审查专家”这个定位很重要——模型会依据这个角色调用相应的知识表示。任务清单必须粒度足够细。“请检查图纸标注是否符合要求”这种描述绝对不合格因为它没有告诉模型“要求”具体是什么。我一般把任务拆成八到十个可操作的条目例如检查所有尺寸标注是否包含尺寸界线、尺寸线、箭头和尺寸文本检查直径尺寸是否标注在不完整的视图上重复标注是否出现检查几何公差框格结构是否完整公差值和基准是否齐全检查表面粗糙度符号的图形方向是否正确符号是否指向加工表面检查标题栏是否包含图样代号、图名、材料、比例、重量等必填项检查是否存在封闭的尺寸链判定标准这一层直接决定模型的下结论逻辑。我明确告诉它只有证据充分才能判“不符合”证据不足时判“存疑”并说明原因不允许凭空臆断。存疑项在最终统计里会和不符合项分开。输出格式就按前面JSON的schema来不许自由发挥。为了让模型稳定输出我会在提示词里直接贴出两到三条JSON示例让它在每个任务里照葫芦画瓢。3.2 标准知识怎么喂进去这里必须说一个关键技术点通用VLM对精确的标准条款引用并不可靠。它会“记得”GB/T 4458.4这个标准存在但具体某一条的编号、措辞它很可能记错或编造出来。解决这个问题一靠RAG检索增强生成二靠把标准内容塞进上下文。RAG的方案相对正规把企业的审图规范、国标的条款、历史审图意见做成向量库图纸交进来之后程序先把图纸里的标注特征提取出来用这些特征去检索相关的标准条款把检索到的条款文本追加进提示词。这种方式的优势在于标准更新了只需要更新向量库不用重写模型。小规模试运行时我建议先别急着上RAG用“把关键标准条文直接贴进系统提示词”的方式足够。A0图纸的标注检查一次任务涉及的条文数量有限贴个三五千字的标准摘要完全在上下文窗口内。缺点是每换一批标准都要改提示词比较笨但初期的控制力强方便调试。3.3 一个可以直接用的提示词模板分享一套我调过的、当前效果比较稳的提示词。它针对的是“机械零件图的标注合规性检查”需要根据实际场景微调你现在是一名机械制图标准化审查专家精通GB/T制图标准和企业制图规范。 图中是一张机械零件工程图请逐项执行以下审查任务 1. 尺寸标注检查尺寸标注是否完整、清晰、无重复、无封闭尺寸链。 2. 公差标注检查尺寸公差和几何公差的格式、值域、基准是否合理。 3. 粗糙度检查表面粗糙度符号的标注位置、方向、参数值是否合理。 4. 基准检查基准符号的引出位置是否指向有效要素。 5. 标题栏检查图样代号、名称、材料、比例、设计/审核签字是否齐全。 6. 其他检查是否存在违反制图通用规则的情况如虚线标注尺寸、中心线作尺寸界线等。 判定规则 - 仅凭图像中可见证据做判断不得推测。 - 如果某个检查项存在疑问但无法确定请标记为存疑不要强行判定合规或不合规。 - 对每个不合规项必须给出具体的修改步骤说明改哪里、改成什么样。 输出要求 以JSON格式输出审查结果字段包括item、pass、issue、bbox、suggestion、reference。 issue和suggestion用中文描述bbox为图纸坐标系中的矩形位置。 参考标准条文时注意不确定的条款编号不得编造宁可写参考国家标准GB/T系列相关要求。这套模板最大的特点是把“不确定就不要乱说”写进了判定规则。VLM本身的底层逻辑是生成最可能的下一段文字如果你不给它“存疑”这个出口它会倾向把所有东西都编出个结论来这在审图场景下是致命的。4. 实测踩坑VLM审图的五个高频翻车点及对策任何炫酷的架构落到真实图纸上都会暴露问题。我跑了几个月之后总结出五个高频翻车点每个都配了对策给后来人一张避坑图。4.1 标准条款幻觉这是最隐蔽也最危险的一个坑。模型完全可能在“不合格”的问题描述里写“违反GB/T 4458.4-2002第6.1条规定”但这条规定实际上不存在或者内容根本不沾边。非专业的人看到条款号说得有鼻子有眼很容易信以为真顺手把问题单子发出去了最后被资深审核员一眼看穿。我的对策是在提示词里严格禁止编造条款编号同时后台做了条款校验模型输出的reference字段会和标准条款库做模糊匹配匹配不到就自动降级成“参考GB/T系列相关要求”。宁可模糊引用不可精确错误。4.2 小字与大图的分辨率矛盾很多老图纸是扫描件本身就模糊压缩上传到模型API之后更糟。数字“6”和“8”分不清小数点直接蒸发直径符号和度数符号混淆。这不是模型笨是输入信息确实缺失了。对策分三层尽量保证输入DPI达标如果原图质量不行先做图像增强对比度拉伸、锐化、二值化再喂给模型最关键的是对识别不确定的数字加置信度标记让人工复核重点关注。4.3 专业符号的语义混淆机械图纸里有一堆普通人看着差不多、实际上天差地别的符号。表面粗糙度符号去除材料和不去除材料的表示不同三角形是否封口含义完全不同基准符号的方框、圆圈、三角的位置关系稍有变化指向的对象就变了焊缝标注里的旗标、尾注、现场符号各有含义。我在实测中发现通用VLM对这类精细符号的区分能力确实有限。它经常把“抛光”的符号当成“切削加工”符号。解决办法一个是微调——找几百张带标注的图纸把符号类别标注好去做LoRA微调能够明显提升区分准确率如果不打算微调就只能在提示词里事无巨细地描述符号的视觉特征三角形封闭否、横线位置、延长线的在哪一侧。把“视觉特征”而不是“符号名称”写进提示词模型反而更容易认准。4.4 空间关系判断的边界失效标注合规性检查里最难的是判断“这个标注到底指的是哪个要素”。一个几何公差框格放在尺寸线的下方它的指引线微微偏移到底是指向φ80外圆还是端面VLM在大部分简单情况下能判断对但在图形重叠、引线密集的区域会犯迷糊。我的经验是空间关系错误往往发生在切片边缘。所以重叠切片比例从5%提高到15%之后这类错误明显减少。另外在做模型结果复核时把“空间关系存疑”的问题单独建一个队列由人工最先处理因为它们往往是整套图纸中争议最大、影响也最大的部分。4.5 修改步骤的“通用化”倾向模型在给修改建议时最容易犯“正确但无用”的毛病。比如你问它“这个标注哪里不对”它回答“建议按照国家标准完善标注”。这谁不知道等于没说。我观察到当图上信息不足以让模型理解问题时模型会倾向于用安全而空洞的答复来“平滑”掉问题。对策是把它逼上具体化的墙角。我在提示词里要求修改建议必须包含“删除什么、增加什么、移动到哪个位置、改成什么格式”至少四要素否则该条判断视为无效。实测这条约束对输出质量提升非常明显。比如一个好的建议应该长这样“删除φ80外圆上的重复直径标注该尺寸已在前一视图标注保留一个即可如确需标注应标注为‘约φ80’并注明‘非加工尺寸’。”而不是“注意尺寸标注规范”。5. 生产环境部署细节与效率评估从技术验证走向真正的生产环境还有不少“脏活累活”。这一节分享几个我踩过并消化掉的部署细节问题。5.1 任务队列与批处理图纸审查不是一锤子买卖而是持续有图纸涌入。我建议哪怕初期规模不大也直接搭一个简单的异步任务队列。图纸文件进来之后进队列处理程序从队列里取任务跑完再把结构化结果写回数据库。不要图省事做成同步调用——碰到一张超大图纸同步阻塞会卡死整个流程。我用的是Redis队列工程上足够稳。队列的另一个好处是天然支持优先级比如紧急图纸可以插队。5.2 结果缓存与增量审查同一张图纸经常会被反复审查——工程师改了一处标注整张图又提交一遍。如果每次全量重跑既浪费算力又容易把前面已经确认无误的标注重新标成“可疑”。我的做法是给图纸算哈希值同一哈希值关联历史审查结果工程师提交修改版时靠修改区域坐标做增量审查只重新检查改动附近的标注。这个功能在省时省力上的收益比想象中大得多。5.3 误报率与漏报率的平衡任何审图系统都有两个指标误报把合规的标成不合规和漏报不合规没查出来。对VLM系统而言两者天然矛盾。我把系统参数调成了“宁可多报不可漏报”——所有可疑项尽量标出来交人工复核。原因很简单误报的代价是复核员多花十秒钟点一下“驳回”漏报的代价是图纸带着问题流出厂可能在客户现场爆炸。代价完全不对称。根据我这边的统计经调试后的流程在比较规范的新图上VLM误报率可以压到15%以下漏报率通过“宁可多报”策略保持在很低的范围。这个数字供参考。需要强调的是漏报率统计需要基于一批人工全量核查的标注图作为金标准初期千万别省这一步。5.4 私有化部署的算力需求如果图纸不能出内网就要考虑私有化部署。我实测的可参考数据是一个中等规模的InternVL模型7B~8B参数级别做单张A3图纸的推理一块A100级别显卡能扛住轻度生产负载如果并发高就得堆卡或者上更大的集群。只是做技术验证的话一块24G显存的消费级卡也能跑就是慢一些。中文企业场景我比较推荐Qwen-VL系列开源版本它的中文指令跟随能力在私有化部署里算第一梯队。6. 边界与扩展VLM审图的定位和后续演进和任何新工具一样VLM审图有它的能力边界弄清楚边界比追求边界更重要。它做不好的事情我总结为三类一是需要判断设计意图的审查比如“这个公差配合选得合不合理”这需要知道零件的装配关系和工作工况图纸本身给不了足够信息二是涉及标准新旧版本适用性的裁决比如客户定的是老标准但图纸按新标准标注了这是合同问题而非技术问题模型目前连“这是新旧冲突还是笔误”都很难判断三是对非标准表达方式的容忍度判断有些老工程师的标注方式不符合教科书但实际加工验证多年没问题行业里默认这样画VLM遇到这种情况大概率会一刀切判违规反而制造矛盾。我目前给团队的定位是VLM审图系统负责“标准符合性检查”这个子集判断的是“照本宣科”的对错设计合理性、工艺可行性和客户特殊要求的判断一律交给人工。这个分工既发挥了机器擅长重复性大量对比的优势也避免了边界模糊时人机互相扯皮。至于后续演进我在推进的方向有三个。一是将二维图纸审查延伸到三维模型视图和PMT标注的检查VLM在这个方向上同样有发挥空间二是把审查结果反哺知识库积累足够多的“问题—修改—确认”数据后可以用这些数据继续调优模型形成数据飞轮三是把结果接入PDM/PLM系统图纸走流程时强制过一遍AI预审不合格直接在流程节点打回让合规检查从“事后补”变成“事前拦”。随手起一个具体的扩展场景把VLM用在供应商图纸的准入审核上。采购部门收到供应商的图纸先过一遍模型初筛再把有疑点的图纸转给技术部门精审省下来的外审时间相当可观。这个用途本质上跟内部审图一样但性价比经常更高——因为供应商的图纸画风多变标准执行参差不齐正是机器检查发挥最大价值的地方。最后说点个人的操作体会。这类项目最忌讳一上来就追求大而全动不动想覆盖全部图种、全部标准。我从单一图种零件图起步把“标注合规”这一件事做透形成一套可复用的提示词和反馈修正机制再逐步扩展到装配图、焊接图、铸造图。每扩一个图种先拿50张人工已经完全确认过对错的图纸去做基线测试看模型原始准确率和修正后准确率分别多少达标了再上线。这样每走一步都有底。另外一定要在项目启动时就把数据安全策略定下来。图纸是企业的核心资产哪些图能送云端API、哪些必须本地跑、审批流怎么走这些规则应该在技术方案之前先定清楚。我见过不止一个项目因为初始没考虑数据合规做完一轮技术验证后被安全部门一票否决所有工作推倒重来。把这条教训写在这儿希望后来人不用再付一次学费。