企业AI项目:演示很完美,上线没人用,问题出在哪?
我在过去几年里接过不少企业AI项目,有给制造业做的质检模型,有给金融客户做的智能文档处理,也有给零售企业做的需求预测。几乎每个项目都经历过同一个尴尬周期:汇报演示的时候全场眼睛发亮,领导拍板说好,业务部门也点头认可,结果真正部署上线两三个月再去问,使用量惨不忍睹,有些功能甚至上线当天就再也没有人打开过。
“演示很好,上线没人用”——这句话我听得太多了,自己也踩过不少坑。后来我慢慢想明白一件事:演示和上线,本质上就是两个物种。演示是在一个你能完全控制的环境里证明可能性,而上线是在一个充满脏数据、复杂流程、人情世故的真实环境里接受检验。这篇文章不聊大道理,就想用我经手的真实项目和踩过的坑,拆一拆“演示好看但没人用”到底卡在哪几个环节,以及怎样从第一天就把项目往“有人用”的方向推。
先说个大概结论,后面细拆:绝大多数企业AI项目死在三个地方——数据条件不真实、需求理解错位、上线后没有运营。这三个问题在演示阶段几乎全部被掩盖了,等上线才暴露,已经没有时间给你补救。如果你正准备启动一个企业AI项目,或者你已经被“上线没人用”的问题折磨过,这篇文章应该能帮你少走一段弯路。
1. 先泼一盆冷水:演示和上线是两个物种
1.1 演示现场的“完美滤镜”是怎么搭起来的
我做过一次印象很深的汇报。客户是一个区域连锁零售商,想用AI做销售预测。演示当天,我准备了一套非常干净的三个月历史销售数据:没有缺货断档,没有大促异常,没有门店手工调账,甚至天气异常那几天的数据我都提前“温和处理”了。模型跑出来的预测曲线几乎贴着真实值,MAPE(平均绝对百分比误差)做到6%出头,客户运营总监当场就说这比他们人工预测准太多了。
后来项目上线,第一周真实数据灌进去,MAPE直接跳到27%。为什么?因为真实业务里,门店促销改价是常态,总部下发的商品主数据经常和实际门店对不上,一些老店的历史销售里还混杂着盘亏、报废、团购冲单,数据口径乱七八糟。演示时我用的是一份专门清洗过的黄金样本,而上线时模型面对的是每天都在变的原始生产数据。
这不是我一个人的问题。很多企业AI项目从立项开始就是“为了演示而演示”:样本数据精心挑,测试场景反复调,连演示界面都是前端单独写的,数据量小、响应快、还专门做了漂亮的图表。演示环境的本质是一个无菌实验室,而生产环境是充满各种病菌的菜市场。你在无菌实验室里培养出的模型,拿到菜市场里能不能活下来,取决于你对真实环境的理解有多少,而不是你的算法有多先进。
1.2 业务方想解决的事,和技术方演示的事,常常不是同一件事
另一个经常被忽视的错位是:业务方嘴上说“我们要AI”,但心里想的其实是“我们要省人、省时间、少背锅”。技术方理解成“我们要做一个高大上的智能系统”。
有个做合同审核的项目特别典型。我们团队花了很多精力做一个漂亮的端到端演示:合同PDF上传后,系统自动抽取出甲方、乙方、金额、期限、违约责任,合规风险点标红,还生成一段审核摘要。演示效果非常惊艳,客户法务总监连连点头。结果上线后,法务部的人用了一周就弃用了。后来回访才发现,法务同学根本不需要系统帮他们抽取信息,他们需要的是系统理解每条合同条款对应的业务风险,并直接告诉他们这条款能不能签,能签的话要加什么保护性条款。抽取字段只是手段,判断风险才是目的,而我们拿一个“手段”去当“交付物”。
这类错位很常见。业务方描述需求时,往往会顺着技术方的话往下说,因为领导在场、供应商在场,谁都不想把场面搞尴尬。但真到用的时候,业务人员是按自己的日常工作流来判断这个东西值不值得用的。如果AI做的事情没有嵌进他现有流程的关键节点上,没有帮他省掉最烦的那一步,他打开两次也就不想再打开了。
2. 根因拆解:为什么“看着好用”会变成“没人用”
2.1 数据条件差的不是一个量级
前面已经聊到数据的问题,但这里我想往深挖一层:企业AI项目上线后的数据条件,和演示时的数据条件,差的通常不是一个量级,而是几个维度。
第一个维度是完整性。演示时你通常能拿到想用的字段,可生产环境里的业务系统经常是十年前的旧系统,连数据库表结构都不一定有文档。缺表、缺字段、缺历史数据是家常便饭,你想建模的那张业务表可能三个月前才有人开始维护。
第二个维度是时效性。很多企业AI场景依赖的是近实时数据,比如风控、反欺诈、库存调度。演示时是离线跑批,数据晚几个小时无所谓;上线后要是实时接口不稳定,特征算不出来,模型就直接罢工。我见过一个制造业的质量预测项目,传感器数据通过工业网关采集,演示时是录好的历史文件,稳稳当当。上线后现场网络抖动,网关消息堆积,消息中间件处理不过来,模型输入的特征缺失,系统干脆静默降级,给出一堆质量预测均值,产线工人看了一眼觉得完全是乱猜,再也不看了。
第三个维度是口径一致性。演示时数据口径你自己定,上线后你会发现不同部门对同一个指标的理解完全不一样。销售部门提的“销售额”是含税实收,财务部门理解的“销售额”是不含税开票收入,模型训练时糊里糊涂都用,上线预测结果自然没人认账。
所以我会建议所有做企业AI项目的朋友,在立项后第一周就去做一次真实数据的可用性审计:哪些表能访问、更新频率是多少、字段缺失比例有多高、各系统之间口径是否一致。这个动作哪怕只是拍脑袋评估,也会让你对整个项目的风险认知清晰很多。演示做得漂不漂亮是次要的,数据底座扎不扎实才是决定生死的事。
2.2 用户要的不是AI,是省事
做企业AI项目,最容易钻进的一个牛角尖是——拼命优化算法的准确率,却忽略了用户使用AI额外付出的认知成本。
去年做一个客服知识库智能问答机器人,我们团队把模型换了一版又一版,意图识别准确率从83%打到94%。但上线后一线客服的使用率只有不到20%。后来拉了几个客服聊,原因特别扎心:客服接到电话时,他们需要在系统里切换到问答机器人窗口,手打关键词搜索,然后阅读三条类似答案再自己判断,整个流程比直接查内部Wiki还慢。有几个客服说得很直接:我又不是不会搜,你们这个机器人给出的答案我还得再核一遍,凭什么多花这个时间?
这就是典型的“技术自嗨”。我们以为给用户提供了准确率很高的AI,但在用户视角里,引入AI后他的操作流程变长了,而且他还要额外花时间去验证AI的答案。一个人每天的工作时间是有限的,如果你的AI让他在单位处理量不降反升,他就算嘴上说好,身体也会很诚实。
真正被高频使用的企业AI,几乎都遵循“省事原则”:
- 不改变用户原有操作路径,AI在后端默默辅助。
- 就算要改变,也必须让用户在第一次使用时就明显感到“省了一步”。
- 宁可准确率暂时低一点,也不要在界面上让用户做太多选择题。
一套好的企业AI产品,应该是用户感知很轻、后台工作很重。感知太重,用户就会退回老路上去。
2.3 没有治理和反馈闭环的上线,就是一次性演示
我还想强调一个容易被忽略的坑:企业AI项目上线后,模型效果不是一条水平线,而是会慢慢衰减的。业务规则在变,数据分布在变,用户行为在变,几个月前还表现良好的模型,几个月后可能已经悄悄变得不准了。
我们做过一个供应链的需求预测项目,刚上线时预测精度不错,采购部门确实用了一阵子。但第三个月的时候动态定价策略调了一版,促销频率大幅增加,销售数据形态变了,模型没有来得及重新训练,预测结果开始持续偏离。偏偏当时没有建立效果监控告警,没人发现模型已经悄悄“变笨”了。采购同学对比了几次自己的判断和系统预测,发现系统越来越不靠谱,就默默回到Excel表格手工拍数的老路,连提都不提这事。
很多项目上线即死亡,不是死在技术能力,而是死在没人为它持续负责。企业AI项目从演示到上线,必须像做互联网产品一样建监控、埋点、反馈、迭代。没有这套闭环,AI系统就会像一个没人上油、没人保养的机器,迟早卡死。
3. 实操方法:怎么把演示变成真正能用的产品
3.1 选切口:从高频、低风险、可量化的小场景开始
我在内部带项目时经常强调一句话:第一次上线,宁小勿大。企业AI项目一上来就想做“全流程智能化平台”的,基本都会死在半路上。不是因为技术实现不了,而是因为涉及的角色太多、流程太长、风险面太大,任何一个环节出问题都会影响整体推进。
正确的做法是选一个高频、低风险、可量化的具体场景先打透。什么叫高频?就是这个场景每天都会发生,用户重复操作频率高,省下来的时间是可感知的。什么叫低风险?就是AI即使犯错了后果也可控,不会直接导致业务事故。夫妻老婆店和银行核心系统对AI错误的容忍度完全不同,你选场景时心里要有数。什么叫可量化?就是业务价值能算成钱,或者算成时间,比如“每周报表制作时间从8小时降到30分钟”“询价单录入的字段错误率从15%降到3%”。
我第一次带团队做RPA+AI的发票录入项目,就是因为选错了切口,差点翻车。本来想做一个全流程应付账款自动化,从发票接收、识别、验真到入账全部自动化。做了三个月发现,发票验真环节涉及和税务系统的对接、多种发票版式兼容、异常发票的人工介入处理,复杂度远超预期,演示倒是好看,但上线后的稳定性根本撑不住。后来我们把切口缩小到“只处理单一供应商的标准增值税发票录入”,场景明确,规则清晰,效果稳了以后才逐步推广。
所以不要怕场景小,“小切口”才是企业AI项目少踩坑的核心策略。场景小,意味着业务方容易配合、数据容易对齐、效果容易评估。有了第一个真实成功案例,再向其他场景复制,阻力会比直接推大平台小得多。
3.2 演示前先做一轮“脏数据压力测试”
很多团队做演示,是用自己准备好的数据去验证模型的“能力上限”,这其实方向就反了。正确做法是:用真实生产数据的原始样本,去测试模型的“能力下限”。
我后来负责的每个项目,在做正式汇报前都会要求团队完成一次“脏数据压力测试”。具体做法不复杂:
- 找业务方拿最近三个月的真实原始数据,不要清洗、不要过滤、不要贴标签。
- 直接把这些数据丢进模型里跑一遍,记录模型报错、特征缺失、结果异常的比例。
- 然后系统地观察:模型在哪些样本上崩了?崩的原因是数据缺失、格式异常、还是逻辑冲突?
- 针对崩掉的样本类型,反推这只会在真实业务中出现多少比例,评估是否在业务方可接受的范围内。
这个测试最大的价值,不是把模型调到完美,而是帮你提前知道模型在真实环境里的“丑态”。你带着这种丑态和业务方沟通的时候,会有两个好处:一是你不会盲目承诺,业务预期不会被拉得太高;二是能提前讨论清楚哪些地方不能自动化,哪些地方需要人工兜底,上线后不会因为“AI没做到你们演示那版的效果”而被投诉。
我自己有个惨痛教训:一个文档分类项目,演示时给的样本都是干净清晰的PDF或者Word,识别准确率非常好。上线前我没有做脏数据压力测试,结果真实环境里有大量模糊扫描件、手机拍照件、带水印和手写批注的图片,这些样本直接让分类准确率掉了20多个百分点,上线计划被迫推迟了一个半月。后来我们花了整整三周的时间在数据预处理管线上,才把性能拉回来。如果在演示前就做过压力测试,这些时间完全可以前置,也不至于上线前那么狼狈。
3.3 把演示对象从领导换成真实用户
这条经验虽然听起来反直觉,却是我认为最值得分享的一条。
一般企业AI项目的汇报对象都是管理层,你要给他们一个“预算继续批”的理由,所以演示通常做得越宏大、越吓人越好。但如果你全程只在管理层面演示,你根本不知道真实用户到底怎么想。管理者关心的问题和一线用户关心的问题是完全错位的——管理者想知道投入产出比和战略价值,而一线用户想知道这东西能不能让我少加一次班、少背一次锅。
我的建议是:在正式汇报之前,先约几个真实用户做一轮“最小可行性体验测试”。不用做得太精致,原型也好、半成品也好,让用户在真实任务里用一用,然后让他们吐槽。
有一次我们做库存异常预警系统,内部觉得界面设计得挺好看,图表丰富,信息全面。结果约了仓库主管来体验,他看了一眼就皱眉:你们这东西好是好,但我仓库一天到晚都在拣货发货,哪里有功夫坐下来盯屏幕看预警?我需要的是异常出现时直接弹一条消息到我手机,告诉我哪个库位、哪个SKU、数量差多少,现在应该怎么处理。后来我们整套交互逻辑都改了,系统默默在后台算,出问题推一条短信或者企业微信消息,用户反馈“这才是有用的东西”。
所以一定要记住:你服务的不是领导的期望,而是一线用户的时间。把演示对象换成真实用户,虽然他们的反馈会让你难受,但难受完你会发现项目的方向一下子清晰了。
3.4 把AI嵌进用户已有的工作流里
还有一点特别想强调:企业AI要“上线有人用”,关键不是做一个独立的智能系统,而是把AI能力嵌入用户已经在用的工具和工作流里。用户不会因为一个工具“智能”就去用,而是会在自己熟悉的环境里顺手用掉它。
举个例子,同样是做合同信息抽取,做一个独立的网页应用让大家上传合同、查看抽取结果,用户的使用成本是很高的;但如果你直接用OCR和NLP能力做一个插件,放进他们平时使用的OA系统或者企业微信里,用户在审批流程里顺手就能看到AI抽取的关键摘要,根本不需要切换系统,使用率一定高得多。
我在项目里经常向团队传递一个原则:AI不要做个新工具,要做一个看不见的助手。最好的形态是让用户感觉自己的活儿变少了,但又说不清楚到底哪里变了。要做到这一点,就需要在动手之前先画出用户当前的“工作流程图”,找到最费时费力的环节,再考虑怎么把AI插进去。而不是先想好一个AI功能,再强行塞给用户。
4. 上线后如何避免“二次弃用”
4.1 上线不是终点,运营才是起点
很多企业团队做AI项目,默认上线就是交差。系统部署完了,验收测试过了,发票开了,项目组就解散了。这种做法在“演示好看”的阶段就埋下了“上线没人用”的种子。
企业AI项目上线后,其实需要一段至少一两个月的“陪伴期”。这段时期项目团队要做的不是开发新功能,而是回答用户的真实使用问题、观察用户的真实行为、收集使用门槛高在哪、特意去抠那些用户“用了但不顺手”的细节。
我记得有个项目上线AI辅助写周报的功能,我们觉得这个功能不复杂,用户把做的事情一填,AI直接扩写,应该没什么学习成本。结果上线后连续几天使用量都很低。后来一问,发现Hit是用户找不到功能入口——产品团队把“AI写周报”的按钮埋得比较深,用户打开周报模板根本不知道能点哪里。就这么一个小问题,不通过运营陪伴期的用户访谈,你很难靠自己发现。我们赶紧做了一次入口优化,把按钮直接放到了周报页面的最显眼位置,第二周使用率翻了三倍。
所以上线后的运营动作,绝不是可做可不做的锦上添花,而是决定项目生死的关键工作。一个AI项目,如果没有配置专门的运营或者产品经理角色去盯用户反馈,它的生命力通常不会超过三个月。
4.2 用埋点数据说话,别靠感觉
另外,判断一个AI功能到底有没有人用,不能靠汇报PPT上“试用用户数”这类虚荣指标,要靠行为埋点。每次发版前,我会和团队约定三组核心指标:
第一组是使用深度,比如每天有多少用户使用了AI功能、人均触发次数是多少、功能在不同部门间的渗透率怎么样。第二组是转化成功率,用户发起一次AI请求到拿到结果并采纳结果,这中间的完成和放弃比例是多少。第三组是业务效果指标,比如使用了AI的工单处理时长相比没有使用AI的工单处理时长是否缩短、单位处理量有没有提升、错误率有没有下降。
埋点数据能帮你回答非常具体的问题,比如“到底是没人用,还是用了但没解决需求”“到底是功能入口藏得太深,还是AI结果根本没有命中用户的预期”。如果发现AI结果点了“采纳”的比例很低,那就不是运营问题,而是模型能力问题,你需要回头去看训练数据是不是太干净了。如果发现入口点击率很高但生成结果很少被采纳,那就要去看是不是用户输入的门槛太高,或者AI生成的内容永远带有一股AI味,让人不放心直接用。
有个客服智能问答项目,最初埋点只统计了“调用量”,看起来每周都在涨,团队还挺高兴。后来把埋点细化到“调用后是否复制了回答发送给客户”,才发现复制率低得可怜。也就是说客服同学打开了问答助手,但输出的答案不符合他们的表达习惯,他们宁愿自己重打一遍。如果没埋点,这个问题可能要一直到项目整体复盘才发现。
4.3 建立一条快速反馈和迭代的通道
上线后的AI项目,最怕的就是“告状无门”。用户发现模型预测得不准、页面用起来卡顿、某类新样本识别不了,却没有一个便捷的反馈渠道,那他最自然的反应就是不用了,而不是帮你把问题提出来。
我建议每个项目上线时都建一个最低成本的反馈闭环:企业内部微信群也好、工单系统也好、产品内的“反馈”按钮也好,关键是让用户知道“说了有人听,而且改得快”。
有一次我们做了一个销售预测的调整功能,用户可以手动修改系统预测值,希望把人工经验也融入模型。上线后用户每天都会改十几条预测,但系统没有做“人工修正回流”的机制,修改完就完了,模型下次还是按老逻辑预测。用户改了两个星期,发现系统完全没有变聪明,积极性一下就被打击没了。后来我们快速加了一个机制:把用户的人工修正数据定期回流到训练集里,定期重新微调模型,让用户感觉到“我每次的修正,系统真的记住了”。这个功能上线两轮之后,使用深度发生了肉眼可见的增长。
企业AI项目的迭代速度不需要像互联网产品那样快,但至少要有一个“按周迭代”的节奏感。用户提出一个合理的小问题,你最快下周就改了。用户发现提了意见有回应,他才愿意继续用下去、继续帮你发现问题。这比你把模型精度再往上提一个百分点要重要得多。
5. 我踩过的坑和最后想说的话
5.1 现场复盘:三个项目的真实教训
说了这么多方法论,最后分享几个我印象最深的现场复盘,每一个都是花钱买来的教训。
第一个项目是做供应链需求预测的。刚才提到的动态定价策略变化导致模型预测失准,其实根源上是需求方和算法团队之间没有建立“业务规则变更通知”机制。业务策略更新了,但算法团队完全不知道,模型还在用旧逻辑学新的数据,当然越跑越偏。后来我们和业务方约定,任何影响销售数据分布的活动必须在系统里提前登记,模型再根据规则做切换或者重新训练。企业AI项目里,业务规则变更和技术系统之间要有“握手协议”,这件事比调参重要得多。
第二个项目是做合同审核的。我们最初花了大量时间优化法务条款的风险标注,模型能识别出几十种风险点。但真正上线后法务用户告诉我,标注太多等于没有标注,他们打开界面看见满篇密密麻麻的红标,根本不知道先看哪个。后来我们换了一个策略:模型只输出“这个条款能不能签”一句话,然后提供“建议理由”和“参考条款”,其他信息统统折叠。用户反馈反而大幅改善。这说明在复杂业务场景里,AI需要勇敢去做决策,哪怕决策有时候不够周全,也比罗列一堆信息让用户自己决策更有价值。
第三个项目是做客服知识库问答的。最开始的版本直接让用户输入问题,AI返回答案。后来回访发现,用户真正高频的操作其实是“找一个特定单据的处理方法”,而这类问题在知识库里有标准文档可以查。我们后来把产品改造成“先分类问题类型,再引导用户一步步找到解决方案”,变成了一个智能助手+流程导航,而不是一个“问答机器人”。使用率提升非常明显。有时候AI项目没人用,不是AI不够强,而是你把问题定义错了。
5.2 如果只记住一件事:让AI承担“脏活累活”
总结这么多,我想说如果只让你记住一个中心思想,我希望是这句:企业AI项目的目标不是展示AI有多酷,而是让AI去承担人类不想干的脏活累活。一线用户不会为了“智能”买单,只会为了“省事”买单。演示好看固然重要,但那是获得预算的门票,真正决定项目成败的,是用户在使用产品那一刻的真实体感。
我见过太多团队把80%的精力花在模型准确率上、把20%的精力花在系统集成和用户体验上,但真实世界的反馈恰恰相反:系统集成和用户体验的权重应该超过模型算法。模型精度从90%提到95%可能需要三个月,但把功能入口从二级页面移到首页、把操作步骤从八步压缩到三步,可能只需要一周,而带来的使用率提升可能远超那5%的准确率提升。
最后分享一个小技巧:如果你现在正准备做演示,试着把PPT里那些“智能”“赋能”“全流程自动化”的词去掉,换成用户每天都会说的“少输入一遍”“自动汇总”“出错直接提醒”,然后看看你的方案是不是还成立。如果去掉这些词以后你的方案就站不脚,说明你要么是在自嗨,要么还没真正理解用户要什么。想清楚这个问题再动手,项目上线的命运就会很不一样。