AI Agent 落地效果差,多半是这五个原因
演示的时候什么都好,一接真实业务就时灵时不灵——这是我们听到最多的抱怨。换更贵的模型往往没用,因为毛病多半不在模型。下面五条是我们在客户生产环境里一条条踩出来的,每条都写了当时的现象和最后管用的改法。
一、把原始材料整包塞给模型
最省事的做法是把整串邮件往来、整份工单记录、检索回来的全文一股脑交给模型,让它自己看。结果是它在长材料里抓不住重点。我们遇到过一张来回二十多轮的工单,前面我们已经答应客户「退货回仓后全额退款」,模型写新回信时完全没看出来,前后自相矛盾;另一张工单的记录有几十万字,模型让客户重拍一段客户早就发过的视频。
同一包材料交给更强的模型能写对,说明缺的不是材料,是提炼。改法是在模型之前加一步,由代码或专门的提炼步骤把材料变成几行结构化事实:客户这一轮要什么、我们之前答应过什么、已经办了什么、客户已经给过什么材料、已核实的订单和物流状态、还缺什么、哪里有冲突。每一行都带来源和日期。原文只以一两句的引文出现,不整段给。
二、出一次错补一条规则,最后规则互相打架
提示词通常是这样变长的:今天漏了一种情况,补一句;明天又错一种,再补一句。几个月后几十条规则里有好几对在打架,模型只能顾一头,或者干脆编。
我们自己的内容生产线上就出过这事:提示词里同时写着「提到地点必须给出中英文名」「提到费用必须给出数字」和「绝不编造商户名」。资料里没有店名和价格的时候,前两条逼着它写,第三条不让它编,它最后选择了编。把前两条改成「材料里有才写,没有就告诉读者怎么自己查」之后,编出来的店名就没了。另一份提示词堆到九千多字时,同一段输入的产出时多时少;砍掉重复和互相矛盾的部分、分条重排到三千多字后,反而稳定了。
所以出问题先找能删的:重复的说明、互相矛盾的规则、多余的步骤。要补,只补适用于全局的原则,不给某一单专门加一条。
三、模型缺的,正是你判断对时用的那条事实
发现 AI 做错了,第一反应往往是加规则。更有效的做法是先回头想:我自己是怎么看出它错的、靠的是哪条信息。有一次 AI 把一个促销活动的问题答错了,我们复盘时发现自己之所以知道答案,只是因为知道今天是几号——而模型手里没有今天的日期。把日期交给它,就对了,一条规则都没加。
大部分「AI 判断不准」都是这一类:判断所需的那条事实在人手里,不在它手里。把事实接给它,比教它怎么猜管用得多。查询类的事实还要注意失败时怎么表达,这一点在企业 AI 落地的路径里单独讲过。
四、中间的处理步骤悄悄删掉了业务内容
喂给模型的材料通常要经过过滤、裁剪、去链接、压缩。这些步骤出错的时候不会报错,只会让回复变差。我们有一次给知识库内容去掉视频链接,过滤规则按句号断句,而原文是用逗号把部件、操作、原因、处理办法连成一句写的——整段排查步骤跟着链接一起被删了,客户问怎么解决,回信里只剩「请联系经销商」。
截断也是一样:长文按字数一刀切,切掉的往往正是关键那句。改法很朴素:动任何喂模型的处理步骤之前,拿一条真实原文比对处理前后,确认业务内容一个字都没少;长内容只做总结,不做截断。
五、该人拍板的地方没留人,或者处处设卡
两种极端都常见。一种是一步跳到全自动,AI 在没人看的渠道里替公司答应了退款、补偿;另一种是对需要人审的草稿层层加拦截,AI 稍不确定就不出稿,最后人还是得从头写。
我们现在的分法是看能不能收回:人会先看一眼的东西(比如等审核的邮件草稿),规则只做提醒,照常出稿,由人决定改不改;发出去就收不回的东西(比如没人审的在线聊天),凡是要人去办的事——退款、补发、改单、开票——AI 都不自己答应,而是登记成工单交给人处理,只回答事实和公开政策。硬拦截只放在真发出去、真执行的那一步。
怎么判断你的项目卡在哪一条
拿最近一批 AI 做错的记录,逐条问:它当时手里有没有做对所需的事实(第一、三条)?提示词里有没有两条规则在这件事上冲突(第二条)?模型实际收到的输入和原文比少了什么(第四条)?这件事错了能不能收回(第五条)?把模型实际收到的内容打印出来看一遍,大部分问题当场就能定位。