一个跨行业的老机制:自动化拿走练习机会,却没拿走责任

已经把客服应答、系统报警处理或常规审批交给AI智能体一段时间的企业,通常会遇到同一类新问题:常规部分AI处理得很顺,可一旦出现AI处理不了的疑难情况,团队接手时会不会反而比没上AI之前更生疏、更慢?

这个问题,我们在《企业把工作交给AI智能体,哪些判断必须留给人?》里提到过一句:如果AI拿走所有正常判断,只把异常、审批和失败留给员工,团队可能逐渐失去观察、比较、决定和承担反馈的过程。这里把这个机制具体展开——它为什么会发生、在客服/运维/审批这类场景里具体长什么样,以及企业可以做哪几件不需要采购任何产品的事去应对它。

这个担心不是凭空产生的。前LinkedIn SRE工程师、现任事故管理公司Rootly AI Labs负责人Sylvain Kalache在一篇博客文章中提出:AI处理常规系统事故的能力越强,工程师练习"排查系统"的机会就越少;等真正遇到AI从没见过的疑难事故时,工程师上手时携带的练习量反而比自动化程度更低的年代更少。他把这种系统理解与实际系统运作之间不断拉大的差距称为"理解力债务"。这篇文章发布后被提交到Hacker News,获得382个点赞和333条以上评论(点赞数为核验时读数,仍在持续变化)。评论区分歧不小:有人认同这类"长期能力断层"确实值得关注,但也有排名靠前的评论者直接反驳这个机制本身——不认为"AI处理常规问题、人只接手疑难问题"会让人在关键时刻更没准备,还有人认为长期看这类分工会自己找到一个新的平衡点,不会真正演变成能力退化。具体到该不该用"事故模拟器"解决,争议同样存在,而且更集中(详见下文)。

这个机制不是Kalache自己的发明。他引用了人因工程学者Lisanne Bainbridge在1983年发表的经典论文《自动化的讽刺》(The Ironies of Automation,发表于Automatica Vol.19 No.6)——这篇论文是人因工程与自动化领域被广泛引用的经典文献。其核心机制是:自动化拿走的是操作者练习"日常、正常"工作的机会,但操作者仍要为"异常、意外"的情况负责;自动化程度越高,操作者反而需要比过去更熟练,而不是更少。

这个机制值得中小企业主认真对待,不是因为它讲的是软件事故处理,而是因为它描述的是一个不挑行业的结构:只要一项工作能拆成"常规部分"和"异常部分",常规部分交给AI、异常部分留给人负责,"练习机会消失、责任却没有减少"的落差就会出现。客服、运维、审批、内容生产,任何把大量重复工作交给AI智能体处理的场景,理论上都躲不开这一点。

客服、运维、审批:这个机制在企业里会怎样表现

把这个机制翻译成中小企业更熟悉的场景,大致是这样:

客服场景:查订单、改地址、解答常见政策问题,这类高频事项交给AI处理基本没有阻力。真正难处理的是剩下那一小撮——情绪已经很激烈的客户、同时夹杂好几个诉求的投诉、政策文本本身没写清楚的灰色地带。问题在于:一旦团队长期不再亲自完整处理一起普通投诉,手感会先从最基础的地方开始丢——连"把客户到底想要什么问清楚"这一步都可能变得生疏,而这一步恰恰是AI处理不了时,人必须率先补上的动作。

运维与系统监控场景:容量报警、自动重启、自动扩容这类常规响应交给脚本或AI智能体后,团队确实不用再半夜爬起来救火。但那种看一眼报错就能大致猜到"系统哪里出问题了"的直觉,从来不是靠看文档学会的,而是一次次亲手翻日志、亲手排查磨出来的。这个磨炼过程一旦被自动化悄悄接管,等真正撞上一个AI也没处理过的新故障,团队面对的就不是"调用经验",而是几乎要从零重新摸清这套系统。

审批场景:常规申请由AI自动过滤、自动批准,人力只集中处理被标记为"异常"的那一小撮,账面上的效率提升很直观。但这里藏着一个不容易被察觉的副作用:判断"什么算异常",前提是脑子里得先有一份关于"正常长什么样"的参照系,而这份参照系恰恰需要靠持续接触大量正常样本来维持。一旦人很久不再过手正常申请,这把用来筛选异常的尺子本身就会先变得不准。

这三个场景指向同一件事:AI拿走的不只是工作量,还顺带拿走了"靠大量接触正常情况、从而建立判断基准"这个机会——和软件事故响应里的那套机制,本质上是一码事。

原文给的"事故模拟器"解法,不建议中小企业直接照搬

航空业有一套现成的强制训练机制可以类比:飞行员不是靠真实故障积累经验的,FAA规定每六个月就必须回模拟器里重新面对一次引擎失效之类几乎不会真实发生的极端场景。Kalache把这套逻辑搬到了事故响应领域——他建议工程师也应该定期进"事故模拟器"演练,而这类模拟训练环境,正是他任职的Rootly与合作方Uptime Labs一起搭建、对外提供的产品。

这个解法,我们不建议中小企业直接照搬——原因不止一层,拆开来看,它站不住的地方比表面看到的更多。

评估这个解法之前,值得先问一句:提出方案的人,和方案本身有没有利益关联? Kalache的角色给出了答案——他不是这个行业的旁观评论者,而是事故管理公司Rootly的AI Labs负责人兼DevRel,文章里反复出现的"事故模拟器",恰恰是他和合作方Uptime Labs一起在市场上销售的产品。这不代表方法本身就不成立,方法有没有用需要单独判断;但它确实意味着,中小企业主没法把这篇文章当成一个中立第三方的建议照单全收,评估时理应多留一分心。

带着这层保留意识,再看风险机制本身站不站得住。 Hacker News评论区排名靠前的评论者gnfargbl,第一条评论(评论ID 49575169)里连着提出了两层意见,两句话出自同一段、不是分两次说的。第一层,他反驳的不是"模拟器"这个解法,而是"人会因为练习变少、在疑难事故前变得更没准备"这个判断本身:他不否认"AI处理常规问题、疑难问题留给人"这个分工正在发生,但不同意由此推出人会准备不足——这类需要综合判断的疑难问题,本来就没有可以照搬的套路解法,一直需要深厚的系统知识才能处理,以后也一样,用他的原话,"软件不是航空"(Software is not aviation)。第二层,紧接着上一句,他提出自己认为真正该担心的是另一件事:AI正在"摧毁制造这类专家的职业路径"(destroying the career path that creates those experts)——这不是他后来另外补的角度,而是同一条评论里连续说的两句话。

被人追问"文章本来就给出了证据"之后,他在后续两条回复(评论ID 49575245、评论ID 49575341)里,把矛头收得更窄,专门针对"模拟器"这个具体解法:文章后半段"用模拟器就能像航空业一样解决",是一个"没有证据、被当作结论使用的假设";他还援引Bainbridge论文第2.3节,说这一节"列出了模拟训练在准备复杂场景时不适用的各种理由",来支持自己的判断。

这个转述我们没有直接采信,而是把这篇1983年论文原文(发表于Automatica, Vol. 19, No. 6,公开转载版本可查)找来重新通读了一遍第2章,尤其是第2.3节。读到的实际内容和这句转述有出入:2.3节的主体其实是在正面建议怎么用好模拟器——"如果没法让操作员定期亲自上手控制,那就必须提供模拟器练习",并强调模拟器的精细程度应该匹配所需要的反应精度,需要精准快速反应的技能就必须配高保真度的模拟器,这是一笔必要成本而非可省的开支。节末确实有一句实质性的限定,原文是"未知的故障没法被模拟,可预见但从未真正经历过的故障,其系统表现也可能是未知的",因此训练应该着重培养通用的问题解决策略,而不是只针对具体场景做固定反应演练——但这只是一条明确指向"完全陌生的新故障"的窄限定,不是"专门列出模拟训练的多项局限"来整体否定模拟器训练。追问他的另一位用户读完同一节后的评价,我们认为反而更贴近原文本身的态度:"这一节谁的立场都不完全支持,它既承认可以用模拟训练,也承认模拟训练没法覆盖'未知的未知'"(评论ID 49576171)。我们认同这个更谨慎的判断:这篇论文本身既不是"模拟器万能"的证据,也不是"模拟器解决不了这个问题"的证据,拿它给任何一方的结论背书,都不够严谨。

就算抛开这层机制反驳,认可"模拟器对工程师确实有用"这个具体判断,制度环境这道坎也还没迈过去。 Hacker News评论区一位用户名为king_phil的评论者(评论ID 49574772)点出了这套航空类比真正绕不开的差异:飞机公司真正做对的事,是把训练和日常飞行工作制度性地分开,SRE/IT行业通常没有这套安排。往政策层面再看一层,飞行员每六个月被政府强制拉回模拟器复训一次——这个"强制",才是航空业模拟器真正能落地的支点,而不是模拟器设备本身。把这套逻辑套回中小企业的日常会发现,地基本身就不在:没有人专职负责培训,也没有哪家外部机构规定必须定期拉回去重新演练。少了这层强制性的制度安排,就算真花钱采购了一套模拟器,大概率也只是走一遍流程、留一份采购记录,用不了几次就被搁置,起不到航空业那种持续复训的效果。

这位评论者同时提出了一个我们认同、但指向完全不同方向的角度:AI处理常规事故后自动留下的记录和复盘案例,本身可能就是比人工编排的模拟场景更值得利用的训练材料,因为SRE真正要练的是"提出假设、检验假设"这套思维过程,不是敲键盘查日志这个操作动作本身。这个角度不是在回答"要不要买模拟器",而是提醒我们:中小企业与其纠结要不要照搬模拟器,不如先想清楚AI已经留下的处理记录本身能不能被利用起来——这也是后面第一条移交设计动作里,我们坚持要求保留可见记录、而不只是把它当成事后追责工具的原因之一。

也可能不是"退化",而是团队从来没有机会学会

前面引用过的gnfargbl那条评论里,"摧毁职业路径"这句其实比"老手会退化"更值得中小企业认真对待,也是同一条评论里更根本的那一层意见:这类需要综合判断的疑难场景,本来就一直需要深厚的经验积累;AI真正拿走的,可能不是"熟手的手感",而是新人和骨干本来靠日常反复接触才能积累起来的成长路径。

对团队本身经验较浅、人员流动较快的中小企业来说,这个角度比"老手会退化"更紧迫:不是某个资深员工会变差,而是接下来几年,团队里可能没有人能真正成长为那个"AI处理不了时能顶上"的人。这也解释了为什么应对这个风险不能只靠"资深员工多练几次",而要从移交设计本身入手。

四个不需要采购任何产品的移交设计动作

风险机制是真的,原文的"事故模拟器"解法不建议直接照搬。以下是远恒AI给出的独立判断——更朴素、成本更低的组织设计动作,比采购专门的训练产品更适合大多数中小企业,也更容易长期坚持:

第一,先想清楚一个反问:如果出了问题,团队里有没有人能说清楚AI当时依据了什么信息、走了什么判断逻辑、最后为什么这样处理? 答不上来,这就是"黑箱式托管"——而且这跟这类工作交给AI处理的比例高低无关,哪怕AI只处理了一小部分,一旦这部分变成谁都说不清楚的黑箱,同样属于需要排除的情况。要打破这个黑箱,办法很朴素:把这条判断链路留痕,做成团队随时能查、能看懂的记录。只是这条记录本身只能解决"看不看得见",防不住"练习机会变少"这个更深的问题——它是最基础的一道底线,不是能单独拿来交差的完整方案。

第二,人工抽查的对象也要包含处理顺利的常规案例,不能只盯着报错和异常。 大多数企业设计复核机制时,第一反应是去翻AI处理失败、或被客户投诉的记录——这确实能防住"AI出错"这一头。但真正需要被防住的是另一头:团队对异常的敏感度变钝。要防住这一头,就得偶尔抽几个AI处理得挺顺、看不出任何问题的普通案例,让团队亲手过一遍,借此维持对"正常情况该是什么样"的感知,而不是把注意力全部留给报错。

第三,建一个几乎零成本的复盘习惯,把疑难案例定期摆到桌面上讲。 一位在Hacker News评论区分享经验的工程师提到,他此前带过某对冲基金的全球SRE团队,团队里固定每周开一次会,由上周经手过事故的人讲给没参与处理的同事听——出了什么问题、当时怎么处理的、换个思路会不会更好。这套做法在AI概念火起来之前就已经存在,靠的是"定期开会讲案例"这个习惯,不涉及任何采购。这个思路完全可以照搬到中小企业:每周或隔周挑一两个AI处理过、卡在边界地带或AI自己也拿不准的案例,当团队内部的病例讨论来过一遍,让处理经验能在人和人之间流动,而不是只沉淀在AI的日志文件里。

第四,谁来对"AI处理不了"这一刻负责?答案不能是"到时候再说",必须在设计移交的时候,就给每一类工作配上一个具体的人,而不是交给"团队"这种抽象说法。 这个人身上要背一条实打实的职责——不是靠翻汇总报表来判断"情况正常",而是要有一定比例的案例摆在他面前,要求他真刀真枪自己处理,把"定期亲自上手"变成硬性要求而不是可选项。这个比例不用设得很高,但必须落到实处、按周期真实发生,不能把他第一次真正上手,拖到AI已经处理不了的那一刻才发生。

这四件事有一个共同的本质:把"团队还能不能兜底"当成一项需要主动维护的组织资产,而不是自动发生的副产品。它们是远恒AI基于上述公开讨论给出的方法判断,不是Kalache原文的结论,企业采用前仍应结合自身团队规模和流程复杂度调整。

这不是"AI智能体不能用"的结论,是移交设计需要被主动管理

效率收益和团队能力,不是自动画在同一条上升曲线上的。如果移交设计里没有留出上面这几件事,效率提升的同时,团队应对疑难情况的能力确实可能在悄悄往下走——这不是AI智能体的问题,是设计的问题。

这也是远恒AI在AI智能体与企业AI工作站和FDE企业AI落地陪跑项目中,会主动向客户提醒的一类长期治理风险:岗位经验和能力的沉淀,需要被设计进移交流程里,而不是等真的出现接不住的情况,才发现问题。企业想要核对自己当前的AI智能体移交是否留出了这几层设计,可以从盘点一项已经交给AI处理较久的工作开始,看看团队上一次亲自完整处理同类任务是什么时候。

相关服务

先明确企业当前的问题

整理企业现状、已有资料和希望改善的结果,再判断应该从哪项服务开始。

了解AI智能体与企业AI工作站联系远恒AI