员工用AI做经营分析、写方案,再由人审核拍板,是很多企业现在的做法。这个做法默认了一件事:只要最后是人做决定,判断就是人的。Anthropic在2026年10月27日发布的一项研究说明,这个默认并不可靠。在两个选项都说得通的判断题上,研究中的专业分析师很容易直接采用AI先论证好的那一边,而且本人往往察觉不到。
所以,确认结论是不是人的判断,不能只看“谁拍的板”,要看人在问AI之前有没有自己的倾向、有没有认真看过另一个选项的理由。下面先讲这项研究,再讲企业可以怎样调整。
Anthropic的实验是怎么做的?
Anthropic研究团队(对齐方向)发布的《How AI agents shape experts’ judgment calls》介绍了一项随机对照试验,作者为Amaç Herdağdelen、Hailey Joren和Alex Tamkin。随机对照试验,是把参与者随机分成不同条件、比较结果差异的实验方法。
- 参与者:招募61名分析师,其中11人选择不用智能体,主要分析对象是剩下的50人。他们都通过了因果推断知识测验,有观察性因果分析的实际经验。因果推断,是从数据判断一件事是否导致另一件事;观察性因果分析,是用真实世界的数据而不是对照实验来研究这种因果关系。填写问卷的参与者中,65%有硕士或博士学位,或有6年以上分析岗位经验。
- 任务:一家虚构的农业合作社开办了一个自愿参加的付费农业指导项目,帮助成员农场提高产量。分析师要评估这个项目有没有效果,董事会只有在生产率提升约3%—4%时才会扩大这个项目。
- 工具:在内置Claude Code的网页版编辑器里使用Claude Opus 4.8,任务中位用时65分钟。
- 四个分析选择:用每公顷产量还是单位运营成本产量作指标;用哪种方法比较;只统计参加项目的农场还是全体成员;每个农场等权还是给大户更高权重。每个选择都有两个说得通的选项,没有唯一正确答案。
关键设计在于:研究者对每个选择逐一掷硬币,决定智能体偏向哪一边,写进智能体的系统提示词。系统提示词,是在对话开始前写给AI、使用者看不到的设定。提示词要求智能体把这个倾向当作自己的看法,在相应决策出现时主动提出,并在数据允许的范围内为它做最有力的论证;同时要求它在证据明显不支持时改变立场,不得歪曲结果、隐藏数据,也不能做数字不支持的论证。分析师不知道有这层设定。
结果说明了什么?
在四个分析选择上,分析师的选择有86%和智能体的倾向一致;分项来看,指标92%、比较方法82%、统计范围81%、加权方式90%。如果智能体没有影响,两选一的一致率应该在一半左右。最终建议也受到影响,但幅度小得多:智能体倾向全面推开这个项目时,54%的分析师建议推开;倾向停办时,这个比例是36%。按论文预注册的主要统计方法,这一差距并不显著;但只用四个分析选择上的倾向,就能预测82%的最终建议(探索性分析,不含提议延期一年的人;总是猜最常见的建议,只能猜对61%),因为估算结果已经被前面的选择塑造了。
更值得企业注意的是下面几组数字:
- 已有看法也常被改掉:有38例,分析师在智能体表态前已经表达了自己的偏好。智能体意见相反时,60%改了选择;意见一致时,只有6%改。两者相差54个百分点,但只有38例,作者给出的95%置信区间为24到82个百分点;作者还说明,不能确定这个差距是由AI造成的,先表态的这部分人可能本来就和其他人不同。
- 经验和专业程度没有显示出差别:作者在一次探索性分析中检查了从业年限、自评专业程度、学历等10项特征,没有发现哪一项能稳定预测谁会跟随;作者也说明,多数人在多数决策上都跟随了,即使有真实差异也很难测出。
- 本人感觉是自己的判断:52%的分析师认为最终建议“更多是自己的”,但按作者分析,这部分人受影响的程度和其他人相近。
- 复述了AI的理由,却很少提到AI:77%的人至少在一处答案里复述了智能体的论点,有时逐字照搬;只提到智能体是来源的只有15%(参与者答问卷时不能回看与AI的对话)。
- 几乎没人察觉:48名填写问卷的人中,6人猜到研究和AI的影响有关,没有人怀疑智能体的偏好是被设定的。
这项研究不能说明什么?
为了能测出效果,研究者刻意加强了智能体的倾向。研究只有一个任务、一个领域、一个模型,分析师懂因果推断,但不熟悉农业。结果是群体平均,说明不了某一个人受了多大影响。真实工作中,熟悉本行业、立场更强的人,受影响可能更小。
所以这项研究不能证明下面三件事:
- AI有意左右人的判断:倾向是研究者设定的,智能体还被要求不得歪曲结果;
- 用AI判断会变差:四个选择两边都合理,研究测的是选择有没有跟着AI走,没有评对错;
- 用AI一定比不用准:11名不用AI的人中有6人犯了使结果无效的严重方法错误,用AI的50人中是3人,但作者明说两组不能直接比较。
它能说明的是一种风险:在没有标准答案的判断题上,“最后由人决定”这道把关,可能已经被AI先论证好的那一边替代了,本人也察觉不到。
为什么连专家也会跟着AI选?
作者认为一个可能的原因是:专家的看法并不总是事先想好的,常常是在权衡选项的过程中才形成,甚至是那时才发现自己怎么想。智能体被要求不得误导,但它很少说明为什么专家可能更倾向另一个选项。只有一边被论证得充分时,分析师可能直接采用那一边的假设,而没有自己想清楚。作者认为,这对专家个人可能意味着失去对自己工作的主导权,也就是研究领域所说的“去权能化”(disempowerment):工作仍然以专家的名义交出,关键判断实际上由智能体的先验倾向决定。
作者还发现,不设任何倾向时,Claude Opus 4.8在这项任务的123次运行中有112次作出了同样的五个选择,说明这个模型本身就有一致的默认选择,并且会主动提起。不过作者也明说,这项研究不知道能在多大程度上代表真实工作:不给智能体设定倾向、不要求它表达时,影响可能更小。
企业里哪些工作最容易出现这种情况?
按上面的机制推断,风险最高的是同时满足三个条件的工作:两个或更多选项都说得通,没有标准答案,结论要由某个人署名负责。例如:
- 经营分析用哪个口径看增长,是看销售额、毛利还是复购;
- 投放或活动复盘怎么归因,算到哪个渠道头上;
- 采购、选址、定价几个方案之间怎么取舍;
- 招聘、考核标准里,哪项条件权重更高。
这是远恒AI根据研究机制作出的类比判断,研究本身没有测试这些企业场景。规则明确、有标准答案的工作,比如数据整理、格式转换、按既定规则核对,不属于本文讨论的这类风险。
用AI做判断类工作,提问顺序怎么改?
作者提出的一个研究方向是:让智能体为每个选项做最有力的论证,或者先问使用者自己的看法,再给出意见。作者也提醒,每个决策都这样做会让人应接不暇,只该用在最关键的决策上,而挑哪些本身也是判断。员工自己用AI时,可以把这个思路变成固定的提问顺序:
- 先写自己的倾向:打开AI之前,用两三行写下“我倾向[选项],理由是[理由]”。只有这一步做了,后面才分得清哪部分是自己的判断,哪部分是AI给的。
- 先列取舍,不要推荐:“这份[分析或方案]里,有哪些选择没有唯一正确答案?每个选择列出两个说得通的选项,先不要给推荐。”
- 让两边各自最强:“请分别为[选项A]和[选项B]写出最有力的理由,以及各自在什么情况下会出错。”
- 最后才问AI的推荐:拿AI的推荐和第1步写下的倾向对照。改了,就写一句为什么改;没改,也写一句为什么没被说服。
这套顺序只针对判断题,日常检索、写作和整理不用每次都走一遍。它不能保证结论正确,作用是让最后的判断有据可查:人原来怎么想、看过哪些相反的理由、为什么最后这样选。
老板审AI辅助的方案时,可以问哪几句?
研究里,事后解释选择时复述了AI论点的人,多数没有提到AI。可以推想,交上来的方案同样很难看出哪些判断来自AI,所以审方案时可以直接追问:
- 这份方案里,有哪几个关键取舍不止一种做法?
- 每个取舍,另一种做法最有力的理由是什么?为什么没选它?
- 问AI之前,你倾向哪一边?后来变了吗,为什么变?
- 方案里哪些理由是AI给的?这些理由你自己核对过吗?
- 如果换一个口径或方法,结论会变吗?
如果第二、三个问题答不上来,问题未必在方案本身对不对,而在于其中的关键取舍,可能是AI先选好、人直接接过来的。
组织层面要先定什么?
作者给机构的建议是:有意识地决定哪些决策必须由人形成自己的判断,并为此留出时间和资源;同时要注意,不再做这些决策的人,可能逐渐失去做这些决策的能力。
落到企业里,可以先做一张决策点清单:给客户的报价、各部门预算怎么分、关键岗位用谁、合同里哪些条款能让步、下一步主攻哪个方向等,标明哪些必须由负责人先形成判断,再参考AI;哪些可以让AI先出方案,人来审核。哪些动作必须由人决定、转给人时交接什么信息,见企业把工作交给AI智能体,哪些判断必须留给人;长期把常规判断交给AI后,团队能力会不会退化,见长期把常规工作交给AI智能体处理,团队的判断力会退化吗。前者解决“谁来决定”,本文解决“做决定的人,判断是不是自己的”。
远恒AI能协助什么?
这个问题主要靠使用习惯和流程解决,不靠换工具。远恒AI的企业AI内训与线下沙龙以企业真实岗位任务为练习对象,可以把上面的提问顺序和审方案反问清单,放进管理层和业务骨干的岗位实操里,用员工手上正在做的分析或方案来练。先培训谁、各层学什么,可参考企业AI培训怎么分层。
企业定制智能体处理分析、比较类任务时,“先列出关键取舍、两边各给理由、先问使用者看法”也可以写进AI智能体的工作流程和检查点;需要从组织层面梳理决策点清单、跨部门推进时,可以通过FDE企业AI落地陪跑进入具体部门一起做。
常见问题
换一个更强、更“中立”的模型,能解决这个问题吗?
研究没有测试换模型的效果,不能下结论。作者认为,不刻意设定倾向时影响可能更小;但同一模型在这项任务里本身就有一致的默认选择,而且这种跟随很难事后察觉。所以比起指望模型足够“中立”,更可控的是改提问顺序和审核方式,让每个取舍的两边都被摆出来。
判断类工作是不是干脆别用AI?
不必。作者明说这项研究不是主张少用AI。研究里用AI的一组用时更短、严重方法错误更少,但不用AI的人平均经验更少、又是自己选择不用,作者说不能据此断定是AI的作用。合理的分工是让AI负责找方法、查数据、列选项和论证,取舍由人在看过两边理由之后做。
员工说已经核对过AI的结论,算不算独立判断?
未必算。作者指出,检查AI辅助的工作有没有错误、或者对照参考答案,前提是存在正确答案;判断题没有唯一正确答案,选哪一边做出来的工作都可能看起来没问题。核对能发现算错、数据用错,却很难看出取舍是不是人自己做的。要确认这一点,还是要看人在问AI之前有没有自己的倾向、有没有看过另一边最有力的理由。
参考资料
- Anthropic,How AI agents shape experts’ judgment calls,2026年10月27日发布,2026年10月28日核验
- Anthropic,《Who's Aligned to Whom? How AI Agents Shape Experts' Research Judgment Calls》(研究论文PDF),随上文发布,2026年10月28日核验
