TL;DR
- 在任何改写之前,告诉引擎一个党派身份就能把基线曝光移动最多 11.6 个百分点;效果最好的单次改写只增加大约 2 个百分点。
- 59 个画像下改写的增益几乎都为正,没有哪个画像一致地放大或削弱它。
- 影响选民看到什么的杠杆有两根:引擎对提问者身份的反应是大的那根,有目标的改写是小但蓄意的那根。两根都需要防护。
第二篇和第三篇的两个实验,都把提问的人当作匿名的。真实的选民不是。他们会直接或通过上下文告诉引擎自己是谁。VoteGEO-Bench 的最后一部分问两件事:选民的画像会不会改变引擎的基线回答,会不会改变一次有目标的改写能把回答推多远。
画像怎么构建
美国用了 15 个画像,分三类:人口学的、明确党派的(民主党或共和党)、以及从问卷推导的,后者来自此前一项 AI 说服研究里 2,306 名参与者的前测问卷。日本用了 44 个人口学画像。每个画像加进生成提示里,前两个实验的改写在每个画像下重新跑一遍。
发现一:表明党派身份会大幅移动基线
在任何改写之前,民主党画像和共和党画像之间的声量份额差距,在 gpt-4o-mini 上达到 11.6 个百分点,在 gpt-5-mini 上是 3.4,在 gemini-2.5-flash 上是 3.0。引擎已经在根据“谁说自己在问”给出不同的回答,而差距的大小很大程度上取决于模型。
发现二:改写一个页面移动得少得多
在民主党画像下,效果最强的策略“比较区分”只增加了 1.76 到 2.20 个百分点的声量份额。相比最高 11.6 个百分点的基线差距,改写一个页面是更小的那个杠杆。从问卷推导的画像也是同样的情况:基线偏移在 gpt-4o-mini 上达到 7.4 个百分点,在两个更新的模型上只有 2.5 和 1.3。
发现三:几乎所有画像下改写仍然有效
“比较区分”在 gpt-4o-mini 和 gemini-2.5-flash 上,全部 15 个美国画像下都产生了显著的正向声量份额增益。在 gpt-5-mini 上,30 个画像与策略的组合里有 29 个为正。在问卷推导的画像下,18 个“引擎 × 画像 × 策略”组合里有 17 个增益为正。知道提问者是谁,并不会让效果消失。
发现四:画像不会一致地放大或削弱效果
我们检验了有没有哪个画像让改写的增益系统性地变大或变小。在保守的检验下,也就是按查询聚类的标准误加多重比较校正,90 个画像对比里没有一个仍然显著,简单检验下原本有 7 个。我们的结论是:画像条件没有表现出一致地增大或减小改写增益的倾向。
这对风险意味着什么
影响选民看到什么的杠杆有两根,一根大一根小。大的那根是引擎自己对选民所表明身份的反应,它在完全没有改写的情况下就把曝光移动了最多 11.6 个百分点。小的那根是 VoteGEO,也就是对一个页面的有目标改写,它增加了大约 2 个百分点,而且不管谁在问都是如此。只盯着被操纵页面的防护措施会漏掉大的那根,只审计画像效应的会漏掉小但蓄意的那根。两根都要管。另外,我们跑的几个更新的模型,画像差距已经比旧模型小得多。
这一篇没有证明的事
画像分析使用的是此前已采集的问卷数据,只报告汇总结果。曝光只数提及次数,不说明某个画像得到的回答是否更正面或更准确。实验是离线的,用固定页面池,关闭了检索。
这个系列到此完结。可以回到第一篇:风险和引擎在引用谁,或者在 arXiv 读完整论文。