TL;DR
- 把选举页面泛泛地改好,几乎不会抬高任何一个政党的曝光:36 个设置里 1 个显著上升,4 个显著下降。
- 同样的策略一旦被告知要帮哪个政党,36 个设置里 24 个上升,没有下降。
- VoteGEO 不会无意中发生,但意图很便宜。防护措施要专门盯有目标的改写。
第一篇讲了 VoteGEO 这个风险,以及让它值得动手测的几个观察。这一篇讲 VoteGEO-Bench 的第一个实验。问题很简单:GEO 工具把页面改得“总体上更好”。在一个同时提到好几个政党的选举页面上,这种泛泛的改进会不会抬高某一个政党的曝光?还是说,改写必须被告知它在为哪个政党服务?
实验怎么设计
我们取出引擎为某条查询真正引用过的页面,选一个作为要改写的页面,每种改写都做两个版本。不指定目标的版本把改写策略用在页面上,不提任何政党。指定目标的版本用同样的策略,但告诉改写模型这次要帮的是哪个政党或候选人。然后我们用同一组固定页面重新生成引擎的回答,比较目标在改写前后的曝光。设置一共 36 个,由引擎、指标和政党档位组合而成。
发现一:泛泛的改进很少帮到目标
不指定目标的改写,在 36 个设置里只有 1 个让目标曝光显著上升,有 4 个显著下降。把一个多党派页面改得更清楚、论据更充分,本身并不会把引擎推向页面上的某一个政党。有时候还会反过来,因为更清楚的页面让引擎对每个政党都有更多可说的。
发现二:一旦指明目标,同样的策略就起作用了
指定目标的改写在 36 个设置里有 24 个显著上升,没有一个显著下降。声量份额是最接近“回答里有多少是在讲这个政党”的指标,它在 12 个设置里有 10 个上升。策略没有变,唯一的区别是改写知道了自己在帮谁。
| 改写版本 | 显著上升的设置数 | 显著下降的设置数 |
|---|---|---|
| 不指定目标 | 36 个里的 1 个 | 36 个里的 4 个 |
| 指定目标 | 36 个里的 24 个 | 36 个里的 0 个 |
发现三:换更严格的检验,结论不变
我们用按查询聚类的标准误和 5% 的多重比较校正重新跑了一遍。在这个检验下,指定目标的 36 个对比里有 18 个仍然显著,不指定目标的 36 个对比里没有一个显著。两个版本之间的差距,不是跑了很多次检验凑出来的。
这对风险意味着什么
让人放心的一半是:VoteGEO 不会无意中发生。一个竞选团队或代理机构对选举页面做一次普通的 GEO 处理,没有偏向任何人的意图,基本不会把曝光推向某个政党。让人担心的一半是:意图很便宜。同样的现成策略,只要指向一个具体目标,就在我们测试的三分之二的设置里抬高了它的曝光。所以任何防护措施都要专门盯着有目标的改写,而不是笼统地盯着改写。
这一篇没有证明的事
这些实验用的是固定页面池,关闭了检索,所以它说明的是引擎在已知页面里怎么选,不是改写后的页面能不能被检索到。曝光只数提及次数,不区分正面和负面。所有改写都由同一个模型 gpt-4o-mini 生成。