TL;DR
- 同一个问题问 ChatGPT 20 次,41% 到 45% 的候选页面只出现一次。在 14 次以上运行里都出现的稳定核心不到候选的 10%。
- 检索到的次数越多,被引用的概率越高。单靠出现频率预测引用,页面层面 AUC 0.62 到 0.65,实体层面 0.69 到 0.71,从 GPT-5.3 到 GPT-5.5 还在上升。
- 长摘录有帮助:被引用的摘录里 17% 在 500 字符以上,没被引用的不到 2%。检索位置没有搜索里那么重要:排在第 15 位之后的页面仍有 19% 到 24% 被引用。发布时间没有信号。
第一篇讲了 ChatGPT 怎么改写和搜索。这一篇跟着它检索到的候选页面往下走,问哪些能过挑选那一关、出现在引用里。数据还是 Understanding ChatGPT Citations 里的那 80 个问题,在 ChatGPT 5.3 Instant 和 5.5 Instant 上各跑 20 次。
发现一:候选集合每次运行都在变
同一个问题的 20 次运行里,5.3 有 40.8% 的候选 URL 只出现过一次,5.5 是 44.5%。在 14 次以上运行里都出现的稳定核心,分别是 9.4% 和 7.7%。更新的模型每个问题检索到的不同页面更多,132.2 对 96.4,但并没有更稳定:两次运行之间的重合度按 Jaccard 相似度算,5.3 是 0.303,5.5 是 0.292。
按域名算重合度更高(0.408 和 0.402),按实体算也是(0.421 和 0.404)。引擎回到同样的网站和名字,比回到同样的页面更可靠。对测可见度的人来说,一次运行只是一个样本,看不到全貌。
发现二:反复出现的页面就是被引用的页面
我们问:一个候选在另外 19 次运行里出现的频率,能不能预测它在留出的那次运行里被引用。
| 层面 | 5.3 Instant AUC | 5.5 Instant AUC |
|---|---|---|
| URL | 0.619 | 0.651 |
| 域名 | 0.666 | 0.709 |
| 实体 | 0.688 | 0.711 |
URL 和域名层面从 5.3 到 5.5 的上升,在多重检验校正后仍然显著。信号在实体层面最强,实体包括品牌:引擎反复检索到的名字,就是它倾向于引用的名字。这是数据里的关联,不能说明让一个页面更频繁地出现在检索里就会导致它被引用。
发现三:摘录长度有信号,位置的信号弱一些
在 5.3 的 28,368 个和 5.5 的 33,976 个候选实例里,引擎摘出来的片段长度预测引用的 AUC 是 0.612 和 0.625,比出现频率弱,但明显高于随机。被引用的摘录里,16.5% 和 16.9% 在 500 字符以上;没被引用的摘录里只有 1.5% 和 1.9%。一个页面给引擎一段够长的话可引,被展示的概率就更高。
检索位置没有搜索里那么重要。同一次运行内,位置预测引用的 AUC 在 5.3 是 0.561,5.5 是 0.623,排在第 15 位之后的候选仍有 24.0% 和 19.0% 被引用。发布时间没有可用的信号:AUC 0.482 和 0.535,置信区间都包含 0.5。
按来源类型看,5.3 上新闻类候选至少被引用一次的比例最高,52.0%;5.5 上学术类最高,49.2%。这些只作补充,各组大小不均。
这对 GEO 说明什么
三件事能带走。一次回答说明不了你的位置,因为下次的候选集合就不一样,重复运行才是测量。被检索到不是目标,被稳定地检索到才和引用相关。摘出来的那段话很重要,能让引擎摘出一段长而完整的话的页面,比只能剪出一行的页面更常被引用。这些都不说明多发页面或追求检索量会提高引用,数据是观察性的。
这一篇没有证明的事
所有运行来自我们自己的会话,80 个问题,一个时间窗口。出现频率和摘录长度的信号是观察到的候选里的关联,没有做过干预。引用标签把展示出来的引用背后被选中的支撑页面也算在内,即使它们没有单独显示,论文里有说明。