TL;DR
- 一个只喂外部信号(Google 排名、API 排名和曝光、摘录和支撑)的梯度提升模型,在 URL、域名、实体三个层面预测 ChatGPT 网页版的引用,AUC 0.74 到 0.78,GPT-5.3 和 GPT-5.5 上都是。
- 上限不在模型,在候选池:Google 加 API 只包含 ChatGPT 引用页面的 26% 到 28%,排得再准最多也只能找回这么多。
- 来源侧的信号占预测权重的 77% 到 90%。从 5.3 到 5.5,原始排名的权重下降,曝光和转化的权重上升。
第三篇说明 Google 和 API 单独都不能照出 ChatGPT 网页版。这一篇问:把它们的信号合起来,能不能预测 ChatGPT 网页版会引用什么,这才是可见度工具真正要回答的问题。实验来自 Understanding ChatGPT Citations。
预测怎么设置
对每个问题,候选集是 Google 结果和 API 检索页面的并集。一个候选在 ChatGPT 网页版 20 次运行里至少被引用一次就标为正例,域名和实体继承这个标签。替代品从没见过的被引用项目直接排除,不算作负例。ChatGPT 网页版的数据只用来打标签,不当作特征。我们把一个 9 到 10 个外部特征的梯度提升模型(XGBoost)和三个排名融合基线以及随机对比,按问题分组做五折评估。
发现一:外部信号预测引用,明显高于随机
| 方法,GPT-5.5 | URL AUC | 域名 AUC | 实体 AUC |
|---|---|---|---|
| 完整模型(XGBoost) | 0.779 | 0.763 | 0.742 |
| 整体排名融合 | 0.772 | 0.756 | 0.742 |
| Google 和 API 排名融合 | 0.699 | 0.716 | 0.708 |
| 只用 API 引用 | 0.699 | 0.693 | 0.674 |
| 随机 | 0.500 | 0.501 | 0.499 |
完整模型在两个模型的六组 AUC 比较里领先五组,在 5.5 的实体层面和最好的基线打平。相比只用 API 引用,它的提升在 0.068 到 0.110 之间,配对自助法下六个组合全部为正。每个问题取前十,5.5 上的 F1 是 URL 0.294、域名 0.420、实体 0.397。
发现二:上限在覆盖,不在准确率
候选集覆盖了 5.3 上被引用 URL 的 28.3%、域名的 50.3%、实体的 50.7%,在 5.5 上是 26.2%、48.7%、45.1%。排序器无论怎么做,都找不回替代品从没检索到的页面。所以一个建立在 Google 和 API 上的工具,最多看到 ChatGPT 引用页面的大约四分之一,以及被引用网站和名字的大约一半。这是替代品的性质,不是模型的。
发现三:模型依赖的东西在两代之间变了
来源侧的信号,也就是候选的排名、它在 API 里被曝光和转化为引用的频率、同一域名下其他 URL 的支撑、摘录长度,占了模型重要性的 77.1% 到 89.7%。原始排名的占比在 URL 层面从 49.7% 降到 34.9%,域名层面从 44.6% 降到 34.0%;曝光加转化从 19.0% 升到 28.3%,转化加多 URL 支撑从 19.9% 升到 31.8%。这些是拟合出来的预测器内部的关联,不是因果关系。模型的 AUC 在两代之间几乎一样,这不代表 5.5 的引用更容易预测,只代表外部信号对两代的描述能力差不多。
这对 GEO 说明什么,按作者的说法
整个系列合起来有六条。把检索可见度和引用可见度分开,搜索排名不是目标。监测引擎实际执行的查询,不只是用户敲的。重复运行,因为一次回答只是一个样本。核实每条回答是哪个模型给的,因为会话会悄悄回退。除了页面,还要盯域名和实体的出现,因为那里的测量才可靠。模型或服务环境一变,任何策略都要重新核,因为在一个设置下测出的信号没有原样迁移到下一个。论文里没有任何内容说明多发页面或更常出现在检索里会提高引用。
这一篇没有证明的事
模型在一个时间窗口里的 80 个问题上训练和评估,以 ChatGPT 网页版为标签。它在替代品的候选池内做预测,对池外的页面什么都说不了。特征重要性描述的是拟合出来的模型,不是引擎本身。跨模型代际的比较是观察性的,没有分离出更新本身的效应。
这个系列到此完结。可以回到第一篇:从你的问题到它展示的来源之间发生了什么,或者在 arXiv 读完整论文。