TL;DR
- Google 搜索和 OpenAI 的 Responses API 都只是 ChatGPT 网页版的部分替代。两个加起来能找回 ChatGPT 引用的精确页面的大约四分之一,被引用域名的大约一半。
- API 自己的引用是最准的替代:在 GPT-5.5 上,它引用的页面有 23% 也被 ChatGPT 网页版引用,按域名算是 41%。API 的候选列表召回最好。只用 Google 两项都最弱。
- 替代品和 ChatGPT 网页版在域名和实体层面的一致性远高于精确 URL。要盯网站和名字,不只盯页面。
能直接追踪 ChatGPT 网页版的团队很少。多数可见度工具问的是 OpenAI 的 API,或者从 Google 排名推断。第二篇讲了 ChatGPT 网页版引用什么,这一篇问两种常用的替代品能看到其中多少。数据来自 Understanding ChatGPT Citations。
替代品怎么采集
对 80 个问题里的每一个,我们在和 ChatGPT 网页版同一个三天窗口里采了三样东西。Google 搜索:通过搜索数据服务商取前五页自然结果,平均每个问题 43.2 条。开着联网搜索的 Responses API:在 gpt-5.3-chat-latest 和 gpt-5.5 上每个问题各调 20 次,得到两份列表,API 检索到的候选页面(平均每次 27.9 和 25.7 个)和它自己回答里引用的页面(5.8 和 5.4 个)。我们把每份列表和 ChatGPT 网页版 20 次运行的引用做比较,算精确率、召回率和 F1,分三个层面:精确 URL、域名、实体。
发现一:精确页面很难找回,域名容易得多
| 替代品,GPT-5.5 | URL 精确率 | URL 召回率 | 域名精确率 | 域名召回率 |
|---|---|---|---|---|
| Google 搜索 | 4.1% | 6.4% | 12.5% | 22.8% |
| API 候选 | 7.1% | 22.5% | 17.1% | 38.1% |
| API 引用 | 23.3% | 13.0% | 40.5% | 23.9% |
| Google 加 API 候选 | 5.7% | 26.2% | 12.8% | 48.7% |
Google 和 API 候选合起来,在 5.5 上找回了 ChatGPT 网页版引用的精确 URL 的 26.2%(5.3 上是 28.3%),但找回了被引用域名的 48.7%(5.3 上是 50.3%)。替代品漏掉页面的时候,往往还是能找到那个网站。
发现二:API 的引用是最准的替代,而且更准了
Responses API 在自己回答里引用的页面,和 ChatGPT 网页版重合最多。它的 URL 精确率从 5.3 的 16.4% 升到 5.5 的 23.3%,域名精确率从 27.7% 升到 40.5%,两项上升在校正后都成立。召回率几乎没动。排序质量也一样:API 引用的 NDCG@10 在 URL 层面从 0.203 升到 0.246,域名层面从 0.352 升到 0.424。相比之下,API 的候选列表召回最好(URL 22.5%,域名 38.1%)但精确率低。只用 Google 在每一项上都最弱。
发现三:实体层面没有哪个替代品占优
实体包括被引用页面里提到的品牌、产品和机构。在 5.5 上,API 引用的精确率最高(30.1%),API 候选的召回最高(38.0%),Google 加 API 候选的召回达到 45.1%。在 5.3 上没有哪个替代品一直最好。实体这一层把品牌和其他有名字的东西混在一起,所以我们不对品牌单独下结论。
这对 GEO 说明什么
如果你通过 API 来测 ChatGPT,看到的是一个相关但不同的系统,差距在页面层面最大。域名和实体的出现是替代品们一致的指标,所以一份说“你的网站和名字出现了”的报告,比一份说“这个页面被引用了”的报告站得更稳。另外,更新的模型让 API 成了更好的替代品,这意味着模型一换,任何替代品的质量都要重新核。Source 就是因为这个,用不止一条路径去问 ChatGPT,并把回答分开记。
这一篇没有证明的事
API 的运行用的是关掉推理、不带系统提示的 gpt-5.5,这只是众多配置里的一种。Google 结果来自服务商,不是浏览器。替代品和 ChatGPT 网页版是在三天之内分别采的,并非同一时刻。这里没有任何内容衡量替代品里出现的页面将来会不会被 ChatGPT 网页版引用。