TL;DR
- ChatGPT 网页版检索很多页面,只把少数几个展示为引用。GEO 工作如果停在“我们有没有被检索到”,量的是错的那一步。我们的论文追踪了中间发生的事,覆盖四个模型设置。
- Instant 模型大多只搜一轮。GPT-5.4 Thinking 每个回答平均 3.2 轮、11.8 条实际执行的查询,71% 的回答用了不止一轮。没有一个设置保留用户的原话:完全一致的比例是 0% 到 5.5%。
- 后面的轮次越搜越窄:带 site: 限定的查询从 25% 升到 55%,带引号短语的从 1% 升到 23%。中文问题经常只用英文去搜。
传统搜索引擎决定可见度只有两步:检索和排序。生成式引擎多了第三步:检索到页面之后,再挑选引用哪些。大多数 GEO 的测量工作只看最终回答,哪些页面被引用、各系统有什么差别。我们的论文 Understanding ChatGPT Citations 看的是前面那几步,因为一个页面可以每次都被检索到,却从来不被展示。
这是四篇里的第一篇,讲我们怎么观察这条流水线,以及查询改写长什么样。另外三篇讲检索到的页面里哪些会被引用、Google 和 API 能不能代替 ChatGPT 网页版、引用能不能从外部预测。
我们怎么观察 ChatGPT 网页版
ChatGPT 网页版在回答时会向浏览器推送一串服务端事件,我们从自己登录的会话里采集了这些事件流,时间是 2026 年 3 月 29 日到 7 月 29 日。事件流里能看到模型实际执行的查询、每一轮检索、它拉回来的候选页面,以及最终的引用列表。分析时我们把流水线拆成三段:查询改写、候选检索、引用挑选。
查询集是从 Search Arena 里抽的 80 个问题,那是一个公开的、真实用户和联网模型互动的数据集。四种意图:事实查询、信息综合、分析、推荐,每种 20 个,中英文各半。
| 设置 | 查询数 | 每条跑的次数 | 总运行数 |
|---|---|---|---|
| ChatGPT 5.2 Instant | 32 | 7 到 28 | 547 |
| ChatGPT 5.3 Instant | 80 | 20 | 1,600 |
| ChatGPT 5.4 Thinking | 30 | 4 到 20 | 491 |
| ChatGPT 5.5 Instant | 80 | 20 | 1,600 |
5.2 和 5.4 的采集不完整,因为这两个模型在我们采完之前就下线了,5.4 的查询集也和 Instant 的不一致。所以跨设置的比较都是描述性的。另外有两个会话中途被悄悄切到了备用模型,这本身就是一个发现:测 ChatGPT 的人必须核实每条回答到底是哪个模型给的。
发现一:Instant 的回答搜一次,Thinking 的回答搜很多次
Instant 的回答通常只发一轮搜索,带一两条实际查询。GPT-5.4 Thinking 不一样:每个回答平均 11.82 条执行查询、3.20 轮检索,71.3% 的回答用了不止一轮。Instant 里,5.2 每个回答 2.36 条查询,5.3 是 1.06,5.5 是 1.45。
Thinking 模型的多轮比例随意图变化:信息综合类 87.6%、分析类 85.2% 的回答用了多轮,事实查询类只有 10.8%。各意图组大小不一,所以这些只是描述。
发现二:ChatGPT 几乎从不按你的原话搜
四个设置里,执行查询和用户问题完全一致的比例,5.2 是 5.5%,其余都是 0%。模型先改写再搜索。中文提问时,5.2 在 96.8% 的运行里同时发了中文和英文查询,5.3 和 5.5 分别在 67.0% 和 69.6% 的运行里只用英文搜。
对追踪可见度的人来说,这意味着到达索引的查询不是买家敲的那句。按买家的措辞优化的页面,可能从来没被拿去和它匹配过。
发现三:后面的轮次越搜越窄,不是越搜越宽
当 Thinking 的回答跑了好几轮,后面的查询更具体。带 site: 限定的执行查询占比从第一轮的 25.1% 升到后续轮次的 54.7%;带引号短语的从 1.0% 升到 22.7%。第一轮之后的 4,077 条查询里,只有 13 条重复了之前的查询。模型一路往特定站点和精确短语收窄。这是否带来更好的候选或更好的引用,这一篇说不了;它只描述搜索行为。
这一篇没有证明的事
事件流是观察性的,来自我们自己的会话,所以它描述的是 ChatGPT 网页版在这个时间窗口里对这 80 个问题做了什么,不是它一般怎么做。5.2 和 5.4 的采集不完整,5.3 的 1,600 次运行里有 261 次看不到执行查询。这里没有任何内容说明去匹配改写后的查询会改变被引用的结果。