ChatGPT 引用第一篇:从你的问题到它展示的来源之间发生了什么
我们在四个模型设置下追踪 ChatGPT 网页版,看它怎么改写问题、搜几轮,以及为什么被检索到不等于被引用。
读全文 →This page is available in English.
Read in EnglishSourso 查引擎、改页面的方法来自我们自己做并发表的研究。每篇论文在这里按发现拆开讲,口吻和论文一致,数字按论文原文,局限也写明。
我们在四个模型设置下追踪 ChatGPT 网页版,看它怎么改写问题、搜几轮,以及为什么被检索到不等于被引用。
读全文 →候选页面每次运行都在换,但反复出现的页面就是 ChatGPT 会引用的页面。出现频率、摘录长度和位置各自带着可测量的信号。
读全文 →多数工具用 Google 结果或 API 来测 ChatGPT。我们检验这两种替代品能找回多少 ChatGPT 网页版真正引用的页面、域名和实体。
读全文 →只用 Google 和 API 的信号,一个模型预测 ChatGPT 网页版引用哪些页面、域名和实体,AUC 超过 0.74。上限在候选覆盖。
读全文 →生成式引擎靠引用网页回答选举问题。我们要查的是 GEO 会不会被用来改变选民看到的内容,先从引擎在引用谁说起。
读全文 →VoteGEO 风险的第一个实验:改写一个选举页面,是不是只有在告诉它要偏向哪个政党时,那个政党在 AI 回答里的曝光才会上升。
读全文 →VoteGEO 的第二个实验比较了四类 11 种改写策略,发现重组页面和阐述立场比补充证据和打磨文风更能改变曝光。
读全文 →VoteGEO 的第三个实验在 59 个选民画像下重跑同样的改写,发现表明党派身份对基线曝光的影响,比改写任何一个页面都大。
读全文 →