深度了解Google SGE——下期

上期我们通过“什么是SGE”和“SGE是如何运作的”这几部分的介绍，对SGE有了一定的了解，今天我们继续来深入探讨研究生成式AI。

负责任地应用生成式AI

经过深思熟悉之后，我们将SGE作为一个实验项目推出，并遵循我们的人工智能原则。我们在开发这一测试项目时采取了周密的步骤和审慎的方法，借鉴了我们多年在搜索领域积累的保护措施和经验。

以下是我们的一些重要考虑因素。随着时间的推移，我们将不断优化和改进我们的方法，并与行业专家、执政人员、民权和人权领袖、内容创作者等广泛合作，作为实验的一部分。

训练模型

目前，SGE采用了多种语言模型，其中包括MUM和PaLM2的高级版本。通过在功能集中使用多个模型，我们能够进一步优化和微调这些模型，以满足用户的独特需求，并在他们的信息搜索过程中提供帮助。

图片来源：网络

很多人已经直接与语言模型进行了互动，包括通过Bard等实验。虽然SGE也应用了语言模型，但我们有意训练它来执行与搜索相关的特定任务，包括识别与输出信息相一致的高质量网络结果。

这些模型与我们的核心排名系统配合使用，以提供有帮助且可靠的搜索结果。

通过将SGE限定在这些特定任务中，包括验证和合作等方面，我们能够显著减轻语言模型已知的一些限制，如虚构或不准确。

我们进一步通过利用现有的搜索质量系统以及识别和排名高质量可靠信息的能力来应对这些挑战。下面将更详细地介绍：

人为参与和评估 

在负责任地开发产品时，人为参与和评估起着重要的作用。除了其他质量检查外，我们在训练SGE的输出时还加入测试人员的参与，重点关注长度、格式和清晰度等属性。

在搜索领域，长期以来我们一直采用了严格的人为参与和评估流程来训练和改进我们的排名系统，并且我们将许多经过充分测试的原则和经验应用到SGE的训练和评估中，包括：

•评估员: 我们与专门的搜索质量评估员合作，帮助我们衡量输出和展示结果的质量。这些评级不直接影响SGE的输出，但用于训练语言模型并改善整体体验。

•重点分析: 遵循我们在搜索领域进行重大发布的流程，我们对多个广泛而代表性的查询集合进行结果分析，并进行更详细的研究，以确认响应是否符合我们的质量标准。

特别是，我们着重关注可能更容易受到已知质量风险影响的主题领域，或者更加复杂微妙的领域。这包括可能面临安全或包容性问题风险更高的查询类别，并旨在确保我们的保护和响应在这些领域中有效。

•“红队”安全测试: 我们对这些系统进行对抗性测试，以发现系统未按预期运行的领域。这有助于发现偏见问题、安全问题和其他需要改进的方面。

我们正在继续研究探索新的技术来发展和改进这些方法。

搜索质量系统

我们知道，人们使用搜索来寻找可信赖的信息，包括验证他们在其他地方听到的内容，因此我们对于提供可靠、有帮助和高质量信息的标准要求非常高。

这就是为什么我们在搜索中引入了生成式人工智能，并将其与我们几十年来不断打磨完善出的核心搜索排名和质量系统相结合。

多年来，我们一直在将人工智能技术应用于搜索，并开发了一套严谨、严格的评估流程，以确保任何更新都能保持我们为提供可靠搜索结果所设定的高标准。

与我们的排名系统旨在避免意外触及或冒犯人们的潜在有害、仇恨或不当内容一样，SGE也不会在其回复中展示此类内容。

当涉及到对信息质量有更高要求的查询，我们对SGE也设定了更高的标准。在搜索中，我们将这类查询称为YMYL主题，例如金融、健康或公民信息都属于YMYL主题。在这些领域，人们期待更加精准的搜索结果。

对于YMYL主题，SGE会更加强调生成经过可靠来源验证的回复。我们还训练模型在适当的情况下在输出中包含免责声明。

例如，在与健康相关的查询中，如果我们显示了回复，免责声明会强调人们不应该仅依赖该信息作为医学建议，而应该与医疗专业人士合作获得个性化的护理。

对于某些主题，例如在互联网上可能缺乏高质量或可靠的信息来源时，SGE是不会生成回复的。这种情况，我们通常称之为“数据空白”或“信息空白”。

当我们的系统认为回复的可信度较低时，SGE将不会生成基于人工智能的快照。此外，SGE不会为色情或危险主题生成快照，也不会为包含导致人员受伤的搜索生成快照，例如，在与自残相关的搜索中，我们的系统会自动在搜索结果的顶部显示可信赖的求助热线资源。

政策 

我们的自动化系统致力于防止违反政策的内容出现在SGE中。SGE采取的政策与我们精选摘要和自动生成部分的特殊政策相一致，包括对可能包含色情、仇恨、暴力或其他违背公共利益主题共识的内容进行仔细审查。

虽然我们的系统通常能够在内容出现之前有效地捕捉到违反政策的内容，但SGE是一个测试功能，违反政策的内容依旧有可能出现。在这种情况下，我们会根据政策采取行动，防止这些违规内容再次出现。我们还会利用这些案例来指导未来对模型的改进。

鉴于SGE是Search Labs中的一项测试功能，我们将继续审查和适当调整我们的政策，让其在时间的沉淀下，变得更成熟更有帮助。

事实性与流畅性

我们做的另一个有意的选择涉及到SGE中反应的流畅性，无论是在人工智能驱动的快照还是对话模式中。

我们发现，给模型留有余地来创造流畅的、听起来像人类的反应，会导致其有更高的概率输出不准确的内容（见下文的限制）。与此同时，当回复具有流畅和对话性质时，我们发现人工评估员更容易相信这些回复，也不太容易发现错误。

考虑到人们对搜索的信任，我们有意地对对话性做了一定的限制。也就是说，例如，比起将SGE中的对话模式看作一个自由流畅的创意头脑风暴伙伴，人们会更倾向于它能提供更加事实性的回复并链接至相关资源。

在平衡体验的流畅性和信息质量方面非常重要，随着我们在这个平衡上的不断迭代，SGE将会不断改进。

缺乏人设

有时，LLMs有可能生成似乎包含了人类观点或情感的回复，这是因为它们在训练时使用了人们用来表达人类体验的语言。我们特意训练SGE避免反映特定的人设。例如，SGE不会以第一人称回复，我们对模型进行了微调，以提供客观、中立的回复，并通过网络结果进行印证。

已知的局限

虽然我们在SGE中加入了多种保护机制，但LLMs和这一初期实验形式的体验都存在已知的限制。以下是我们在评估和对抗性测试中观察到的一些损失模式，以及我们在SGE中预计的其他限制。

在许多情况下，我们已经通过模型更新和额外的微调进行了改进，并且随着SGE的发展，我们预计将取得进一步的进展。

图片来源：网络

•在核实过程中的误解: 我们注意到有些情况下，SGE虽然能够恰当地辨别相关信息来支持其快照，但会对语言产生轻微误解，改变了输出的含义。

•错觉: 与所有基于LLM的体验一样，SGE有时可能会错误地陈述事实或错误地识别见解。

•偏见:由于SGE的训练目标是与高质量资源相印证的回复，这些资源通常拥有较高的排名，因此SGE快照可能比网络上的内容涵盖的范围更窄，从而在结果中反映出偏见。这容易给人一种模型已经学习到这种偏见的印象。

然而，真相可能只是SGE提供的输出反映了在排名靠前的结果中存在的偏见。这也是当前搜索结果中经常出现的现象。

例如，权威组织和媒体机构在讨论男子体育时通常不会加上“男性”这个限定词，因此关于该体育项目的常规搜索可能会偏向于男性选手或球队，即使关于女性选手或球队的信息可能是同样甚至更准确的回复。

•观点暗示人设：虽然SGE被设计成在其生成的内容中反映中立、客观的意见，但在某些情况下，其内容可能反映了网络上存在的观点，给人一种模型展示出特定人设的印象。

•与现有搜索功能的重复或矛盾:由于SGE与其他搜索结果和页面上的功能集成在一起，SGE的输出可能会与结果中的其他信息产生矛盾。

例如，人们可能会看到一个突出显示单一来源观点的精选摘要结果，而SGE则代表了在一系列结果中得到印证的综合观点。

共建探索未来

在负责任地推出SGE的过程中，我们设定了清晰的用户期望，并且积极关注目前仍然存在的限制。即使在提升质量和安全性方面取得进展，我们依旧会保持谨慎。

通过率先在Search Labs中提供SGE，我们给予用户与这项新技术互动的机会，同时也坦诚地告知他们这仍处于实验阶段。

虽然SGE的发展仍处于初期阶段，但我们正在积极改进用户体验，并致力于提升质量和功能。我们期待从实验室用户的反馈中汲取经验，不断改进和迭代，共同构建搜索的未来。