一文读懂：如何将广告融入大型语言模型(LLM)输出

本文是我翻译过来的，讨论了在线广告行业的现状以及如何将大型语言模型（LLM）应用于在线广告。原文请参见”阅读原文“。

在2024年，预计全球媒体广告支出的69%将流向数字广告市场。这个数字预计到2029年将增长到79%。在Meta的2024年第二季度财报中，98%的销售额来自广告。随着公司将资金从传统媒体渠道（如印刷和电视）转移到增加数字广告支出，在线广告领域继续其主导地位。最近，有一些研究计划探索在在线广告中使用大型语言模型。本文将温和地介绍这一趋势，并突出一些相关的提议。

推动在线广告行业的技术已经取得了长足的进步，变得高度复杂。从高层次来看，在线广告格局可以细分为几个类别——赞助搜索、展示广告、社交媒体广告、联盟营销等。为了本文的目的，我们将专注于前两个类别。

赞助搜索是一种广告形式，当用户搜索某些关键词时，广告会与搜索引擎结果一起显示。这些广告是谷歌将数十亿次搜索转化为收入的方式。谷歌提供了最多4个广告商的机会，通过让他们的广告出现在搜索结果中，吸引客户使用他们的产品或服务。谷歌赞助搜索结果示例如上所见，赞助搜索结果通常以与算法结果类似的格式显示——它们都是一个包含标题、文本描述和对应网页超链接的项目列表。列表中的每个位置也称为一个槽位。出现在更高排名的槽位上的广告，即在结果页面上位置更高的广告，通常会获得更多的点击，因此对广告商来说更具吸引力。平台决定在搜索引擎结果页面（SERP）中为广告分配多少个槽位。搜索和原生广告在捕获用户注意力方面更胜一筹，其观看次数比展示广告多约50%。
展示广告，另一方面，指的是在网站上以各种格式放置广告，如横幅、弹窗、图片或视频。这些广告不一定与网页内容相关，但根据用户人口统计、推断的兴趣、上下文等因素进行定位。第一个数字横幅广告出现在1994年10月27日Wired杂志的网站（hotwired.com）上。这个广告是AT&T的“未来科技奇迹”活动的一部分。1994年hotwired上AT&T的横幅广告。这个广告运行了4个多月，看到广告的44%的人点击了它。

在线广告的核心是拍卖机制。拍卖是一种可以追溯到公元前500年的销售机制。这种市场机构一直在以各种方式推动全球经济体系，例如在佳士得和苏富比拍卖高质量艺术品，在东京筑地市场拍卖鲜鱼，为手机拍卖电磁频谱，政府合同，在电视节目《存储战争》中拍卖废弃财产等。哈伯德等人将拍卖定义为一种分配对象或获取服务的方式。在不确定的情况下，拍卖执行了一种称为“价格发现”的服务，其中对象的真实价值未知。

从高层次来看，拍卖具有两个属性——拍卖格式和定价规则。这些属性确保了投标人事先了解规则，并且拍卖中的价格形成是透明的。拍卖格式可以是公开的（也称为“口头”或“公开喊价”），或者是封闭的（也称为“密封出价”），这取决于每个投标人是否知道其他投标人的出价金额。定价规则可以是“第一价格”，即获胜的投标人支付最高的出价，或者是“第二价格”（也称为“维克里”拍卖，以威廉·S·维克里的名字命名），获胜的投标人支付第二高的出价。在线广告通常遵循封闭和维克里拍卖（也称为“广义第二价格”或GSP）。有关拍卖理论的深入介绍，请参阅Roughgarden等人的著作。

在赞助搜索的背景下，谷歌搜索引擎几乎每次有人搜索短语时都会进行拍卖（也称为“位置拍卖”）。不同的搜索词产生不同的结果，因此广告商寻找并愿意为相关机会支付更多费用。因此，他们为涉及其产品相关关键词的搜索向谷歌提交出价。谷歌将最高位置授予出价最高的投标人。谷歌还提供了流量估算工具和许多其他数据，帮助预测多个时间段内的点击次数和成本。除了出价，大多数搜索引擎还使用某种质量得分来优化收入，如点击率（CTR）、相关性、用户体验等。例如，拍卖可以优化以下公式：

展示广告的整体系统要复杂得多，因为广告商和消费者之间有更多的中介和间接联系。下图显示了数字广告生态系统的高层次概览。该系统旨在帮助像耐克和AT&T这样的广告商，即品牌或公司，他们希望向消费者（最终用户）推广他们的产品或服务。像theguardian.com和nytimes.com这样的发布商是网站、应用程序或其他数字属性，它们出售广告空间或预定义大小的广告槽位。像谷歌AdX和OpenX这样的广告交易平台是数字市场，广告库存在实时购买和出售（功能类似于股票交易所）。广告商使用需求方平台（DSP），如The Trade Desk和MediaMath，在多个广告交易平台或广告网络中购买广告印象。同样，发布商使用供应方平台（SSP），如谷歌AdSense和PubMatic，自动出售和优化他们的广告库存。像谷歌展示网络（GDN）、Media.net这样的广告网络充当中介，通过从各种来源构建库存，并根据用户人口统计、兴趣和上下文等定位标准向广告商提供。

graph TD;
%%{init:{"theme":"forest"}}%%
    A[广告商] -->|创建活动 & 设置目标| B["需求方平台 (DSP)"]
    B -->|对库存出价| C[广告交易平台]
    C -->|进行拍卖| D["供应方平台 (SSP)"]
    D -->|管理 & 出售库存| E[发布商]
    E -->|提供广告| F[消费者]
    A -->|直接购买或通过DSP| G[广告网络]
    G -->|聚合库存| D
    C -->|出售库存| G

当用户访问网站或应用程序时，SSP向广告交易平台发送请求，DSP代表广告商出价。广告交易平台是实时拍卖发生的市场。就像股票交易一样，购买是由一个智能算法完成的，该算法确定用户和可用广告的质量，并影响出价价格。在金融领域，这通常被称为高频交易，而在广告领域，它被称为程序化购买。据估计，到2029年，85%的广告市场份额将通过程序化广告产生。

DSP根据一些性能指标优化其出价策略，如预测的点击率。它们通常依赖于广告网络追踪用户在其网络内多个站点的活动的第三方cookie，以及发布商在用户访问其站点时创建的first-party cookie。DSP通常寻找套利机会，以每千次展示成本（CPM）为基础便宜地购买广告机会，并使用他们的广告互动数据以每次点击成本（CPC）为基础出售广告位置以获利。

大型语言模型（LLM）因为问答、内容生成、摘要、翻译和代码补全等任务而受到广泛关注。像ChatGPT、Claude和Perplexity这样的AI助手正在越来越多地影响人们依赖这些LLM来满足他们的信息需求，经常用这些AI助手工具取代搜索引擎的使用。在2023年PCMag的一项调查中，35%的普通用户和65%的高级用户表示，他们使用LLM比使用传统搜索引擎更快地找到信息。

目前，这些LLM服务的运营成本极高，主要遵循基于订阅的模式。一些在线产品，如搜索引擎和社交媒体网站，已经采用了广告支持的模式来提供免费服务。自然而然地，人们会问，广告是否也可以减轻LLM基础服务的一些服务成本。通过广告，LLM提供商可以产生额外的收入，使他们能够为无法获得付费订阅的个人提供信息的免费访问。来自谷歌等LLM提供商的研究人员已经考虑将广告融入LLM输出中，而不损害内容的完整性。

Feizi等人提出了一个基于LLM的广告（LLMA）的通用框架，如下图所示。

LLMA框架

一个未结构化广告融入原始LLM输出的例子（右侧）

一个结构化广告融入原始LLM输出的例子（右侧）

与标准搜索广告相比，LLM基础广告在几个方面面临一些独特的挑战：

在搜索广告中，用户查询更加明确，可以轻松地抽象为一组关键词。然而，由于其灵活性，LLM输入要长得多，可能需要对自然语言有更深入的理解，以便广告商能够对每个关键词出价。
原生地放置在LLM输出中的广告可能会显著影响LLM服务的营销影响，而在传统搜索的情况下，广告内容通常被假定为与SERP内容独立。LLM输出中过多的广告或不相关的广告可能会显著降低LLM输出，从而降低用户留存率。整合广告不应该使修改后的LLM输出与原始输出偏离太远。
对于广告商来说，LLMA带来了新的技术挑战，因为他们将不得不衡量修改后的LLM输出如何反映他们的偏好。广告商还希望他们的产品或服务以一种引人注目和吸引人的方式展示，以吸引用户的兴趣。
对于LLM平台来说，与广告商的额外通信成本必须通过这些广告获得的收入来补偿。在LLM输出中包含广告也可能减少整体服务使用。
当将多个广告融入LLM输出时，并非所有广告商都同意修改后的输出的平衡，因此他们可能不想在动态出价环境中对特定的修改后的输出出价。

在Duetting等人的研究中，谷歌研究提出了一个文本基础广告创意生成设置中的正式机制设计问题，每个投标人都使用一个LLM代理来提交出价。给定令牌历史，每个投标人对下一个令牌的期望分布进行出价。这些令牌可以是单词或子单词。“令牌拍卖”逐个令牌操作，并在竞争广告商提供的LLM中选择每个令牌的源LLM。拍卖输出是与支付规则一起的聚合分布。他们的工作在解决他们偏好中的潜在激励不一致的同时，聚合了多个LLM代理模型的输出。

作者强调，在拍卖理论中，使用价值函数来通过为每个结果分配一个值来模拟偏好。然而，LLM将前缀字符串映射到下一个令牌的分布上，并不直接分配值。此外，在解码方面，LLM依赖于随机化，并且在被迫确定性地输出令牌时表现更差。在他们的提议中，设计者被假定可以访问LLM代理的文本生成函数，以了解他们的首选分布并确定他们的相对权重。受LLM训练的启发，作者定义了两个福利目标，并提出了两个聚合函数，这些函数是所有拍卖参与者的目标分布的加权组合。参与者的权重由他们的出价决定。

为了演示，作者使用了一个自定义版本的谷歌Bard模型，该模型允许访问令牌分布。代理的偏好被建模为涉及分布的部分顺序。他们通过结合两个假设品牌的LLM输出，从共同营销和竞争品牌的角度评估他们的方法。

然而，在实践中，要求广告商为每个令牌提供他们期望的分布和相应的出价将引入大量的通信开销。广告商的支出随着生成序列的长度而增长，他们可能在令牌生成达到他们不想再出价的点（例如，一个否定）之前支付了一大笔钱。为了解决所有这些限制，Soumalias等人提出了一种不依赖于代理的价值函数，而只依赖于他们对候选序列的价值的拍卖机制。这种方法不需要访问模型权重，只依赖于LLM API调用。他们的建模目标反映了人类反馈强化学习（RLHF）方法，但将人类反馈奖励函数替换为代理奖励之和。随着计算资源的增加，他们的方法可以证明会收敛到为平台目标优化调整的LLM的输出。他们的支付规则也是策略证明的，这意味着代理没有过度或过低出价的动机。

像谷歌搜索和微软必应这样的搜索引擎已经开始使用他们的genAI产品来提供增强的搜索摘要，以增强用户体验。在这种情况下，用户向搜索引擎提交商业性质的查询，然后一组相关的广告作为输入提供给LLM，它返回一个对用户更有帮助的摘要段落，例如，用于比较价格、产品特性、根据他们的需求找到特定产品。

谷歌搜索生成体验（SGE）的一个例子

在Dubey等人的研究中，谷歌研究人员提出了一个类似的LLM基础摘要设置中的广告拍卖。在这种情况下，展示是一个由多个广告组成的摘要段落，投标人为在这个LLM生成的摘要中放置他们的广告出价。在标准位置拍卖中，对于每个位置分配组合，在决策时已知点击率、福利和收入的估计。因此，可以有效地做出关于分配和定价的决策。然而，在LLM基础广告场景中，最终的摘要广告文本在运行时确定，拍卖无法控制。作者提出了一个适用于这种摘要设置的框架和一个机制，它提供了良好的拍卖激励，具有高社会福利，为广告商和用户带来价值。

带有LLM摘要的拍卖框架带有LLM摘要的拍卖框架

拍卖模块接收来自预测点击率（pCTR）模块的预测点击率广告和点击率预测。拍卖模块输出价格，以及一个“突出度分配”输出，以输入到LLM模块。这种突出度是一个抽象概念，代表广告在LLM生成的摘要中应该获得的相对重要性。例如，它可以是一个指示广告创意的空间和吸引力的元组。LLM输出遵循拍卖模块的指导，通过突出度。pCTR模块使用突出度作为特征，并生成点击率函数的无偏估计。

LLM广告摘要输出示例：三个由Gemini Pro生成的合成广告，查询“倾斜高尔夫”，摘要总词长60。

在A中，突出度输出为 [0.41, 0.33, 0.25]，即词长分别为 [25, 20, 15]。
在B中，突出度输出为 [0.58, 0.4, 0.0]，即词长分别为 [35, 25, 0]。

作者考虑了为每个广告分配的词数限制作为其突出度分数，并分享了一个名为动态词长摘要（DWLS）的案例研究。在这种设置下，拍卖的目标是决定广告的顺序，以及分配给每个广告的词数比例。每个广告都使用链式思考提示单独摘要，并通过迭代推理方法与Gemini 1.0 Pro模型一起使用。

Hajiaghayi等人提出了一个段落拍卖，其中每个话语段落根据其出价和相关性以概率方式检索广告。在这种情况下，段落是一系列令牌的抽象，可以是段落、部分或整个输出。

带有RAG的段落拍卖带有RAG的段落拍卖

给定用户查询，系统使用检索增强生成（RAG）从数据库中检索相关广告。拍卖模块接收相应的出价和点击概率（与检索概率或校准的相关性得分一致）作为输入，并输出获胜的广告。LLM输出基于这个获胜的广告，并包含对广告的提及以及超链接。拍卖可以分别为每个段落进行，也可以同时为多个段落进行。

用于广告段落生成的提示为每个段落提供获胜广告的LLM上下文，模型被要求生成一个额外的段落，将广告融入其中。

作者提出了并最大化了一个新的社会福利概念，以平衡分配效率和公平性。然后他们将结果扩展到每个段落的多广告分配。作者还使用公开可用的LLM API进行了实验，以验证他们方法的有效性和可行性。实验得出了一个有趣的权衡，即输出质量和收入之间的权衡，其中单广告段落拍卖产生更高的收入，但多广告拍卖导致更高质量的输出。

基于大型语言模型的AI助手被证明是传统搜索引擎的一个很好的补充，甚至在某些情况下取代了它们的使用。将广告无缝集成到LLM对商业性质查询的响应中，可以帮助LLM提供商为他们的服务提供免费层。然而，为确保良好的用户体验和效用，集成广告的输出不应与原始输出偏离太远。本文首先介绍了像赞助搜索和展示广告这样的在线广告系统的现状，然后探讨了将这些广告模型和框架与LLM上下文对齐的前景。这种方法使得将广告集成到多个基于LLM的应用中，例如AI聊天机器人、视频游戏中的NPC角色等。

阅读原文