概述
在网络搜索引擎的领域中，广告不仅仅是一个补充元素，而是构成了数字体验的核心部分。随着互联网经济的蓬勃发展，广告市场的规模已经达到了数万亿美元，并且还在持续扩张。广告的经济价值不断上升，它已经成为支撑大量免费信息和服务的关键经济模型。这种模式不仅推动了教育和信息获取的民主化，也极大地促进了整个数字生态系统的繁荣。
随着大规模语言模型（LLM）如ChatGPT的兴起，我们见证了一种新兴的信息检索和内容生成方式，这些模型的广泛应用有潜力颠覆传统的搜索引擎。同时，LLM的提供者也在积极探索通过广告实现盈利的新模式。在这样的背景下，学者和业界专家开始认真考虑如何在LLM中有效融入在线广告，并开辟新的收入渠道。
本文深入探讨了将在线广告和拍卖机制整合进LLM的挑战与机遇。特别地，文章集中讨论了在LLM生成的非结构化文本中嵌入广告的潜在优势和面临的挑战，并探索了满足广告商和用户需求的新方法。此外，文章还涉及了广告商如何与系统互动、如何进行竞价等问题。同时，还讨论了LLM如何能够为个体用户提供更加个性化的广告内容，以及如何创造出更具吸引力的广告形式，这包括了“动态创意优化”（DCO）和“响应式广告”等概念。
这项研究不仅突出了广告与数字内容未来融合的趋势，而且提出了一种创新的方法，这种方法有望为广告商和用户带来双赢的结果。通过将广告技术与LLM的先进能力相结合，我们可以期待一个更加智能、个性化且高效的广告时代的到来。
论文地址：https://arxiv.org/pdf/2311.07601
大型语言模型广告系统的要求
保护隐私：用户与广告商之间互动最重要的一点是保护用户隐私的机密性。这对于保证用户信息和数据的安全，避免意外泄露带来的风险至关重要。
确保信任：与一般的在线广告一样，需要与广告商建立信任关系。为了保持这种信任，系统需要密切监控广告商的行为，以确保系统的一致性和可靠性。
尽量减少延迟：用户希望获得快速服务，广告显示会有少量延迟，但应尽量减少这种延迟，以免影响用户体验。
保持用户满意度：即使在大规模语言模型的输出中整合了广告，内容质量也应保持高水平。过多的广告会损害用户体验，大大降低用户满意度，尤其是当广告与用户的搜索和兴趣不匹配时。
确保广告客户满意：广告客户希望自己的广告得到适当的曝光。广告应以有吸引力和用户感兴趣的方式展示。这将提高广告商的盈利能力。
确保大型语言模型提供者的盈利能力：提供广告服务是为了创收。应当注意的是，额外的广告可能会造成用户数量的减少，对大型语言模型的提供者适得其反。广告费用应由广告商的收入完全补偿。
通过满足这些要求，广告系统为用户和广告商提供了有价值的服务，同时也确保了供应商自身的盈利能力。
大规模语言模型广告系统概述
本节概述了利用大规模语言模型（以下简称 LAS）的广告系统。 LAS 可以采用多种结构，本文将对每种结构的优缺点进行综合分析。其流程是，用户将提示信息输入一个大型语言模型，该模型处理如何根据输出将提示信息与广告联系起来。模型会考虑用户过去的搜索历史等各种情况，并推荐广告。
LAS 由四个模块组成：修改输出（修改）、出价、预测和拍卖。每个模块都与用户对大规模语言模型的输入相结合，为用户找到最佳的广告组合。
修改（Modification）模块根据用户的输入输出定制的广告。目前正在考虑两种方法：广告商修改模式和 LAS 修改模式，前者由广告商自己定制输出，后者由 LAS 直接修改输出。
出价（Bidding）模块根据修改后的输出确定广告商的出价金额。在动态竞价模式中，广告商通过为每个输入提供修改后的输出和相关信息来确定竞价金额。另一方面，在静态竞价模式中，竞价是基于预定义的关键字。
预测模块计算用户满意度和广告点击率，并根据这些指标评估最终广告输出的质量。这将协调用户体验的改善和 LAS 收入的最大化。
拍卖模块最终决定向用户展示哪些广告以及向广告商收取多少费用。该模块根据出价金额、满意度和点击率确定最佳广告服务和合适的价格。
LAS 的目标是最大限度地提高广告收入，同时兼顾短期收入和长期用户留存。为此，每个模块都经过精确设计，允许广告商根据自身策略灵活调整。最终，会选择适当的拍卖形式，如第一价格拍卖或第二价格拍卖。
利用大规模语言模型进行动态创意优化 (DCO)
本节将介绍动态创意优化（DCO）的潜力，DCO 利用大规模语言建模，是一种动态调整广告资产组合的技术，以构建最符合客户偏好的广告，通常用于传统的搜索和展示广告市场。DCO.这项技术通过为用户量身定制广告内容，大大提高了广告的质量和与用户的相关性。许多在线广告平台使用基于 DCO 的广告，即所谓的响应式广告。
在典型的 DCO 框架中，静态广告由只在特定广告渠道中显示的单个图像文件组成，而动态优化广告则由单个广告模板和填充该模板的多个资产组成。具体做法是，广告商为一个广告模板注册多个资产选项，然后系统选择最佳组合，目的是提高点击率（CTR）和传播率（SR），改善在线广告生态系统的效率和广告平台的收入。
然而，支持图像输出的大规模语言模型（如 ChatGPT-4）的出现有可能取代传统 DCO 在在线广告平台中的作用，它引入了动态广告创建流程，与传统 DCO 技术不同。例如，基于用户输入和上下文，平台可以向大规模语言模型发送查询，通过捕捉用户的偏好来定制吸引用户的广告图像。下图展示了个性化广告的两种应用场景。
要加入响应式广告，还需要一个更高级的修改模块。该模块不仅应修改原始响应以包含广告，还应提供根据用户偏好添加广告的功能。这包括在广告生成过程中利用用户的上下文，如性别、位置和查询时使用的设备。这样，广告就能考虑到用户的喜好，从而更具吸引力。它可以利用语言模型，鼓励在生成修改输出时考虑与用户背景相关的不同因素。如上图所示，有关用户背景的信息可用于创建更具吸引力的广告。此外，预测模块还可以与变更模块合作，致力于生成最大化用户体验的修改输出。
关于成本分担模式，传统的 DCO 技术只是决定广告资产的有效组合，而基于大规模语言模型的响应式广告则不同，它允许创建真正的新内容。不过，这一过程需要更多的计算资源，尤其是在对大规模语言模型进行更多查询以定制广告时。本节将讨论 LAS 可以采用的成本分摊模式。
最简单的模式是每次动态修改内容时向广告客户收费。例如，广告客户和 LAS 就每个响应式广告的付费金额达成协议，LAS 在每次广告内容修改为响应式时向广告客户收费。合同可规定广告客户的广告何时改为响应式。LAS 还可以为广告客户提供各种选择，以确定广告修改为响应式广告的频率和程度。
这些过程需要额外的计算资源，并会影响动态广告的延迟。在线广告通常要求实时竞价过程的整体延迟时间在 100 毫秒以内，但校正图像输出可能会有几秒钟的延迟。平衡广告质量和延迟在技术上非常有趣，可以通过简单的方法实现，如使用缓存，或将部分经济负担放在广告商身上。
总结
本文探讨了利用大规模语言模型的在线广告系统的前景和面临的挑战。它列出了实用广告系统必须满足的基本要求，并提出了满足这些要求的框架。本文还探讨了系统的有效性。它比较了论文中提出的框架的优缺点，并讨论了设计有效的在线广告系统所涉及的技术和实际挑战。此外，论文还讨论了高级动态创意优化（DCO）的实用性，这可以通过利用大规模语言模型来实现。本文为探索在线广告在未来大规模语言模型中的作用和潜力提供了机会。