每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/
近期研究显示，当大型语言模型（LLMs）在提示中直接接收到数百甚至数千个示例时，它们在多种任务上的表现显著提升。这项由谷歌、DeepMind等机构的研究人员进行的研究探讨了LLMs在直接通过提示学习大量示例时性能的提升情况，这种方法被称为多示例上下文内学习（Many-Shot In-Context Learning，ICL）。
上下文内学习（ICL）意味着示例直接在上下文（即提示）中给出，不需像微调那样调整模型参数。后者耗时更多，也更昂贵。以往，由于模型一次不能处理和生成大量文本，通常只给模型提供少数几个示例（单示例、少示例）。现在，随着“上下文窗口”（一种短期记忆）的扩大，可以在提示中直接提供给模型数百甚至数千个示例（多示例）。
在使用谷歌的Gemini 1.5 Pro语言模型进行的测试中，该模型可以处理多达一百万个令牌（约70万词）的上下文。结果显示，多示例提示在翻译、总结、规划和回答问题等任务上的表现显著优于少示例提示。
例如，在使用大约1000个翻译示例的情况下，Gemini 1.5甚至在库尔德语和泰米尔语这两种语言的翻译上超越了谷歌翻译，这是迄今为止LLMs与谷歌翻译之间报告的最大差距。在新闻摘要方面，该模型几乎能与专门的程序相媲美，但偶尔会出现如错误的数据和时间等虚构信息，这些信息并未出现在学习示例中。此外，当示例超过50个后，性能开始下降，研究人员尚无法解释此现象。
对于复杂的逻辑任务，如数学或科学问题，研究人员让模型自己创造解决方案并将其作为额外的学习示例，这种方法（“强化ICL”）比人工创造的解决方案更为可靠。
在一个仅给出问题而不给解决方案的实验中（“无监督ICL”），对于某些逻辑任务，这种方法仍然比几个完整的示例效果更好。然而，它通常无法达到“强化ICL”自生成解决方案的水平。研究还发现，模型通过示例“遗忘”了预训练中的错误，并且在给予足够多的示例后甚至能识别抽象的数学模式。然而，示例的给出顺序对模型产生了影响，使提示变得更加复杂。为什么性能有时在示例更多时反而下降，这仍是一个悬而未决的问题。未来的研究需要澄清这一点。
总之，这些结果显示，语言模型可以从提示中的许多示例中可靠地学习。这可能会在未来使针对特定任务的耗时训练变得不再必要。