大型语言模型在理解和生成类人文本方面显著提高了人工智能的能力。影响它们效用的一个基本方面是它们的“上下文窗口”——这个概念直接影响这些模型摄取和生成语言的效率。我将深入探讨上下文窗口是什么，它们对人工智能应用程序的影响，以及组织在利用大语言模型时的一些注意事项。
Appen在加强大语言模型开发方面处于领先地位，提供了一套超越当前性能基准的关键服务。我们专注于大语言模型创建的复杂性，包括上下文窗口使用优化和检索增强生成，我们提供基准测试、语言人员配置、文本注释、转录、翻译和即用数据集，以加速您的大语言模型生命周期并提高投资回报率。
什么是上下文窗口?
大语言模型领域中的上下文窗口指的是模型在生成或理解语言时可以接收作为输入的文本数量。该窗口由一组标记(单词或单词的一部分)来度量，并直接影响模型在后续标记预测中可以利用的信息量。因此，确定模型做出连贯的和上下文相关的响应或分析的能力是必要的。
在传统的基于转换的模型中增加上下文窗口的大小是非常困难的。这是因为，虽然上下文窗口的大小呈线性增长，但模型参数的数量呈二次增长，从而导致缩放的复杂性。然而，架构创新继续推动可实现的上下文窗口达到更高的高度，谷歌的Gemini1.5现在达到了100万个形符标记。该窗口的大小和上下文检索的性能因模型而异。换句话说，并不是所有的上下文窗口都具有相同的性能。上下文窗口长度和模型性能的可变性引入了一系列设计注意事项，在开发由大型语言模型支持的应用程序时，这些注意事项至关重要。
对人工智能应用的影响
上下文窗口大小对于需要深入理解长文本或生成大量内容的应用程序至关重要。更大的上下文窗口可能允许更细微和连贯的输出，因为模型可以在响应之前考虑更多的信息。这与文档摘要、内容创建和复杂的问答系统特别相关。
然而，更大的上下文窗口需要更多的计算能力和内存，从而在性能和资源效率之间做出权衡。通过输入形符计数来衡量，增加提供给大语言模型的上下文会直接影响操作成本。尽管影响小于输出形符计数，但它也会影响延迟。部署大语言模型的组织必须根据他们的具体需求和限制来平衡这些因素。
检索增强生成
在上下文窗口中，检索增强生成概念引入了一种创新的方法来扩展模型处理信息的能力。
检索增强生成模型结合了大语言模型的生成能力和基于用户查询近乎实时地动态检索外部文档或数据的能力。这意味着即使模型的即时上下文窗口有限，它也可以通过在生成过程中从外部来源提取相关数据来访问上下文相关的信息，并随后将这些相关的信息块作为上下文提供给大语言模型。
这种方法显著增强了模型产生准确、知情和上下文丰富的响应的能力，特别是在答案可能依赖于内部知识库内容的场景中。
在设计这样一个系统时，存在许多影响性能的决策。例如，添加重新排序模块如何影响我们检索到的前k个块的相关性?应该将多少检索到的块作为上下文提供给大语言模型?是否应该首先使用具有大上下文窗口的低成本大语言模型来总结检索到的块，然后再将该摘要作为上下文提供给成本更高、性能更高的模型以生成最终响应?
这些问题的答案主要取决于应用程序，通常需要仔细评估和实验来创建一个高性能的系统。
有效使用的注意事项
-
应用程序需求:上下文窗口大小的选择应该与应用程序的需求保持一致。对于检索增强生成体系结构，这包括考虑给定的形符数量，以作为模型上下文提供。
-
操作成本:更大的上下文窗口和检索增强生成机制的添加增加了计算负载。公司必须考虑他们的可用资源，并可能优化模型体系结构，或者选择具有适当窗口大小和检索能力的模型。
-
模型训练和微调:训练具有大上下文窗口的大语言模型需要大量资源。然而，使用特定于领域的数据和健壮的检索增强生成知识库来细化这些模型可以提高性能并优化上下文使用。
（机器翻译，轻度译后编辑，仅供参考。）
编辑：曾钰璇
