没有LLM就不可能有AI聊天机器人

当你和人工智能聊天机器人互动时，例如ChatGPT, Claude, Copilot 或Gemini,看起来好像你在和另一个人说话。

但是这些聊天机器人实际上并不像我们一样理解单词的意思。相反，它们是我们与所谓的大型语言模型（LLMs）交互的方式。这种底层技术被训练来识别单词是如何使用的，以及哪些单词经常一起出现，因此它可以预测未来的单词、句子或段落。

生成式人工智能工具正在不断完善对单词的理解，以做出更好的预测。

一些人工智能工具，包括Google’s Lumiere 和OpenAI’s Sora,甚至正在学习生成图像、视频和音频。

这是ChatGPT在2022年底推出的持续领先优势的一部分，紧随其后的是2023年初微软人工智能增强的必应搜索和谷歌的Bard（现在的Gemini）的到来。

在接下来的12个月里，微软推出 Copilot, Meta 更新 Llama, OpenAI 发布 Dall-E 3 和 GPT-4 Turbo, Google 宣布 Gemini Ultra 1.0 和 Gemini 1.5 Pro, 而 Anthropic 首次推出 Claude 3。现在已经到了谷歌和Adobe这样的科技公司发布可以生成虚拟游戏和音乐的工具向消费者展示技术的发展方向。

像这样的尖端技术可以说从未如此容易获得。

开发它的公司渴望吸引你进入他们的生态系统，并在市场上占有一席之地预计到2032年价值1.3万亿美元。

如果你想知道LLMs和AI有什么关系，这篇文章就是为你准备的。以下是你需要了解的关于LLMs的知识。

什么是语言模型？

你可以把语言模型想象成单词的占卜者。

佐治亚理工学院交互计算学院教授、佐治亚理工学院机器学习中心副主任马克·里德尔说：“语言模型是试图预测人类产生语言的东西。”“让某样东西成为语言模型的是，它是否能在给定前一个单词的情况下预测未来的单词。”

这是你发短信时自动完成功能的基础，也是人工智能聊天机器人的基础。

什么是大型语言模型？

根据定义，大型语言模型就是大的语言模型。

多大？

这些模型是用所谓的“参数”来衡量的。

什么是参数？

LLMs使用神经网络，这是一种机器学习模型，它接受输入并执行数学计算以产生输出。这些计算中的变量数是参数。一个大型语言模型可以有10亿个或更多的参数。

“我们知道，当它们产生一整段连贯流畅的文本时，它们就很大了，”里德尔说。

大型语言模型如何学习？

LLMs通过一个叫做深度学习的过程来学习。

广告公司Momentum Worldwide的全球首席技术官杰森·艾伦·斯奈德（Jason Alan Snyder）说：“这很像你教一个孩子——你会展示很多例子。”

换句话说，你给LLM提供了一个内容库（所谓的训练数据），如书籍、文章、代码和社交媒体帖子，以帮助它理解单词在不同的上下文中是如何使用的——甚至是语言中更微妙的细微差别。

在这个过程中，这个模型消化的东西远远超过了一个人一生中所能阅读的东西——大约有数万亿个token。

标识符帮助AI模型分解和处理文本。你可以把一个AI模型想象成一个需要帮助的读者。该模型将一个句子分解成更小的片段或标记——相当于英语中的四个字符，或大约一个单词的四分之三——这样他们就可以理解每个片段，然后理解整体意思。

从那里，LLM可以分析单词如何连接，并确定哪些单词经常一起出现。

斯奈德说：“这就像构建了一张巨大的单词关系地图。”“然后它开始能够做这个非常有趣、很酷的事情，它预测下一个单词是什么……它将预测结果与数据中的实际单词进行比较，并根据其准确性调整内部地图。”

这种预测和调整发生了数十亿次，因此LLM不断完善其对语言的理解，并在识别模式和预测未来单词方面变得更好。它甚至可以从数据中学习概念和事实来回答问题，生成创造性的文本格式和翻译语言。但是他们不像我们一样理解单词的意思——只是统计关系。

LLMs还通过从人类反馈中强化学习来学习改善他们的反应。

卡内基梅隆大学语言技术研究所的助理教授马腾·萨普说：“你可以从人类那里得到判断或偏好，在给定输入的情况下，哪种反应更好。”“然后你可以教模型改进它的反应。”

大型语言模型是做什么的？

给定一系列输入单词，LLM可以预测下一个单词。

例如，考虑这样一个短语，“我在深蓝中航行……”

大多数人可能会猜“海”，因为航行、深邃和蓝色都是我们与海联系在一起的词。换句话说，每个单词都为接下来应该发生的事情设置了上下文。

“这些大型语言模型，因为它们有很多参数，它们可以存储很多模式，”Riedl说。“他们非常善于挑选出这些线索，并对接下来会发生什么做出非常非常好的猜测。”

大型语言模型真正擅长的是什么？

LLMs非常擅长找出单词之间的联系，并产生听起来自然的文本。

“他们接受一个输入，通常可以是一组指令，比如‘为我做这件事’或‘告诉我这件事’或‘总结这件事’，并且能够从输入中提取这些模式，并产生一长串流畅的响应，”里德尔说。

大型语言模型处理哪些问题有困难？

但是他们有几个弱点。

首先，他们不擅长说实话。

事实上，他们有时只是编造一些听起来真实的东西，就像 ChatGPT 引用了六个虚假的法庭案例 在法律摘要中或当Bard 错误地为詹姆斯·韦伯太空望远镜拍摄了太阳系外行星的第一张照片。这就是所谓的幻觉。

“他们非常不可靠，因为他们经常空谈和编造事情，”Sap说。“他们没有被训练或设计出任何真实的东西。”

他们还会努力解决与以前遇到的任何问题根本不同的问题。这是因为他们专注于发现和响应模式。

还有一个很好的例子就是它如何处理一组唯一数字的数学问题。

“它可能无法正确地进行计算，因为它并没有真正解决数学问题，”里德尔说。“它试图将你的数学问题与它以前见过的数学问题的例子联系起来。”

虽然他们擅长预测单词，但他们不擅长预测未来，包括计划和决策。

Riedl说：“以人类的方式进行规划的想法……考虑不同的偶然性和替代方案并做出选择，这似乎是我们目前大型语言模型的一个非常困难的障碍。”

最后，他们努力应对当前事件，因为他们的训练数据通常只上升到某一点，之后发生的任何事情都不是他们知识库的一部分。因为他们没有能力区分什么是事实真实的，什么是可能的，他们可以自信地提供关于当前事件的不正确信息。

他们也不像我们这样与世界互动。

“这使得他们很难把握当前事件的细微差别和复杂性，而这些往往需要了解背景、社会动态和现实世界的后果，”斯奈德说。

大型语言模型将如何进化？

我们已经开始看到像OpenAI和Adobe这样的生成式人工智能公司首次推出多模态模型，这些模型不仅在文本上进行训练，还在图像、视频和音频上进行训练。

我们也可能会看到LLMs不仅从英语翻译语言，而且理解和交谈其他语言的能力有所提高。

我们也可能会看到检索能力的发展超出了模型的训练范围。这可能包括利用像谷歌这样的搜索引擎，这样模型就可以进行网络搜索，然后将这些结果输入LLM。

如果LLMs连接到搜索引擎，它们可以处理远远超出训练数据的实时信息。这意味着他们可以更好地理解查询，并提供更准确、最新的响应。

“这有助于我们的链接模型保持最新，因为它们实际上可以在互联网上查看新信息，并将其引入，”Riedl说。

有几个陷阱。如果没有足够的事实核查机制，网络搜索可能会使幻觉变得更糟。LLMs需要学习如何在引用网络资源之前评估它们的可靠性。此外，按需处理网络搜索结果需要大量（昂贵的）计算能力。

微软在2023年2月宣布的人工智能驱动的必应就是一个类似的概念。然而，必应没有利用搜索引擎来增强其响应，而是利用人工智能来改善自己的搜索引擎。这部分是通过更好地理解消费者查询背后的真正含义，并更好地对所述查询的结果进行排名。

者按：CNET正在使用人工智能引擎来帮助创作一些故事。有关更多信息，请参见 这个帖子。

（机器翻译，轻度译后编辑，仅供参考）

编辑：廖芸