导读
要点
Sam Altman
OpenAI创始人之一,现任Y Combinator总裁、美国人工智能实验室OpenAI首席执行官。带领人工智能实验室OpenAI开发出聊天机器人程序ChatGPT，被媒体称为“ChatGPT之父”。
如果在维基百科上书写AI的历史，ChatGPT仍是最关键的节点
Q1
（L指代Lex Fridman，S代指Sam Altman）
L：什么是 GPT-4？它是怎样工作的？它最神奇的地方是什么？
S：现在回头来看，它还是很初级的人工智能系统，其工作效率较低、存在一些小毛病，许多事完成得也不尽人意。尽管如此，它仍然为未来真正重要的技术指出了一条发展路径（即使该过程花费了几十年的时间）。
Q2
L：50 年后，当人回首早期的智能系统，GPT-4 会是一个真正巨大的飞跃吗，这是否是一个关键时刻？当人们在维基百科上书写人工智能的历史，会写上哪个版本的 GPT？
S：这个进步的过程是持续的，很难明确指定出一个历史性的时刻。我无法知晓历史书会对 GPT 的各个版本怎么评价。但如果非要我挑出一个至今看到的关键节点，我认为是 ChatGPT。ChatGPT 真正重要的并不是它的底层模型本身，而是如何利用底层模型，这涉及到基于人类反馈的强化学习（RLHF）及其接口。
Q3
L：RLHF 如何使 ChatGPT 有如此惊艳的性能？
S：我们用大量的文本数据训练了这些模型。在此过程中，他们学到了一些底层表征相关的知识，从而可以做一些惊艳众人的事情。但是在刚完成训练时，如果我们马上使用这个基础模型，尽管它可以在测试集上有很好的性能，但是它还并不太易于使用。为此，我们引入了一些人类反馈，实现了 RLHF。最简单的 RLHF 是：向模型给出两个版本的输出，让它判断人类评价者会更喜欢哪一个，然后通过强化学习将该信息反馈给模型。RLHF 出奇地有效，我们可以用极少的数据使模型更实用，我们通过该技术让模型与人类需求对齐，更容易给出对人有帮助的正确答案。无论基础的模型能力如何，系统的易用性十分关键。
Q4
L：如何理解通过使用 RLHF 技术，我们不再需要那么多的人类监督？
S：公平地说，相较于最初创建预训练大模型的科学研究，我们对这一部分的研究还处于早期，但是需要的数据确实更少了。
L：对于人类指导的研究十分有趣，也十分重要。我们通过这类研究理解如何让系统更实用、更智能、符合道德规范和人类的意图。引入人类反馈的过程也十分重要。
Q5
L：预训练数据集的大概有多么巨大？
S：我们费了很大力气与合作伙伴一起从互联网上的各个开源的数据库上抓取到了这些预训练数据，构建了庞大的数据集。实际上，除了 Reddit、报纸等媒体，世界上还有很多内容是大多数人意想不到的。清洗数据、过滤数据比收集数据更困难。
Q6
L：构建 ChatGPT 需要解决很多问题，例如：模型架构规模的设计，数据的选择，RLHF。这些部分结合起来有何神奇之处？
S：GPT-4 是我们真正推出的 ChatGPT 最终产品内部的版本，创造它所需的零部件数量还很难知晓，工作量很大。在早期的每个阶段，我们需要想出新的思路，或者很好地执行现有的想法。
L：GPT-4 中的一些技术步骤已经相对成熟，例如：在完成完整的训练模型之前，预测模型将会达到的性能。如何根据少量的训练就能知道训练完整的系统的特殊特性？就好比看到一个一岁的婴儿，就能知道他在高考中获得多少分。
S：这一成就令人惊讶，背后涉及许多的科学因素，最终达到人类所期待的智力水平。这一实现过程比我能够想象的要科学的多。正如所有新的科学分支一样，我们会发现一些无法拟合数据的新东西，并对此给出更好的解释，这正是科学发展的过程。尽管我们已经在社交媒体上发布了 GPT-4 的一些信息，但是我们仍然应该对其神奇之处心存敬畏。
Q7
L：GPT-4 这类语言模型可以学习或引用各个领域的素材。OpenAI 内部的研究者和工程师对语言模型的神奇之处是否有越来越深的理解？
S：我们可以通过各种方式评价模型，可以在训练好模型后在各类任务上对其进行测试，我们在 Github 上也开源了模型的测试过程，这很有帮助。重要的是，我们耗费了大量的人力、财力、时间来分析模型的实用性、模型如何为人们带来快乐和帮助、如何创造一个更好的世界、产生新的产品和服务。当然，我们至今仍然不能完全理解模型完成任务的全部内在过程，但我们会继续朝着这个方面努力。
Q8
L：GPT-4 将互联网上海量的信息压缩到了黑盒模型中「相对较少」的参数中，形成了人类智慧。请问从事实到智慧产生了怎样的飞跃？
S：我们将模型作为数据库吸取了人类知识，而不是将其用作推理引擎，系统的处理能力得到了神奇的提升。这样一来，系统实际上也能实现一定程度的推理，尽管某些学者可能认为这一说法并不严谨。从某种程度上来说，GPT-4 系统增强了人类智能，可以被应用于各种各样的场景。
L：ChatGPT 似乎在与人类的连续交互中「拥有」了智能，它在这种对话的方式中承认自己错误的假设，否定不合适的请求。
L：有些人很享受与 GPT 一起编程，有些人则害怕变成工作会被 GPT 取代。你怎么看待这一现象？
S：有一些关键的编程工作仍然需要人类的创造因素。GPT 类的模型会自动完成一些编程工作，但仍然无法取代优秀的程序员。有一些程序员会对未来的不确定性产生焦虑，但是更多的人会觉得它提升了自己的工作效率。
二三十年前，当「深蓝」击败了国际象棋大师卡斯帕罗夫后，也曾有人认为没有继续下国际象棋的必要了。但是国际象棋至今仍风靡全球。
人工智能将对人类的生活质量带来巨大提升，我们可以治愈疾病、创造财富、增加资源、让人类感到快乐……看似人类不需要工作了，但是人类还需要社会地位、需要激情、需要创造、需要感受到自己的价值。因此，人工智能时代来临后，我们需要做的是找到新的工作、生活方式，拥抱新技术带来的巨大提升。
Q10
L：Eliezer Yudkowsky 警告人工智能可能伤害人类，并给出了一些例子，我们几乎不可能一直让超级人工智能与人类意图「对齐」。你是否赞同他的观点？
S：这是有可能的。如果我们不谈论这一潜在的可能性，我们就不会投入足够的努力研发新技术来解决此类问题。很多新兴领域都存在此类问题，现在人们关心人工智能的能力和安全性。Elizer 的文章写得很好，但是人们很难跟进它的一些工作，存在一些逻辑问题，我并不完全支持他的看法。
早在人们相信深度学习、大语言模型的能力之前，就有很多有关人工智能安全的工作，我不认为这一领域有足够多的更新。理论确实很重要，但是需要不断地学习技术轨迹的变化，这种循环需要更加紧凑。我认为现在是研究人工智能安全的良好时机，可以探究这些新工具新技术与人类意图的「对齐」。
Q11
L：人工智能技术发展日新月异，有人说我们现在又进入了人工智能「腾飞」的阶段。当有人真正构建了通用人工智能，我们怎样知晓这种变化？
S：GPT-4 并没有太令我惊讶，ChatGPT 则稍稍让我有些喜出望外。尽管 GPT-4 令人印象深刻，但是它还并不是 AGI。AGI 的真正定义越来越重要，但我认为这距离我还很遥远。
Q12
L：你认为 GPT-4 有意识吗？
S：不，我认为它还没有意识。
L：我认为真正具有意识的人工智能应该能够告诉别人自己有意识，能表达自己的痛苦等情绪，理解自己的处境，有自己的记忆，并且能与人交互。而我觉得这些能力都是接口的能力，而不是底层知识。
S：我们 OpenAI 的首席科学家 Ilya Sutskever 曾经与我讨论过「如何知道模型是否有意识」。他认为，如果我们在数据集上小心地训练一个模型，不提及与意识或任何相关概念的主观体验，然后我们向模型描述这种意识的主观体验，看模型是否能领会我们传达的信息。
L：乔姆斯基等人对「大语言模型」能实现通用人工智能持批判态度。对此，你怎么看？大语言模型是否是通往通用人工智能的正确道路？
S：我认为大语言模型是通往 AGI 的道路中的一环，我们还需要其它非常重要的部分。
L：你认为智能体需要一个感受世界的「身体」吗？
S：我对此持谨慎态度。但在我看来，无法很好地融入已知的科学知识的系统不能称之为「超级智能」，它就像发明新的基础科学。为了实现「超级智能」，我们需要继续拓展 GPT 类的范式，这还有很长的路要走。
L：我认为通过改变训练 GPT 的数据，就已经可以获得各种巨大的科学突破。
L：随着提示（Prompt）链越来越长，这些交互本身就会成为人类社会的一部分，并互为基础。如何看待这一现象？
S：与 GPT 系统能完成某些任务相比，更让我激动的是人类参与到了这一工具的反馈回路中，我们可以从多轮交互的轨迹中学到更多的东西。AI 将拓展、放大人类的意图和能力，这也将塑造人们使用它的方式。也许，我们永远不会建造出 AGI，但是让人类变得更好这件事本身就是巨大的胜利。
更多内容 尽在智源社区
特别说明：本文仅用于学术交流，如有侵权请后台联系小编删除。
– END –
转载来源：智源社区
转载编辑：陈柯淼
审核：房高伟 骆玮 李林 郝俊龙
