真不是凡尔赛，ChatGPT 如此成功，OpenAI 也不理解

ChatGPT 的爆火，是 OpenAI 完全没有想到的是。现在，对于自家模型的人气和种种问题，他们还在慢慢适应中……

这家公司做出了或许能引爆第四次工业革命的产品，但他们却百思不得其解：为啥自家的产品能这么火？

就，真的不是凡尔赛。

最近，MIT Technology Review 采访了 ChatGPT 的几位开发者，让我们近距离地了解了这个大爆的 AI 产品背后的故事。

火成这样，没有丝毫防备

当 OpenAI 在 2022 年 11 月下旬悄无声息地推出 ChatGPT 时，这家初创公司并没有报多大的期望。

OpenAI 的员工也没想过，自家模型即将走上的，是一条属于顶流的爆红之路。

ChatGPT 仿佛在一夜间大红大紫，还引发了关于大语言模型的一场全球淘金热，而 OpenAI 还没有丝毫准备，只能匆忙地赶上自己顶流模型的脚步，试图抓住商机。

在 OpenAI 从事政策工作的 Sandhini Agarwal 说，在 OpenAI 内部，ChatGPT 一直被视为「研究预览」-- 它是一个两年前技术的更完善的版本，更重要的是，公司试图通过公众的反馈，来消除模型的一些缺陷。

谁能想到，这样一个「预览」产品，阴差阳错出道后就爆红了呢。

对此，OpenAI 的科学家很懵逼，对于外界的鲜花和掌声，他们也很清醒。

「我们不想把它夸大为一个巨大的基础性进步，」参与研发 ChatGPT 的 OpenAI 科学家 Liam Fedus 说。

为此，MIT Technology Review 的记者 Will Douglas Heaven 采访了 OpenAI 的联合创始人 John Schulman、开发者 Agarwal 和 Fedus、对齐团队的负责人 Jan Leike。

ChatGPT 为什么这么火，我们自己都不明白

创始人 John Schulman 表示，ChatGPT 发布后几天，他时不时就会刷推特。有那么一段疯狂的时期，推特信息流中全是 ChatGPT 的截图。

他想到了这是一个对用户很直观的产品，也想到它会有一些粉丝，但没想到它会变得这么主流。

Jan Leike 表示，一切都太突然了，所有人都很惊讶，努力地跟上 ChatGPT 爆火的节奏。他很好奇，到底是什么在推动它的人气飙升，难道有什么幕后推手？毕竟，OpenAI 自己都搞不清为什么 ChatGPT 能这么火。

Liam Fedus 解释了他们如此惊讶的原因，因为 ChatGPT 并不是第一个通用的聊天机器人，此前就已经有很多人尝试过了，所以 Liam Fedus 觉得他们的机会并不大。不过，私人测试版也给了他信心 -- 或许，这款 A 是用户们真心会喜欢的东西。

Sandhini Agarwal 总结道，对所有人来说，ChatGPT 一炮而红都是个惊喜。此前，大家在这些模型上做了太多的工作了，以至于都忘记了对于公司外部的普罗大众来说，它是这么惊人。

的确，ChatGPT 内的大部分技术并不新鲜。它是 GPT-3.5 的一个微调版本，而在 ChatGPT 几个月前，OpenAI 就发布了 GPT-3.5。而 GPT-3.5 本身就是 GPT-3 的更新版本，GPT-3 出现于 2020 年。

在网站上，OpenAI 以应用编程接口或 API 的形式提供了这些模型，其他开发者可以很轻易地将模型插入自己的代码中。

在 2022 年 1 月，OpenAI 还发布了 GPT-3.5 的前一个微调版本 InstructGPT。只不过，这些技术没有向公众推介罢了。

微调过程

根据 Liam Fedus 的介绍，ChatGPT 模型是由与 InstructGPT 相同的语言模型微调而来的，使用的微调方法类似。研究人员增加了一些对话数据，并对训练过程进行了一些调整。所以他们不想把它夸大为一个巨大的基础性进步。

事实证明，对 ChatGPT 起了大作用的，是对话数据。

根据标准基准的评估，实际上两个模型之间的原始技术能力并没有很大差别，ChatGPT 最大的不同是，更容易获得和使用。

Jan Leike 解释说，在某种意义上，可以把 ChatGPT 理解为 OpenAI 已有一段时间的 AI 系统的一个版本。ChatGPT 的能力并没有更强。在 ChatGPT 问世之前，同样的基本模型已经在 API 上使用了将近一年时间。

而研究者们的改进可以概括为，在某种意义上，让它更符合人类想用它做什么。它会在对话中和用户交谈，是一个聊天界面，很容易访问。它更容易推断出意图，而用户可以通过来回试探，来达到自己想要的目的。

秘诀就是，人类反馈强化学习（RLHF）技术，这和 InstructGPT 的训练方式很像 -- 教会它人类用户实际喜欢的样子。

Jan Leike 介绍说，他们让一大群人阅读了 ChatGPT 的提示和回应，然后对回应进行二选一的选择，看看大家认为哪个回应更好。然后，所有这些数据都被合并到一次训练中。

它的大部分内容与他们在 InstructGPT 上所做的是一样的。比如你希望它有帮助的，希望它是真实的，希望它不会恶毒。

另外还有一些细节，比如如果用户的询问不清楚，它应该问后续的问题去细化。它还应该澄清，自己是一个人工智能系统，不应该承担它没有的身份，不应该声称拥有它不具备的能力。当用户要求它做它不该做的任务时，它必须明确拒绝。

也就是有一个清单，列出了人类评分员必须对模型进行排名的各种标准，比如真实性。但他们也会偏爱某些做法，比如 AI 不要假装自己是人。

准备发布

总的来说，ChatGPT 用的都是 OpenAI 已经使用过的技术，所以团队在准备向公众发布这个模型时，没有做任何特别的事情。在他们看来，为以前的模型设定的标准已经足够了，GPT-3.5 已经足够安全。

而在 ChatGPT 对人类偏好的训练中，它自学了拒绝行为，拒绝了很多请求。

OpenAI 为 ChatGPT 组建了一些 「唱红脸的」人：公司里的每个人都坐下来，试图打破这个模型。也有外部团体做同样的事情。值得信赖的早期用户也会提供反馈。

Sandhini Agarwal 介绍道，他们确实发现了它会产生某些不需要的输出，但这些都是 GPT-3.5 也产生的东西。因此，只看风险的话，作为一个「研究预览」，ChatGPT 已经够好了。

John Schulman 也表示，不可能等到一个系统 100% 完美了，才去发布它。几个月来，他们对早期版本进行了 beta 测试，beta 测试人员对 ChatGPT 的印象很好。

OpenAI 最担心的，其实是事实性的问题，因为 ChatGPT 太喜欢捏造东西了。但是这些问题在 InstructGPT 和其他大型语言模型中都存在，所以在研究者们看来，只要 ChatGPT 在事实性和其他安全问题上比那些模型更好，就已经足够了。

而根据有限的评估，在发布之前，可以确认 ChatGPT 比其他模型更真实，更安全，因此，OpenAI 决定继续发布。

发布后的反馈

ChatGPT 发布后，OpenAI 一直在观察用户是如何使用它的。

一个大型语言模型被放在数以千万计的用户手中，这种事还是史上第一次。

用户们也玩疯了，想测试 ChatGPT 的极限在哪里，bug 在哪里。

当然，问题很多，比如 ChatGPT 给黑客们大开方便之门，帮忙窃取信用卡号的恶意软件代码，OpenAI 也在针对这些问题不断改进。

ChaatGPT 的走红，也让许多问题涌现出来，比如偏见问题，比如黑客通过 prompt 诱导的问题。

Jan Leike 表示，某些在推特上疯传的东西，其实 OpenAI 已经有人悄悄出手了。

比如越狱问题，绝对是他们需要解决的。用户就是喜欢尝试通过一些弯弯绕绕让模型说不好的话，这在 OpenAI 的意料之内，也是一条必经之路。

当发现越狱时，OpenAI 会把这些情况添加到训练和测试数据中，所有数据都会被纳入未来的模型。

Jan Leike 表示，每当有一个更好的模型，他们都会想把它拿出来测试。

他们非常乐观地认为，一些有针对性的对抗性训练，可以使越狱的情况得到很大的改善。虽然目前还不清楚这些问题是否会完全消失，但他们认为，自己可以使很多越狱行为变得困难。

当一个系统「正式出道」时，很难预见到所有实际会发生的事情。

因此，他们只能把重点放在监测人们使用该系统的目的上，看看会发生什么，然后对此作出反应。

如今，微软已经推出了必应 Chat，很多人认为它是 OpenAI 官方未宣布的 GPT-4 的一个版本。

在这个前提下，Sandhini Agarwal 表示，现在他们面临的赌注，肯定比六个月前高得多，但仍然低于一年后的水平。

这些模型是在什么背景下被使用的，有极其重要的意义。

对于谷歌和微软这样的大公司，即使有一件事不符合事实，也会成为巨大的问题，因为他们本身就是搜索引擎。

作为搜索引擎的大语言模型，和一个只为了好玩的聊天机器人是完全不同的。OpenAI 的研究者们也在努力弄清楚，如何在不同用途之间游走，创造出真正对用户有用的东西。

John Schulman 承认，OpenAI 低估了人们对于 ChatGPT 政治问题的关心程度。为此，在收集训练数据时，他们希望做出一些更好的决定，来减少这方面的问题。

Jan Leike 表示，从自己的角度来看，ChatGPT 经常出现失败。有太多问题需要解决了，但 OpenAI 并没有解决。这一点，他坦诚地承认。

尽管语言模型已经存在了一段时间，但仍然处于早期。

接下来，OpenAI 需要做的事情，就更多了。

参考资料：

• https://futurism.com/the-byte/openai-confused-people-impressed-chatgpt

• https://www.technologyreview.com/2023/03/03/1069311/inside-story-oral-history-how-chatgpt-built-openai/

本文来自微信公众号：新智元 （ID：AI_era）