GPT-5 停不停？Bengio 痛心跳出呼吁，LeCun 怒斥 AI 末日论者

呼吁暂停 GPT-5 的公开信发出后，沉默许久的 Bengio 发了长文，解释自己签字的原因，而 LeCun 继续强调，现在的担忧根本是杞人忧天，与 AI 末日论者辩论毫无意义。

呼吁暂停比 GPT-4 更强 AI 训练的公开信，把超强 AI 的种种争议，更加激烈地推到了公开的台面上。

这几日，后续激辩不断，几方立场愈发两极分化。

而公开信的签名人数，也从最初的 1000 出头，猛增到了近 1.6 万。

面对接踵而至的指责和质疑的声浪，OpenAI 匆忙在凌晨发文回应：我们会坚决保障 AI 安全，绝不「偷工减料」！

图灵三巨头之一的 Bengio，昨天专门在自己的博客上写了一篇长文，解释自己为什么签名赞成暂停超强 AI 研发。

而另一巨头 LeCun 一再表示，这种暂停根本就没有必要，而且与 AI 末日论者辩论真的毫无意义。

在与众网友舌战多日后，他将于明天和吴恩达亲自出镜，向大众公开解释为什么他们不赞同暂停训练超强 AI 6 个月。

LeCun：与 AI 末日论者辩论毫无意义

今日，LeCun 发推再次强调自己的立场：人类需要机器智能。

「历史一再表明，智能越多，社会和人类的福祉就会越多：我们会拥有更好的技能、读写能力、教育、创造力、文化、沟通和思想的自由交流。」

「人类和机器的智能是进步的动力。」

「机器智能是增强人类智能的一种方式，就像机械工具增强人类体能一样。」

在他看来，担心 AI 会灭绝人类，这种想法非常荒谬。

「人们对 AI 风险过度担忧的唯一原因，就是这个神话：当你打开一个超级智能系统的那一刻，人类就注定要灭亡。这是荒谬的愚蠢，基于对 AI 运作方式彻底的误解。」

而且，今天关于 AI 安全的讨论，跟 1890 年关于客机安全的讨论一样，全是推测性的。

「在我们拥有可靠达到人类智能水平的 AI 系统的基本设计和演示之前，关于它们的风险和安全机制的争论还为时过早。」

有网友在评论区中问他，Hinton 的访谈你听了吗？

LeCun 表示：我和 Hinton 都是 37 年的朋友了，我们在很多事情上都没有分歧。

他说 AI 接管「并非不可想象」，我不反对。但我相信，这种事情的概率极低，也很容易预防。

然后，LeCun 给网友们分享了自己在几年前与 Bengio、Russell、Zador 等大佬辩论的帖子，告诉大家，这才叫有意义的辩论。

但是，与极端的 AI 末日论者辩论 AI 伦理和安全，就像与神创论者辩论进化论一样，毫无意义。

有网友感谢 LeCun 分享这场辩论，但是强调有些人就是不相信以利润为导向的公司会将人类和地球的安全置于利润之上，把他们称为 AI 末日预言者，是武断和不公平的。

而 LeCun 转发了这样一篇论文。

他评论道：「由于担心动荡，奥斯曼帝国限制了印刷书籍的传播。因此，它错过了启蒙运动，失去了在科学技术上的主导地位，并最终失去了经济和军事上的影响力。」

在他看来，阻止 AI 替代我们的高技能工作岗位，也是如此。

Bengio：需要按下暂停键

另外，签署公开信的图灵三巨头之一 Yoshua Bengio 在沉默几天后，首次解释了自己加入 FLI 呼吁的看法：

一年前我可能不会签署这样一封信。正是因为人工智能发展出现了意想不到的加速，因此我们需要退一步。并且我对这些问题的看法已经改变了。

就此，Bengio 在自己的网站上发表了一篇长文，具体解释了签署公开信的原因 -- 技术进步需要放缓，这样才能确保安全、保护集体的福祉。

Bengio 认为我们已经越过了一个关键的门槛：机器现在可以和我们对话，甚至假装成人类。

而且，自从 ChatGPT 发布以来，大家发现不那么谨慎守规矩的玩家会有竞争优势，如果是这样的话，那么通过降低谨慎和道德监督的水平，就可以更容易出头。

面对更加激烈的商业竞争，OpenAI 也可能会急于开发这些巨大的人工智能系统，把他们在过去十年的人工智能研究中养成的透明和开放科学的良好习惯抛在脑后。

Bengio 表示，签署这封公开信可以提醒学界和工业界：我们必须花时间更好地了解这些系统，并在国家和国际层面制定必要的框架，来增加对公众的保护。

即使签署这封公开信造成的影响可能没有那么大，但是起码会掀起一场全社会的讨论。我们将不得不在未来几年做出集体选择，包括我们想用我们正在开发的强大工具做什么。

从中短期风险来看，可能是出于政治目的操纵公众舆论，特别是传播虚假信息，这很容易预测；而长期风险就是偏离程序员所设定的目标，对人类造成伤害，这种风险很难预测。

但是这封公开信并不是要叫停所有的 AI 研究，也并不是说 GPT-4 将成为自主的 AI 并威胁到人类。相反，危险的是怀有不良意图的人类或根本不知道其行为后果的人类，在未来几年内可能利用这些工具危及人类的未来。

现在，我们需要规范这些系统，提高人工智能系统的透明度和监督，保护社会。风险和不确定性已经如此严重，因此我们的治理机制也要加速发展。

社会需要时间来适应变化，法律需要时间来通过，监管框架需要时间来落实。Bengio 认为迅速提高意识，把这个问题放在更多的场合去进行更多的公众辩论是很重要的。

不过，从根本上来说，Bengio 对技术是乐观的，他认为技术将能够帮助我们克服人类面临的巨大挑战。然而，为了面对这些挑战，现在需要的是去思考如何调整我们的社会，甚至完全重塑它们。

「我们应该放弃吗？当然不是。减少对未来的损害，我们总是有办法做得更好，在正确的方向上的每一步，都会有所裨益。」

对此，纽约大学马库斯也表示了支持，尽管两人之前有些意见相左。

马斯克：这是个电车难题

另一边，作为公开信支持者的马斯克表示，你们这些反对暂停的人就属于下面这种人：

「另一条路太绕，会减慢 AI 的发展，不如还是直接碾过去吧。」

而有网友指出了「华点」-- 「如果你没有将强大的 AI 装到每一辆特斯拉中，我会更相信你的担忧。」

「为什么过度监管某些 AI 模型，而不是实际的应用程序呢？语言模型无法说出或选择它们『想要』的内容，就像特斯拉的 FSD 系统不能自己决定开到哪里。」

LeCun 转发了该网友的推文，表示同意：「没错，应该去规范应用，而不是研发。」

OpenAI 急忙澄清

眼看 AI 安全已经成为众矢之的，OpenAI 急忙出面，表示自己也很重视 AI 安全。

在昨天发布的「Our approach to AI safety」的长文中，OpenAI 主要探讨了安全地构建、部署和使用人工智能系统的方法。

OpenAI 表示，强大的人工智能系统应该接受严格的安全评估。

GPT-4 在发布之前，对其进行了严格的测试，内部员工耗时 6 个月去确保发布前让模型更加安全和一致。

并且，还让外部专家参与反馈，利用人类反馈强化学习（RLHF）等技术改善模型的行为。

另外，文中还列出了其他确保 AI 安全的方法：

- 从真实世界的使用中学习，以改进保障措施

- 保护儿童

- 尊重隐私

- 提高事实的准确性

最后，OpenAI 提出了应该「继续研究和参与」。这一点可以说是对近来呼吁暂停超强 AI 研发的正面回应。

我们认为，解决人工智能安全问题的实用方法是投入更多的时间和资源来研究有效的缓解措施和调整技术，并针对现实世界的滥用进行测试。

暂停六个月，时间够吗？

根据一项调查，69% 的美国成年人强烈支持或在一定程度上支持暂停开发六个月，但也有人认为这似乎只是徒劳。

而关心 AI 会毁灭人类这个话题的人，和不关心的人，大约各占一半。

参考资料：

• https://yoshuabengio.org/2023/04/05/slowing-down-development-of-ai-systems-passing-the-turing-test/

• https://twitter.com/GaryMarcus/status/1643754841221783553

本文来自微信公众号：新智元 （ID：AI_era）