从去年 11 月的 ChatGPT 再到今年的 GPT-4， 的成长迅速刷新了人们的认知，每个人应该都明白科幻电影迟早会走进现实，只是没想到这么快而已。

这两天，以 SpaceX/特斯拉/推特 CEO 马斯克、图灵奖得主 Yoshua·Bengio、苹果联合创始人 Steve·Wozniak 等为首的多名业内大佬联名叫停训练所有比 GPT-4 更强大的 AI。

截止发稿前，该公开信的签名人数已经达到了 1377 人，其中包含大量业内著名人士，含金量毋庸置疑，而且因为人数太多，签名已经暂时不更新了。

据悉，该公开信的目的是要求所有 AI 实验室立即暂停对比 GPT-4 更强大的 AI 系统的训练至少 6 个月，以下为联名的公开信全文：

全球顶级 AI 实验室的验证以及大量的研究表明，拥有人类竞争智慧的 AI 系统可能对社会和人类构成深远的风险。在被广泛认可的《Asilomar AI》原则中，高级 AI 可能代表地球生命史上的深刻变化，应以相应的关怀和资源进行规划和管理。不幸的是，这种级别的规划和管理并没有发生，尽管最近几个月人工智能实验室陷入了一场以开发和部署更强大的数字思维为目的的失控竞赛，没有人——甚至其创造者都无法理解、预测或可靠地控制的人工智能。

当代人工智能系统现在在一般任务上变得与人类具有竞争力，我们必须扪心自问：

我们是否应该让机器用宣传和谎言充斥我们的信息渠道?

我们应该把所有的工作都自动化吗，包括有成就感的工作?

我们是否应该发展数量和智慧都最终会超越我们自己的非人类智能吗?

我们应该冒着失去对我们文明控制的风险吗?

不得将此类决定抛给未经选举产生的技术领导者，只有当我们确定其影响是积极的并且风险是可控的时候，才应该开发强大的 AI 系统，而且这种信心必须有充分的理由，并随着系统潜在影响的大小而增加。OpenAI 最近关于通用人工智能的声明指出，“在某些时候，在开始训练未来系统之前可能不得不进行重要的独立审查，并且对于最先进的研究来说，可能要限制用于创建新系统的计算增长率。” 这个观点我们同意，某些时候就指的是现在。

因此，我们呼吁所有 AI 实验室立即暂停至少 6 个月的训练比 GPT-4 更强大的 AI 系统。这种暂停应该是公开的和可验证的，并且包括所有关键参与者。如果不能迅速实施这种暂停，政府应介入并暂停。

AI 实验室和独立专家应该利用这次暂停的机会，共同开发和实施一套用于高级人工智能设计和开发的共享安全协议，并由独立的外部专家进行严格审计和监督，这些协议应确保其系统是安全的，而且这并不意味着彻底暂停 AI 的开发，只是从危险的竞赛中及时抽身到具有可控应对机制的正确道路上，而不是在大且不可预测的黑盒子中乱撞。

人工智能研究和开发应该重新聚焦于使当今强大的、最先进的系统更加准确、安全、可解释、透明、稳健、一致、值得信赖和忠诚。

与此同时，AI 开发人员必须与政策制定者合作，以显著加快开发强大的 AI 治理系统。这些至少应包括：

专门负责 AI 的全新且有能力的监管机构;

监督和跟踪强 AI 系统和大量计算的能力;

确定 AI 出处以及水印系统，以帮助区分真实与合成并跟踪模型泄漏;

强大的审计和认证生态系统;

AI 造成伤害的责任认定和承担;

为 AI 的安全研究提供强大的公共资金;

资源充足的机构来应对 AI 将造成的巨大的经济和政治破坏(尤其是民主)。

人类可以享受 AI 带来的繁荣未来，创建强大的 AI 系统后享受“AI 带来的夏天”，收获回报，将这些 AI 系统设计造福所有人，给社会一个适应 AI 的机会，而且社会需要评估可能对社会造成灾难性影响的技术。让我们享受一个漫长的 AI 之夏，而不是毫无准备地陷入秋风扫落叶的境地。

但是，另一位图灵奖得主、Facebook 首席人工智能科学家以及纽约大学教授杨立坤仿佛对此并不认可，而且也公开表明不同意该信件的内容并拒绝签署。

除此之外，普林斯顿大学计算机科学教授 Arvind·Narayanan 认为，这封信本身就进一步炒作了 AI，反而更难解决其带来的危害，而且重要的是这将会使得未来对 AI 监管的公司变成受益方，而不是社会。

据悉，OpenAI 的 CEO Sam·Altman 目前对此并没有明确表态，但是我们发现前不久他在和麻省理工学院的科学家 Lex·Fridman 的一次对话中似乎找到了答案。

“从 ChatGPT 开始，AI 出现了推理能力，但是没人知道这种能力出现的原因”，Sam·Altman 在采访中表示，“GPT-4 确实存在应对不同价值观的人的问题。”

最惊悚的是，Sam·Altman 承认 AI 确实可能杀死人类。其实不止他，马斯克、比尔盖茨等均表现出了对 AI 发展威胁到人类安全性的担忧。

Sam·Altman 和马斯克

在本周一的 2023 中国发展高层论坛上，周鸿祎表示，GPT-4 已经属于真正的强人工智能，已经进化出了眼睛和耳朵，未来可能会进化出手和脚，甚至在 GPT-6/GPT-8 将会产生意识而变成新的物种。

最后，人类历史进程中几乎所有的新技术都是一把双刃剑，既能带来好处，随之而来的就是风险，无论是汽车飞机还是核物理的应用，今天的 AI 依然如此，这也是有人赞成有人反对的根本原因。

我们先就 AI 谈几个问题：AI 是软件，是软件就会有 BUG，这是否会造成严重的后果?其次，复杂系统的行为是高度非线性的，几乎不可能被完全理解，那么随着 AI 的不断训练和迅速迭代，现阶段的管理甚至法律就会出现严重的漏洞。

还要面对一系列哲学和伦理问题，比如 作为一个独立且先进的文化或物种，如何与人类共存等等，起码确保不会变成终结者或出现《I, Robot》中的袭击人类的事情。