美国安全研究所——隶属于国家标准技术研究所（NIST）——在经过多方猜测后，终于宣布了其领导团队。

被任命为安全负责人的是Paul Christiano，一位前Open研究员，他开创了一种基础AI安全技术，称为从人类反馈中学习的强化学习（RLHF），但他也因预测“AI发展有50%的机会以‘末日’结束”而闻名。尽管Christiano的研究背景令人印象深刻，但一些人担心通过任命所谓的“AI末日论者”，NIST可能会鼓励许多批评者视为纯粹猜测的非科学思维。

有传言称，NIST工作人员反对此次任命。VentureBeat上个月发表的一篇有争议的报道引用了两位匿名消息人士的说法，声称由于Christiano的所谓“AI末日论”观点，NIST工作人员“发生了动荡”。VentureBeat报道称，一些工作人员和科学家声称威胁要辞职，担心“Christiano的关联”与有效利他主义和“长期主义可能会损害该机构的客观性和完整性。”

NIST的使命根植于推动科学发展，通过推动测量科学、标准和技术的发展，促进美国创新和工业竞争力的提升，从而增强经济安全并改善我们的生活质量。有效利他主义者相信“利用证据和理性来找出如何尽可能多地造福他人”，长期主义者则认为“我们应该更多地保护未来几代人的利益”，这两者都更具主观性和意见性。

在Bankless播客上，Christiano去年分享了他的观点，称“AI接管”的机会大约有“10-20%”，这将导致人类死亡，而“总体而言，一旦你拥有人类水平的AI系统，你可能会更接近50-50的‘末日’机会。”

“我们死亡的最可能方式不是AI突然出现并杀死所有人，而是我们已经在各处部署了大量的AI……[而且]如果不幸，所有这些AI系统都试图杀死我们，它们肯定会杀死我们，”Christiano说道。

所谓“AI末日论者”的批评者警告称，将注意力集中在任何潜在夸大的对假想的杀手AI系统或存在主义AI风险的讨论上，可能会阻止人类将注意力集中在当前AI的实际危害上，包括环境、隐私、道德和偏见问题。华盛顿大学计算语言学教授Emily Bender曾警告称，由于“怪异的AI末日论话语”被包含在乔·拜登的AI行政命令中，“NIST已被指示担心这些幻想般的情景”，而“这就是导致Christiano被任命的根本问题”。

Bender告诉Ars说：“我认为NIST可能有机会将其研究引向不同的方向，”“但遗憾的是他们没有。”

作为AI安全负责人，Christiano似乎将不得不监测当前和潜在的风险。美国商务部的新闻稿称，他将“设计和执行前沿AI模型的测试，重点关注具有国家安全关切的模型评估”，引导评估流程，并实施“风险缓解措施，以增强前沿模型的安全性和安全性”。

Christiano在减轻AI风险方面有丰富的经验。他离开OpenAI创立了Alignment Research Center（ARC），美国商务部将其描述为“一个非营利性研究机构，旨在通过推进理论研究，将未来的机器学习系统与人类利益保持一致。” ARC的使命之一是测试AI系统是否在演变为操纵或欺骗人类，ARC的网站上写道。ARC还进行研究，帮助AI系统“优雅地扩展”。

由于Christiano的研究背景，一些人认为他是领导安全研究所的不错选择，比如美国科学家联合会新兴技术与国家安全副主任Divyansh Kaushik。在X（前称Twitter）上，Kaushik写道，安全研究所的目标是从AI中减轻化学、生物、放射和核风险，而Christiano“非常合格”于测试这些AI模型。不过，Kaushik警告说，“如果有关NIST科学家因Christiano的任命而威胁要辞职”的消息属实，“那显然将是严重的事情。”

美国商务部不对其人员进行评论，因此目前尚不清楚是否有人因为Christiano的任命而辞职或计划辞职。自宣布后，Ars并未找到任何NIST工作人员公开宣布他们可能考虑辞职的公告。

除了Christiano之外，安全研究所的领导团队还包括Mara Quintero Campbell，一位在COVID应对和CHIPS法案实施方面领导项目的商务部官员，担任代理首席运营官和首席幕僚。Adam Russell，一位专注于人工智能团队合作、预测和集体智能的专家，将担任首席视觉官。Rob Reich，一位来自斯坦福大学的以人为本的AI专家，将担任高级顾问。而Mark Latonero，一位曾担任白宫全球AI政策专家，帮助起草了拜登的AI行政命令，将担任国际事务负责人。

美国商务部长吉娜·雷蒙多在新闻稿中表示：“为了保护我们在负责任的AI领域的全球领导地位，并确保我们能够履行我们减轻AI风险并利用其好处的使命，我们需要国家能提供的顶级人才。”“这正是我们选择这些在其领域最优秀的人士加入美国AI安全研究所执行领导团队的原因。”

VentureBeat的报道声称，雷蒙多直接任命了Christiano。

Bender告诉Ars说，NIST在研究“政府和非政府机构如何使用自动化技术”的过程中包含“末日情景”没有任何优势。

Bender告诉Ars说：“AI安全叙事的根本问题在于它将人从图景中剔除了，”“但我们需要担心的是人们如何利用技术，而不是技术自主地做些什么。”

Christiano解释了他对AI末日的看法Ars无法立即联系到Christiano评论，但他已经解释了他对AI末日和负责任的AI扩展的看法。

在LessWrong上发布的一篇博客中，他解释了导致人们对他的AI末日看法产生困惑的两个区别。

第一个区别“是死亡（‘灭绝风险’）和有一个糟糕的未来（‘存在风险’）之间的区别”，澄清说他认为“在没有灭绝的情况下存在糟糕的未来的机会很大，例如，AI系统接管但并不杀死每个人。”一个“糟糕的未来”的版本将是“世界由AI系统统治，而我们无法建造与我们的价值观相符或关心帮助我们的AI系统”，Christiano说，“这可能甚至不是一个客观糟糕的未来。”

“但这确实意味着人类放弃了对自己命运的控制，我认为从期望值来看，这是相当糟糕的，”Christiano写道。

另一个区别是“现在死亡和以后死亡之间”，Christiano说，澄清说死亡以后可能并不完全“来自AI”，而是来自AI进步之后的环境。

“我认为我们不会因为AI而死亡，但是AI和其他技术可能会加速世界变化的速度，所以在不久的将来有些其他事物会杀死我们，”Christiano写道。

在那篇文章中，Christiano详细说明了他估计的AI接管（22％）的可能性，即“在建立强大的AI使劳动变得过时后的10年内，大多数”人会死亡（20％），以及“在建立强大的AI后的10年内，人类以某种方式已经不可逆地破坏了我们的未来”（46％）。

他澄清说，这些概率仅用于“量化和传达我相信的东西，而不是声称我有某种校准模型来产生这些数字。”他说这些数字基本上是猜测，经常因为他收到新信息而改变。

“只有一个这些猜测甚至与我的日常工作相关（15％的AI系统由人类构建将接管的概率），”Christiano写道。“对于其他问题，我只是一个稍微经过一点思考的人。我不建议依靠15％，但绝对不建议依靠其他任何东西。”

在2023年，Christiano的非营利组织ARC帮助测试了OpenAI的GPT-4是否会接管世界，并最终得出结论，即GPT-4并不构成灭绝风险，因为它在“自主复制方面”“无效”。由于ARC担心AI系统操纵人类，Christiano曾在LessWrong上发表评论，称增强功能研究在AI系统变得更加智能时变得更加重要。这表明他在评估系统方面的工作将是一项关键工作。

“在这一点上，似乎我们面临的风险更大，来自低估模型能力并走向危险，而不是在评估过程中造成事故，”Christiano写道。“如果我们小心管理风险，我认为我们可以使这种比率非常极端，尽管当然，这需要我们真正做这项工作。”

Christiano对暂停AI发展的看法Christiano并不是唯一一个警告AI存在的灭绝风险的人。在过去一年中，从OpenAI高管到28个国家的领导人，所有人都对潜在的“灾难性”AI危害发出警告。但是像Meta首席AI科学家Yann LeCun这样的批评者则反驳说，围绕灭绝风险的整个辩论是“严重夸大和非常过早的”。

在AI安全研究所，Christiano将有机会在建造、测试和投资于AI的人声称AI发展的速度正在超越风险评估的时候，减轻实际的AI风险。如果埃隆·马斯克所说的有一定道理的话，即AI“可能会在明年底之前比任何一个人类都聪明。”

为了减少意外，Christiano的团队将需要完善风险评估，因为他预计模型将变得更加智能，并且微调它们将变得更加危险。去年十月，在有效利他主义论坛上，Christiano写道，需要法规来约束AI公司。

“足够好的负责任的扩展政策（RSPs）可以通过”为关键保护措施创建紧迫性并增加“如果这些措施不能迅速实施，暂停[AI发展]的概率”，从而显著减少风险，Christiano解释道。

即使有关扩展的法规，Christiano警告说，“快速AI发展的风险非常大，即使非常好的RSPs也不会完全消除这种风险。”

尽管一些担心AI存在灭绝风险的批评者在过去一年中呼吁暂停AI前沿的发展，直到保护措施得到改进，但Christiano辩称，只有全球统一的暂停才会没有显著的成本。

', '#imageElem', { tips: [1, '#fff'], area: ['210px'] // 这里定义大图的大小 }); }); $('#imageElem').mouseout(function (){ layer.closeAll('tips'); }); });