2024年7月6日下午，由上海开放处理器产业创新中心和芯原微电子（上海）股份有限公司主办的“RISC-V和生成式论坛”，在上海世博中心成功召开。而作为此次论坛的重头戏，压轴的圆桌讨论环节可谓是星光熠熠、干货满满。

中国RISC-V产业联盟理事长；芯原创始人、董事长兼总裁戴伟民博士担任了此次圆桌会议的主持人，RISC-V国际基金会理事长戴路、华东政法大学政治学研究院院长兼人工智能与大数据指数研究院院长高奇琦、知合计算CEO孟建熠博士、芯来智融半导体科技(上海)有限公司CEO彭剑英女士、乌镇智库理事长张晓东担任了此次圆桌会议的嘉宾。

针对未来超级人工智能展位和超级大模型专制的局面解读，几位嘉宾都进行了精彩地分享。

超级智能何时能够到来？影响几何？

关于从AI发展到AGI（通用人工智能），再进一步发展到超人工智能（ASI）的时间表，目前学界和工业界都有很多不同的观点。预测具体时间非常具有挑战性，因为这不仅涉及技术发展的速度，还包括伦理、政策、经济和社会接受度等多方面的因素。

Aschenbrener（前OpenAI的安全研究员）于今年6月发布了《警世预言》，其中指出2027将会是ASI的元年。

那么ASI的到来会给我们带来何种影响？高奇琦院长认为有三个“失”，可能带来风险。

1-失业问题：历史上自动化无疑已经对就业产生了冲击。如果超人工智能的发展速度过快，我们可能无法做好充分的准备，从而引发更广泛的失业问题。

2-失序问题：当前大量的人工智能生成内容（AIGC）应用可能导致信息过载和信息泡沫，进而使得信任变得困难。当虚假信息泛滥时，人们可能会对所有信息持怀疑态度，这种情况可能严重影响社会秩序。

3-失控问题：随着通用人工智能（AGI）的发展，存在一种可能性是AI发展出自我意识，这已成为众多讨论的话题。尽管“意识”难以明确定义，但不能排除这种可能性。此外，如果恶意分子利用这种类似爱因斯坦级别的智能制造病毒或超级武器，将带来极大的威胁。

针对“失控”这样的巨大风险，必须要采取有效的应对策略。首先，对于大型模型，必须实施严格的分级制度。例如，对于规模巨大的模型，应采取类似于核武器安全控制的方法来管理。高院长表示，尽管当前很难找到恰当的比较对象，核武器安全的类比可能较为适合。如核武器控制一样，虽然通过卫星图像进行检查和监控曾是常规做法，但今天这种方法可能已不再适用。因此，我们需要类似的思考和判断来确保不过多的行为体拥有这种“超能力”，以避免控制上的困难。

而对于“失业”和“失控”这类问题，高院长提出了合理收取税费这样的思路。未来人工智能的使用可能引入类似于强制车险的税收政策，以应对由此产生的问题。这种税收不宜过重，以免阻碍产业发展。收取的税款可以用于解决人工智能引发的问题，并可能用于调节产业发展速度。此外，这种税收机制的构思可能借鉴碳中和交易的思路。关于如何建立这一机制，可以从双边逐步扩展到多边，或者采用类似于APCC的全面协商方式。这将根据实际情况灵活调整，预计未来会有此类进程的发展。

少数大模型专制的局面，是喜是忧？

超级人工智能的实现，需要的超大规模的计算中心来支持超大规模的大模型训练。而考虑到资源和成本的问题，像一千万张H100加速卡这样的计算资源，可能只有少数公司或主体能够负担得起，这种集中可能就会导致超级人工智能的资源分配不均。

张晓东在其发言中探讨了关于未来人工智能大模型的几个关键趋势和问题。他引用了谷歌前CEO在MIT的演讲，提出了一个未来设想，即全球可能只存在几个超级巨大的AI模型，主要集中在美国和中国，少数分布在欧洲。这引发了对于AI资源高度集中的可能性及其带来的经济和社会影响的讨论。张晓东比较了AI发展的两种可能性：一种是极少数的巨型模型主导；另一种是多个较大的模型共存。从安全角度考虑，少数模型可能有助于防止技术滥用，类似于核扩散防控。最后，他提到了技术发展可能超越人类理解（如AlphaZero的棋类表现），显示了超级AI模型的潜在威胁。张晓东认为超级人工智能超越人类智力的可能性很大，而是否有办法来控制超级人工智能尚不明确。“但是现在我们看到的情况，至少不容乐观、就是从我个人的观点来看，不容乐观。”张晓东坦言到。

而高奇琦院长又从政治学和全球治理视角出发，针对全球大型人工智能模型进行了分析。他指出，大型模型作为知识生产的基础，对全球文化有着深远的影响。如果世界上仅存在少数几个以英语为主的大模型，那么强调本土文化的国家可能感到自己被边缘化，因为这些模型的训练语料中，他们的文化内容可能只占很小一部分。最近，日本在开发“主权AI”，即为了保护和促进本土文化而构建的自主大型模型，这突显了在全球范围内维持知识多样性的重要性。高奇琦认为，如果全球只有统一的大模型，可能会导致知识的同质化，从而消灭文化多样性。他强调，找到保持文化独立性和参与全球知识竞争之间的平衡是一个重大挑战。

人工智慧的“幻觉”，是想象力还是BUG？

当谈到超级人工智能的威胁的时候，高院长提出的“失序”问题，其实是来自于的“幻觉”。从产业应用的角度来讲，这种“幻觉”是bug，在自动驾驶等场景中，甚至可能是致命的存在。而从另一种角度来看，人工智能的“幻觉”恰恰是其非常像人的一种能力，说明其可能具备更好的创作能力。

张晓东和高奇琦均对人工智能的这种“幻觉”表示赞赏，认为这是其“想象力”的一种表现。但同时两位也强调到，在某些场景中，需要限制这种能力，要通过类似“检索增强”的方式，来将一些幻觉导致的差异进行“对齐”，从而消除在某些场景中，由于这种想象力可能会给人们带来的安全隐患。孟建熠也强调：“如果写文章这种场景是可以幻觉多一点，但是在别的领域‘智商’低一点、解决一部分的问题，我觉得其实已经够了。”