技术咨询
代买器件
商务客服
研发客服北京时间4月5日上午消息，据报道，当地时间周二，Alphabet旗下谷歌披露其训练人工智能模型使用的超级计算机的最新细节。该公司表示，这些系统的速度和能耗效率均高于英伟达的同类系统。
谷歌拥有自主定制的TPU，其90%以上的人工智能训练任务都通过这些芯片完成。人工智能训练指的是为模型投喂数据，使之可以具备类似人类的文本聊天和图片生成能力。
谷歌TPU目前已经是第四代产品。该公司周二发布了一篇论文，详细阐述了该公司如何利用自己定制的光开关将4000多个芯片组合到一台超级计算机中，从而将一台台的独立机器连接在一起。
改善这些连接的效果已经成为科技公司开发人工智能超级计算机时的重要竞争点，这是因为谷歌Bard和Open的ChatGPT使用的大语言模型规模急剧扩大，无法使用单一芯片完成。
这些模型必须分配到数千个芯片上运行，由这些芯片共同协作数周甚至更长时间来训练模型。PaLM是谷歌迄今为止公开披露的规模最大的语言模型，该模型需要分配到两台各包含4000个芯片的超级计算机中，耗时50多天进行训练。
谷歌表示，该公司的超级计算机使之可以在运行过程中轻松对芯片间的连接进行重新配置，有助于避免问题和调整性能。
“电路切换可以轻松绕过故障组件。”谷歌院士诺姆·乔皮(Norm Jouppi)和谷歌杰出工程师大卫·帕特森(David Patterson)在博文中写道，“这种灵活性甚至可以让我们改变超级计算机的互联拓扑机构，从而加快机器学习模型的性能。”
虽然谷歌现在才刚刚公布其超级计算机的技术细节，但这套系统2020年就已经应用到该公司位于奥克拉荷马州的数据中心。谷歌表示，创业公司Midjourney使用该系统训练其模型，他们开发的工具只需要简单的文本就可以生成全新的图像。
谷歌在论文中表示，与第四代TPU同期上市的英伟达A100芯片相比，该公司的芯片速度达到A100的1.7倍，能耗效率达到A100的1.9倍。
英伟达发言人拒绝对此置评。
谷歌表示，他们并没有将第四代TPU与英伟达现有的H100旗舰芯片进行对比，这是因为后者发布时间较晚，而且采用了更新的技术。
谷歌暗示，他们可能正在开发能够与英伟达H100抗衡的新一代TPU，但并未披露细节信息。乔皮接受采访时表示，谷歌拥有“未来的健康管线”。
相关文章
