技术咨询
代买器件
商务客服
研发客服Alphabet旗下的周二公开了其用于训练人工智能模型的超级计算机的新细节，称其比芯片的系统更快、更节能。
本文引用地址：公司设计了自己的定制芯片，称为Tensor Processing Unit（TPU），并将这些芯片应用于90%以上的人工智能训练工作。这个过程通过模型对数据进行训练，以提高其在类似人类文本响应或生成图像等任务中的实用性。
目前，TPU已经进入第四代。谷歌公司在周二发布了一篇科学论文，详细介绍了如何利用自己开发的定制光学开关将4000多个芯片连接成一个超级计算机。
对于构建超级计算机的公司来说，改善这些连接已经成为竞争的关键点。因为所谓的大规模语言模型正在不断增大，已无法在单个芯片上存储，而这些模型正驱动着谷歌的Bard或Open的ChatGPT等技术。
这些模型必须被分割到数以千计的芯片中，然后这些芯片必须协同工作数周或更长时间来训练模型。谷歌的PaLM模型 —— 迄今为止其公开披露的最大的语言模型 —— 它通过分布在两台拥有4000个芯片的超级计算机上进行了50天的训练。
谷歌表示，其超级计算机可以轻松地动态重新配置芯片之间的连接，有助于避免故障并进行性能优化。
“电路交换使得我们能够轻松避开故障组件，”谷歌高级研究员Norm Jouppi和谷歌杰出工程师David Patterson在一篇关于该系统的博客文章中写道。“这种灵活性甚至使我们能够改变超级计算机互联网络的拓扑结构，以加速ML（机器学习）模型的性能。”
虽然谷歌直到现在才公开其超级计算机的详细信息，但它自2020年以来就已经在俄克拉荷马州梅斯县的数据中心内运行。谷歌表示，初创公司Midjourney使用该系统来训练其模型，该模型可以在输入文字后生成图像。
谷歌在论文中表示，与相同规模的系统相比，它的超级计算机比基于芯片的系统更快1.7倍，更节能1.9倍。谷歌表示，之所以没有将其第四代TPU与目前的旗舰H100芯片进行比较，因为H100是在谷歌这款芯片应用后上市的，并且采用了更新的技术。
谷歌暗示正在研发一款新的TPU，将与英伟达H100竞争，但没有提供详细信息。Jouppi告诉媒体，谷歌有“充足的未来芯片储备”。
相关文章
