技术咨询
代买器件
商务客服
研发客服据业内信息，近日谷歌公布了其用于训练其人工智能 (AI) 模型的超级计算机的一些新细节，并表示该系统比英伟达公司的同类系统更快、更节能。谷歌认为对于同等大小的系统，其芯片比基于英伟达 A100 芯片的系统快 1.7 倍，能效高 1.9 倍。
谷歌自己的定制芯片称为张量处理单元，均用于谷歌自己的人工智能训练，谷歌之前发表的论文详细介绍了它如何使用自己的光开关将 4000 多个芯片串在一起成为一台超级计算机的。
“A100 是人类迄今为止制造出的最强大 7nm 制程芯片!”这是老黄的原话，英伟达 A100 采用目前最先进的台积电 7nm 制程工艺，拥有 540 亿个晶体管，它是一块 3D 堆叠芯片，面积高达 826mm^2，GPU 的最大功率达到了 400W。
英伟达 A100 上搭载了容量 40G 的三星 HBM2 显存，比 DDR5 速度更快，第三代 Tensor Core。同时它的并联效率也有了巨大提升，其采用带宽 600GB/s 的新版 NVLink，几乎达到了 10 倍 PCIE 互联速度。
英伟达 A100 也针对云服务的虚拟化进行了升级，因为全新的 multi-instance GPU 机制，在模拟实例时，每块 GPU 的吞吐量增加了 7 倍。最终在跑 AI 模型时，如果用 PyTorch 框架，相比上一代 V100 芯片，A100 在 BERT 模型的训练上性能提升 6 倍，BERT 推断时性能提升 7 倍。
谷歌的 AI 超级计算机是通过模型提供数据的过程，使它们在诸如用类人文本响应查询或生成图像等任务中发挥作用。Google TPU 现在已经是第四代了。谷歌通过自己定制开发的光开关将 4000 多个芯片串在一起成为一台超级计算机，改善这些连接已成为构建 AI 超级计算机的公司之间竞争的关键点。
因为无论是谷歌的 Bard 还是 Open 的 ChatGPT 等技术的所谓大型语言模型的规模已经爆炸式增长，这意味着它们太大而无法存储在单个芯片上，这些模型必须分布在数千个芯片上，然后这些芯片必须协同工作数周或更长时间来训练模型。
谷歌的 PaLM 模型是其迄今为止最大的公开披露的语言模型，是通过在 4000 台芯片超级计算机中的两台超过 50 天的时间内将其拆分来训练的。谷歌表示其超级计算机可以轻松地动态重新配置芯片之间的连接，有助于避免出现问题并进行调整以提高性能。
谷歌的研究院士和工程师在关于该系统的博客文章中表示，电路切换使得绕过故障组件变得容易，这种灵活性甚至允许我们改变超级计算机互连的拓扑结构，以加速 ML(机器学习)模型的性能。
虽然谷歌现在才公布有关其超级计算机的详细信息，但是自从 2020 年以来，这个一直在谷歌部位于俄克拉荷马州梅斯县的数据中心上线，谷歌说初创公司 Midjourney 使用该系统训练其模型，该模型在输入几句文字后生成新图像，对于同等大小的系统，其芯片比基于英伟达 A100 芯片的系统快 1.7 倍，能效高 1.9 倍，后者与第四代 TPU 同时上市，对此英伟达没有回复。
谷歌认为没有将其第四代 TPU 与英伟达目前的旗舰 H100 芯片进行比较，因为 H100 在谷歌芯片之后上市，并且采用更新的技术制造。谷歌暗示它可能正在开发一种新的 TPU 来与 H100 竞争，但没有提供任何细节。