美光旨在通过其最新一代高带宽内存 (HBM3) 技术实现高带宽、效率和速度之间的平衡。

美光科技最近宣布“业界首款”HBM3 Gen2内存芯片已进入样品阶段。随着生成式人工智能模型变得越来越普遍，设计人员必须克服人工智能内存在效率、成本和性能瓶颈。与传统内存解决方案相比，第二代 HBM3 具有独特的优势，因此可以解决其中一些痛点。

美光的 HBM3 Gen2 内存芯片可以提高密度和带宽，同时降低功耗并提高计算模块的效率。 图片由美光科技提供

最新的 HBM3 内存基于美光的 1β（1-beta）DRAM 工艺节点构建，最多允许 24 Gb 内存芯片堆叠成 8 或 12层3D 堆栈。 不仅提高了纯存储密度，还提高了带宽和功耗性能。 本文深入探讨了这些优势以及美光科技最新的内存产品，让读者了解 HBM3 标准如何实现新的、强大的内存进步。

HBM3 标准因对快速、高效内存的需求而兴起

自推出以来，冯·诺依曼架构就一直是芯片设计师的掣肘。对于需要大量内存的人工智能模型尤其如此，内存墙一直是整个系统的瓶颈。

为了应对这一限制，HBM 使用 3D 集成来进一步耦合计算和内存芯片，并提供更高的整体带宽和功效。 HBM3 Gen1 是 JEDEC 最新批准的标准，以 HBM2 和 HBM2E 标准为基础，支持未来堆叠内存芯片的更高带宽和能效。

HBM3 内存使用垂直堆叠芯片来提高内存密度和带宽性能。 图片由 Synopsys 提供

尽管内存标准主要关注速度和带宽，但功耗才是大型部署效率低下的主要原因。 因此，HBM3标准不仅将带宽从3.6 Gbps增加到6.4 Gbps，将最大容量从16 GB增加到64 GB，而且大大降低了存储设备的核心电压和功耗。

美光 HBM3 Gen2：提高每瓦性能

尽管 JEDEC 尚未发布 HBM3 Gen2 标准，但美光等公司正在开发下一代 HBM 设备，以满足新兴应用的内存需求。 美光 HBM3 Gen2 芯片以其 HBM2E 产品组合为基础，出色的性能使其成为带宽密集型应用的有吸引力的解决方案。

HBM3 内存允许将内存芯片放置在非常靠近计算模块的位置，从而降低处理器和内存之间的延迟，并提高内存密集型应用程序的性能。 图片由 Synopsys 提供

就纯带宽而言，HBM3 Gen2 芯片支持超过 1.2 TB/s 的内存带宽，可与 AI 计算核心结合使用，并且12层堆叠比8层容量密度增加50%。 HBM3 Gen2 提高了性能并降低了功耗，每瓦性能提高了 2.5 倍，从而降低了系统的总运营成本。

美光将于 2024 年第一季度开始发售其 36 GB 12层堆叠HBM3。这种使用先进封装和集成技术的更高带宽内存的趋势预示着复杂 AI 模型的未来。

更多维度的内存

虽然并非所有设计人员都会直接使用堆叠内存芯片，但所有领域的工程师都会感受到 HPC 和 AI 应用内存带宽改进的效果。通过提高内存速度和能效，AI 模型和 HPC 集群可以以更低的总成本提供更多优势。

随着官方 HBM3 标准的发展，像美光这样的芯片制造商可能会对该标准的局限性做出迅速反应。 例如，堆叠层数上限可能会限制3D 内存芯片的整体容量和带宽。