几年前当刚开始流行之时,很多人预测应用最大的瓶颈将是存储器的读取和写入速度,这会严重影响训练和推断的效率,以及做出相应反馈的速度。特别是2023年以来,以ChatGPT为代表的生成式让人们看到了智能世界的无限可能,而如何有效地采集、存储、传输、处理数据和模型则成为实现高质量AI的关键,这就需要高速传输技术的革新。
无论是云端AI训练还是向网络边缘转移的AI推理,都需要高带宽、低时延的内存。鉴于GPU已经成为目前人工智能训练和推理中的核心处理单元,迈向高性能GDDR6内存接口已是大势所趋。近日,半导体IP和芯片供应商推出业界领先24Gb/s GDDR6 ,致力于通过进一步提升传输速度解决AI训练和推理面临的存储焦虑问题。
致力于使数据传输更快更安全,关注产品的产品和方案的易用性,通过一站式的解决方案以及完善的服务机制,使产品方案变得更容易在客户端集成使用。产品方面,的内存接口芯片不断提高数据中心内存模块的速度和容量,数据安全方面,Rambus有着丰富的安全IP产品线,对用于静态数据和动态数据安全保护都有专门的产品方案,包括安全信任和MACsec和Ipsec等等,整体来说,Rambus的产品应用领域聚焦于服务器、主内存、智能网卡、网络服务和交换机,以及面向未来的内存扩展和池化等市场。“ChatGPT等AIGC应用与我们公司的产品组合是非常契合的。”Rambus大中华区总经理苏雷说,他特别谈到于中国市场,中国目前AI应用和部署走在世界前列,Rambus希望更多、更紧密地支持中国公司在AI产业的发展,“Rambus面对中国客户的需求,有最好的技术、最快的响应和最好的技术支持来服务中国市场。”
Rambus GDDR6 以及控制器的配套产品,可以实现业界领先的24Gb/s数据传输速率,作为全新的一个行业标杆,将为AI推理等应用场景带来巨大性能优势和收益。除性能之外,该组合另一大优势是对功耗的管理。当设备在高速和高带宽环境下运行时,良好的功耗管理非常重要。
在系统层面设计的考量方面,如果要确保系统在24Gb/s环境下运行,需要良好的系统级信号完整性。Rambus信号完整性的工程师,也会与客户进行非常紧密的从设计初期开始的合作,能够确保客户运行系统的时候达到最高的性能。另外,Rambus提供的产品已经实现了以及控制器的完整集成。在客户收到产品之后,可以直接对这些子系统进行定制化应用。
Rambus IP核产品营销高级总监Frank Ferro介绍,AI推理应用对带宽的需求通常在200到500Gb/s的范围之间波动,每一个GDDR6设备的带宽都可以达到96Gb/s,因此通过将4-5个GDDR6设备组合在一起,就能轻松满足500Gb/s及以下的带宽需求。如果用到一个HBM3设备,基本上会把这个带宽需求的数字翻倍,能够达到接近800Gb/s的带宽,而这超过了AI推理本身所需要的400到500Gb/s带宽,会使成本增加3~4倍。在这种条件下,HBM并非一个经济高效的选择,GDDR6则是一个更好的替代。他特别建议按需选择HBM或是GDDR6内存,对于对高带宽和低延迟有很高要求的AI训练场景,HBM可能是更好的选择;对于需要更大容量、更高带宽的AI推理场景,GDDR6会是更合适的选择。
Rambus的产品实现了PHY和控制器的完整集成,其内存接口系统包括PHY物理层、控制器、DRAM和客户端ASIC,其中,PHY的物理层与DRAM直接相连,接口由两个16位插槽组成,共32位,另一侧的DFI接口与内存控制器连接,控制器会直接接入整个系统的逻辑控制。Rambus会提供下图中的蓝色部分——即完整的子系统(与Rambus GDDR6数字控制器IP相结合),使得客户可以根据场景所需进行定制化使用。此外,Rambus可以保障良好的系统级信号完整性和电源完整性(SI/PI),并且支持LabStation开发环境,能够快速建立系统,进行特性分析和调试。
如今,GDDR在AI/ML场景(如AI推理等)中有着广泛的使用,还会应用于图形计算、网络等场景。与DDR相比,GDDR在带宽、速度、功耗等方面有着显著优势,吸引了更多的客户将其结合到各类先进设计中。作为系统级解决方案的一部分,Rambus GDDR6可以为AI/ML、图形和网络应用提供高效益、高带宽、低延迟的内存接口解决方案。同时,RambusGDDR6 PHY还有着更优的功耗管理表现。
Rambus通过领先的高性能内存和互联解决方案以及硬件级安全,支持下一代数据中心的发展。其产品应用领域聚焦于服务器主内存、人工智能和网络加速器、智能网卡、网络存储、网络交换机以及内存扩展和池化等。苏雷介绍,Rambus有着丰富的接口IP产品组合,同时也提供像DDR、LPDDR以及HBM等产品,并非常关注SerDes产品的开发,主要聚焦于PCIe和CXL接口,会开发配套的PHY及控制器。Rambus的HBM产品拥有领先的市占率,同时其HBM3产品已经能够提供高达8.4Gbps/s的数据传输速率。
相关文章