Gaudi2走向“高地”,推理性能超过A100

发布时间:2023-09-21  

ChatGPT和GPT-4引发的大模型军备赛不仅没有熄火,反而愈加激烈,随着大模型竞赛来到下半场,其自身也不断展现出越来越大潜力,比如让AI自动设计芯片,或者让AI自动编程。为抢占领先地位,企业使出浑身解数,AI模型也越做越大,以达到力大砖飞的效果,实现智能涌现。但这引发一个大问题——算力不够用了。


A100和H100是这次浪潮中的主力军,几乎所有人都在抢购这些AI芯片。芯片行业中,所有企业一直以来,都倾向于采用多供应链的策略,其中不乏苹果、谷歌,有谁能够替代英伟达?


7月11日,英特尔正式于中国市场推出第二代Gaudi深度学习加速器—Habana Gaudi2,证明跑大模型也有所替代。作为一款针对中国市场的新产品,刚刚崭露头角的它,还有人持观望态度。


近日,MLCommons和Hugging Face陆续公布Gaudi2更多基准测试结果,并证明其推理能力显著超过A100。可以说,从现在开始,再也不能小看Gaudi2了,而用户对于大模型算力建设,也有了新选择。

 

Gaudi2开始登向“高地”

 

器件怎么样,直接看参数。


在针对60亿参数大语言模型及计算机视觉与自然语言处理模型GPT-J的MLPerf推理v3.1性能基准测试结果中:


  • Gaudi2在GPT-J-99和GPT-J-99.9上的服务器查询和离线样本的推理性能分别为78.58次/秒和84.08次/秒;

  • Gaudi2提交的结果采用FP8数据类型,并在这种新数据类型上达到了99.9%的准确率。


需要强调的是,Gaudi2和H100都采用了FP8,并且在GPT-J的测试中达到了非常满意的结果,和H100的差距非常接近,这主要是由于Gaudi2的MME支持了BF16和FP8的加速,而且结构设计合理,可以高效提升推理的能力。


而Gaudi2 的本身性能普遍高于A100, 采用了FP8后与A100(不支持FP8)的FP16相比优势更加明显。这中间包含了Gaudi2架构和软件设计的领先性以及资源的高效利用率。


另据Hugging Face发布的AI训练性能结果显示,经过BERT预训练、Stable Diffusion推理以及T5-3B微调多重测试下,Gaudi2的训练和推理速度约是英伟达A100 80GB的两倍。其报告显示,使用Optimum Habana v1.7,Gaudi2加速视觉模型BridgeTower时与A100相比实现了2.5倍加速,与H100相比则实现了x1.4加速。


回顾6月,MLCommons公布其行业AI性能基准测试MLPerf训练3.0的结果显示,Gaudi2在GPT-3的384个加速器上训练时间为311分钟;在GPT-3模型上,从256个加速器到384个加速器实现近线性95%的扩展效果。


从硬件配置上看,Gaudi2以第一代Gaudi高性能架构为基础,以多方位性能与能效比提升,加速高性能大语言模型运行。该加速器具备:


  • 24个可编程Tensor处理器核心(TPCs);

  • 21个100Gbps(RoCEv2)以太网接口;

  • 96GB HBM2E内存容量;

  • 2.4TB/秒的总内存带宽;

  • 48MB片上SRAM;

  • 集成多媒体处理引擎。


其中,值得注意的是,Gaudi2也采用了HBM2E。要知道,英伟达A100和H100生产便曾一度因为HBM而被限制。


Habana Labs中国区总经理于明扬表示,英特尔很好地预测了市场并预估了额外的需求,基本保证了生产和供应,可以满足大模型对于巨量HBM的需求。


1.jpg


再从软件上来看,英特尔主张开放,通过Developer Community与开发者互动,提供优化后的模型、开源驱动和工具库,并支持Pytorch、Deepspeed等开源框架,加入和维护开放生态。同时,软件上CUDA的影响已经很大程度缩小,这对整体环境更加有利。

 

于明扬强调,英特尔正在加快建立一个开放的AI软件生态系统,为客户、合作伙伴和开发人员提供早期访问和便捷、迅速的途径。英特尔的oneAPI能够提供更为开放的环境,支持不同层面的定制化开发,今后英特尔和客户都可以在软件中添加新的加速算子,并upstreaming到框架开源社区中。

 

至强走向“更强”

 

一并测试的不止是Gaudi2,也包括第四代英特尔至强可扩展处理器。

 

早在第四代至强发布之际,“七大神器”就被揭晓,而其中的各种加速器,能够支持大多数大型AI模型,包括实时、中等吞吐量、低延迟稀疏推理以及中、小型规模的训练和边缘推理。

 

与Gaudi2不同,第四代至强可以运行诸多AI工作负载,但它所应对的是参数量较小的模型,这也让Gaudi2得以专注在大模型上发挥自己的能力。

 

在模型规模跨度更大、需求更为广泛的今日,异构计算,即使用不同计算架构的方法显得十分重要。在第四代至强处理器+Gaudi2加速器的组合下,面对参数量动辄百亿、千亿的大模型,可以发挥最佳的性价比和能力。

 

那么,第四代至强,能力到底如何?

 

根据英特尔提交的基于第四代至强可扩展处理器的7个推理基准测试,其中包括GPT-J模型。结果显示,包括视觉、语言处理、语音和音频翻译模型,以及更大的DLRM v2深度学习推荐模型及ChatGPT-J模型在内,第四代至强处理器对于通用AI工作负载拥有出色的性能:

 

  • 第四代英特尔至强可扩展处理器是通过流行的AI框架与库构建及部署通用AI工作负载的理想选择。对于GPT-J对约1000-1500字新闻稿进行100字总结的任务,第四代至强可扩展处理器可在离线模式下完成每秒两段的总结提要,在实时服务器模式下完成每秒一段的总结提要;

  • 英特尔首次提交了英特尔至强CPU Max系列的MLPerf结果,该系列可提供高达64GB的高带宽内存。对于GPT-J而言,它是仅有的能够达到99.9%准确度的CPU,这对于对精度要求极高的应用来说至关重要;

  • 英特尔与OEM厂商合作提交了测试结果,进一步展示了其AI性能的可扩展性,以及基于英特尔至强处理器的通用服务器的可获取性,充分满足客户服务水平协议(SLA)。

 

截至目前,英特尔仍是唯一一家使用行业标准的深度学习生态系统软件提交公开CPU结果的厂商。


2.jpg


“未来在AI计算领域,英特尔将会提供可满足不同应用场景和总体拥有成本(TCO)的AI产品组合,为客户统一的开发平台,并助力于形成完整的产品生态链。”于明扬如是说。

 

给市场更多选择

 

大模型的风已经吹了大半年,迄今为止,还没有其他半导体供应商能够在GPT-3上建立、扩展和实现符合基准标准的性能。

 

Gaudi2是迄今除英伟达以外,唯二能够跑MLPerf GPT 3.0模型的产品,在这个方面已经具备了替代A100和H100训练的能力。尤其是在用户关注的性价比上优势更加显著。推理是新的市场机会,也是英特尔会持续发力的领域。

 

自从Gaudi2出现,它便受到产业链广泛关注。


对于Gaudi2的未来,于明扬表示:“Gaudi2将继续在性价比和性能功耗比两个方面展示出领先优势,同时在软件生态上也突破了传统CUDA的限制,做到了更好的兼容性。”

 

为了抓住浪潮的机遇,企业需要更多产品来武装自己的大模型,而英特尔第四代至强+Gaudi2或许是一个新的选择。


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

    可接收性、结果准确度等维度,全面考核代码大模型的全栈技术能力。 阿里云通义灵码在本次评估中获得4+级评级,是评分最高的代码大模型之一。 信通院评测结果显示: 在通......
    配置有很大可能会在未来电摩上实现标配。能源系统排行榜电动车能源系统排行根据电动车智能状态当中的电池容量、充电时间、电池保护系统、能量回收系统以及外沿拓展能力实验室考核评分。参评车型在能源系统中的得分相差不大,得分最高的是小牛NX......
    BDTI DSP Kernel Benchmarks 浮点部分获得了高达 10,720 的 BDTImark2000Ô 评分,比此前最高得分器件高 2 倍以上。同样的 C66x 内核在 BDTI DSP......
    奖由美国消费者技术协会(CTA)主办,是一场年度奖项评选活动,旨在从28个消费技术产品类别中评选出杰出的设计与工程产品进行表彰。评分最高的产品将获得“最佳创新奖”殊荣。由媒体、设计师、工程......
    费技术产品类别中评选出杰出的设计与工程产品进行表彰。评分最高的产品将获得“最佳创新奖”殊荣。由媒体、设计师、工程师等行业精英专家组成的评审团,从创新、工程与功能、外观、设计等多个维度,对厂商提交的产品进行评审。  荣获的三款产品包括: ●   的......
    云服务商在游戏云服务领域的创新能力,包括功能拓新、技术纳新、理念革新等方面。 值得指出的是,报告在多项针对“增长指数”和“创新指数”的指标项,对亚马逊云科技给予了最高评分。“增长指数”得分最高......
     D'Onofrio)说道。"人工智能是目前评分最高的类别,这一点不足为奇。人工智能公司如何迅速扩大规模、改变云技术、助力下一波增长浪潮并推动市值同比大幅跃升超过 1500 亿美元,我们......
    场年度奖项评选活动,旨在从28个消费技术产品类别中评选出杰出的设计与工程产品进行表彰。评分最高的产品将获得“最佳创新奖”殊荣。由媒体、设计师、工程师等行业精英专家组成的评审团,从创新、工程与功能、外观......
    6600和英特尔 Iris Xe(i7-1280P)等设备。所有设备都泄漏了数据,其中AMD Radeon RX 6600的表现最差,未经授权的数据提取准确率为94%。苹果设备的评分最高,数据......
    一个非常令人鼓舞的迹象。 在过去的一年里,机电/连接器类别有两次接近100分的门槛。目前,该指数在1月份的展望中得分最高,为114.4,比12月份上涨了30.7点。其次是无源器件类别,在1月份的预测中跃升28.4......

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>