英特尔至强处理器在AISBench测试中表现卓越

发布时间:2024-09-06  

近期,第五代英特尔®至强®可扩展处理器通过了中国电子技术标准化研究院组织的人工智能服务器系统性能测试(SBench)。英特尔成为首批通过AISBench大语言模型(LLM)推理性能测试的企业。

image.png

中国电子技术标准化研究院西实验室依据国家标准《人工智能服务器系统性能测试规范》(征求意见稿)相关要求,使用AISBench 2.0测试工具,完成了第五代英特尔至强可扩展处理AI大模型推理性能和精度测试测试中,第五代英特尔至强ChatGLM V2-6B60亿参数以及 Llama2-13B130亿参数)两个模型上均展现卓越推理性能,能够满足轻量级大语言模型的实时推理要求。

image.png

测试结果:此次单机性能测试中,在满足人类正常阅读速度要求(生成延迟小于100毫秒的情况下,在封闭测试场景中构造数据集,基于第五代英特尔至强的服务器可实现:

在60亿参数的ChatGLM V2模型通用推理中,当输入输出序列为256时可达每秒 2493 token的性能,输入输出序列为2048时可达每秒926 token

130亿参数Llama2模型通用推理输入输出为256时可达每秒513 token,当输入输出序列为2048时可达每秒 132 token1


作为通用处理器,第五代英特尔至强在人工智能、网络、存储、数据库等关键工作负载均能提供出色性能。AISBench 2.0的测试结果验证了英特尔至强在运行轻量级大语言模型时展现出的优异推理性能,使得客户可以使用基于至强的服务器,构建一个通用AI系统进行数据预处理、模型推理和部署,从而获得兼具AI性能、效率、准确性和可扩展性的组合。这也彰显了英特尔至强可以为企业提供“开箱即用”的功能,即可以在通用系统上部署一部分AI工作负载,从而为客户带来更佳的总体拥有成本(TCO)优势。

软硬结合,至强展现AI优势

英特尔至强的内置AI加速器使其成为在通用处理器上运行部分AI工作负载的理想解决方案,不仅如此,英特尔配备了经过优化的、易于编程的开放软件,可降低客户和生态伙伴在数据中心部署从云到智能边缘各种基于AI的解决方案的门槛。

第五代英特尔至强可扩展处理器充分发挥了系统级优势(包括缓存、内存等),因此推理速度实现了大幅提升。

内置AI加速器——英特尔®高级矩阵扩展(AMX)通过提供专用的矩阵运算加速模块(TMUL)以及支持INT8和BF16这类低精度数据类型,实现对计算资源的充分利用,从而大幅提升运算效率。

 xFasterTransformer(简称xFT)是英特尔提供的在CPU平台上部署大语言模型的深度优化开放解决方案,通过C++Python两种API接口,更易于用户使用和将其集成到自有业务框架中。

关于AISBench

是一套应用于人工智能计算产品的性能测试基准,由中国电子技术标准化研究院牵头研制。与MLPerf等国际先进计算基准类似该基准用于测试多种人工智能计算产品形态,支持丰富的测试场景、模式类型指标。

产品与性能信息

1.服务器:在搭载第五代英特尔®至强®处理器的Quanta Cloud Technology 服务器 QuantaGrid D54Q-2U上测量CPU:英特尔至强铂金8592+、64核,超线程开启、睿频开启、NUMA 4,内存:1.5 TB、硬盘:Intel P5800X 3.2TB NVME ,、操作系统:Ubuntu 22.04、测试软件:AISBench、深度学习框架:PyTorch 2.3.1、模型数据精度:BF16英特尔于2024年6月26日至7月26日进行测试。

客户端:第十一代英特尔®酷睿 i7-1185G7戴尔Latitude 7420上测量,内存:16.0 GB硬盘:256 GB操作系统:Microsoft Windows 11Enterprise测试软件:MobaXtermPersonalEdition v22.0 Build 4858英特尔于2024年6月26日至7月26日进行测试

测试工具性能测试工具SBench 2.0

免责声明

性能因使用情况、配置和其他因素而异。欲了解更多信息,请访问性能指数网站。性能结果基于截至所示日期的测试,可能无法反映所有公开可用的更新。请参阅备份以了解配置详情。没有任何产品或组件是绝对安全的。您的成本和结果可能会有所不同。英特尔技术可能需要启用硬件、软件或激活服务。


文章来源于:21IC    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
服务
平台入驻

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

原厂代理商合作

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

闲置物料合作

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

生态合作

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

加工与定制类服务商合作

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

线上代理合作

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

邮件营销及广告服务

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>