Semidynamics 发布新款一体化人工智能 IP 的张量单元效率数据

发布时间:2024-06-26 09:38  


欧洲 RISC-V 定制内核人工智能专家 Semidynamics 公布了其运行 LlaMA-2 7B 参数大型语言模型 (LLM) 的 "一体化 "人工智能 IP 的张量单元效率数据。

Semidynamics 首席执行官 Roger Espasa 解释说:"传统的人工智能设计使用三个独立的计算元件:通过总线连接的 CPU、GPU(图形处理器单元)和 NPU(神经处理器单元)。这种传统架构需要 DMA 密集型编程,易出错、速度慢、耗能大,而且还必须集成三种不同的软件栈和架构。此外,NPU 是功能固定的硬件,无法适应未来尚未发明的人工智能算法。

"相比之下,Semidynamics 重新发明了人工智能架构,并将这三个元素集成到一个单一、可扩展的处理元件中。如图 1 所示,我们将一个 RISC-V 内核、一个处理矩阵乘法的张量单元(扮演 NPU 的角色)和一个处理类激活计算的矢量单元(扮演 GPU 的角色)整合到一个完全集成的一体化计算元件中。我们的新架构不需要 DMA,使用基于 ONNX 和 RISC-V 的单一软件栈,并在三个元件之间提供直接的零延迟连接。因此,性能更高、功耗更低、面积更大、编程环境更简单,从而降低了总体开发成本。此外,由于张量和矢量单元由灵活的 CPU 直接控制,我们可以部署任何现有或未来的人工智能算法,为客户的投资提供了极大的保护。"


图 1 传统人工智能架构与 Semidynamics 全新一体化解决方案的比较

大型语言模型(LLM)已成为人工智能应用的关键要素。LLM 在计算上以自我关注层为主,详见图 2。如图 2 所示,这些层由五个矩阵乘法(MatMul)、一个矩阵转置(Transpose)和一个 SoftMax 激活函数组成。在 Semidynamics 的 All-In-One 解决方案中,张量单元(TU)负责矩阵乘法,而矢量单元(VU)则能有效处理 Transpose 和 SoftMax。由于张量单元和矢量单元共享矢量寄存器,因此在很大程度上避免了昂贵的内存拷贝。因此,从 MatMul 层到激活层之间的数据传输是零延迟和零能耗,反之亦然。为了使 TU 和 VU 持续工作,必须高效地将权重和输入从内存获取到矢量寄存器中。为此,Semidynamics 的 Gazzillion™ Misses 技术提供了前所未有的数据移动能力。通过支持大量的飞行中缓存缺失,可以提前获取数据,从而提高资源利用率。此外,Semidynamics 的定制张量扩展包括新的矢量指令,该指令针对二维瓦片的获取和转置进行了优化,大大提高了张量处理能力。

3.png
图 2 LLM 中的注意层

Semidynamics 使用 Semidynamics 的 ONNX Run Time Execution Provider 在其 All-In-One 元件上运行了完整的 LlaMA-2 7B 参数模型(BF16 权重),并计算了模型中所有 MatMul 层的张量单元利用率。结果如图 3 所示。结果按 A 张量形状汇总和展示。LlaMA-2 共有 6 种不同的形状,如图 2 中 x 轴标签所示。可以看出,大多数形状的利用率都在 80% 以上,与其他架构形成鲜明对比。结果是在最具挑战性的条件下收集的,即批量为 1 和第一个标记计算。作为对这些数据的补充,图 4 显示了大矩阵尺寸的张量单元效率,以展示张量单元和 Gazzillion™ 技术的综合效率。图 4 标注了 A+B 矩阵大小。我们可以看到,随着矩阵 N、M、P 维元素数量的增加,以 MB 为单位的总大小很快就超过了任何可能的缓存/抓板。图表中值得注意的一点是,无论矩阵的总大小如何,性能都能稳定地略高于 70%。这一令人惊讶的结果归功于 Gazzillion 技术能够在主内存和张量单元之间维持较高的数据流速率。

4.png

图 3 LlaMA-2 张量单元效率(按张量-A 形状排列

5.png
图 4 不同矩阵大小的 8 位矩阵(左侧)和 16 位矩阵(右侧)的张量单元利用率

Espasa 总结说:"我们的全新一体化人工智能 IP 不仅具有出色的人工智能性能,而且编程也更加简单,因为现在只需一个软件栈,而不是三个。开发人员可以使用他们已经熟悉的 RISC-V 栈,而且不必担心软件管理的本地 SRAM 或 DMA。此外,Semidynamics 还提供了针对 All-In-One AI IP 进行优化的 ONNX 运行时,使程序员能够轻松运行他们的 ML 模型。因此,我们的解决方案在程序员友好性和易于集成到新的 SOC 设计中方面向前迈进了一大步。我们使用 All-In-One 的客户将能够以更好、更易于编程的硅片形式将所有这些优势传递给他们的客户、开发人员和用户。

"此外,我们的 All-In-One 设计完全能够适应人工智能/ML 算法和工作负载的未来变化。这对于启动芯片项目的客户来说是一个巨大的风险保护,因为该项目在几年内都不会进入市场。当您的芯片进入批量生产时,您的人工智能 IP 仍然具有相关性,这是我们技术的独特优势。

Semidynamics www.semidynamics.com

Semidynamics® 成立于 2016 年,总部位于西班牙巴塞罗那,是唯一一家提供可完全定制的 RISC-V 处理器 IP 的公司,专注于针对机器学习和人工智能应用提供具有向量单元和张量单元的高带宽、高性能内核。该公司为私营企业,是 RISC-V 联盟的战略成员。

通过DeepL.com(免费版)翻译

文章来源于:ECCN    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>