Kinara推出Ara-2边缘AI 处理器,适用于服务器和笔记本

发布时间:2023-12-13  

Kinara推出Ara-2边缘AI 处理器,为边缘服务器和笔记本电脑提供高性能、经济高效且节能的推理,以运行视频分析、大型语言模型 (LLM) 和其他生成 AI 模型等应用程序。


Ara-2 还非常适合运行传统 AI 模型和具有基于 Transformer 架构的最先进 AI 模型的边缘应用程序。Ara-2 Edge AI 处理器具有体验式增强功能集,性能是第一代 Ara-1 处理器的5-8 倍以上,将实时响应能力与高吞吐量相结合,将其经过验证的延迟优化设计与完美平衡的性能相结合。片上存储器和高片外带宽能够以极低的延迟执行大型模型。


生成式人工智能总体上已经变得非常流行,但大多数相关应用程序都在数据中心的 GPU 上运行,面临着高延迟、高成本和隐私问题。为了克服这些限制并将计算能力真正交到用户手中,Ara-2 通过支持这些生成式 AI 模型使用的数十亿个参数,简化了向边缘的过渡。此外,为了无缝地促进从昂贵的 GPU 迁移到各种 AI 模型,Ara-2 中的计算引擎和相关的软件开发套件 (SDK) 专门设计用于支持高精度量化、动态调节的主机运行时,并直接支持 FP32。


“随着 Ara-2 添加到我们的处理器系列中,我们可以更好地为客户提供性能和成本选项,以满足他们的要求。例如,Ara-1 是智能相机以及具有 2-8 个视频流的边缘 AI 设备的适合方案,而 Ara-2 非常适合处理输入边缘服务器以及笔记本电脑的 16-32+ 视频流,另外还包括高端相机。”Kinara 首席执行官 Ravi Annavajjhala 说道。“Ara-2 通过使用其先进的计算引擎更快地处理更高分辨率的图像,并且精度显着提高,从而实现更好的对象检测、识别和跟踪。作为处理生成式 AI 模型的能力的一个例子,Ara-2 执行Stable Diffution速度可以达到10 秒生成一张图片,LLaMA-7B 的速度可以达到每秒数十个token。”


10 月,Ampere 欢迎 Kinara 加入人工智能平台联盟,其主要目标是降低系统复杂性,促进人工智能更好的协作和开放性,最终提供比 GPU 更好的总体性能以及更高的功耗和成本效率。Ampere 的首席布道师 Sean Varley 表示:“Kinara 的 Ara-2 的性能和功能集是朝着正确方向迈出的一步,有助于我们为行业带来比基于 GPU 的现状更好的人工智能替代方案。”


Ara-2 Edge AI 处理器还提供安全启动、加密内存访问和安全主机接口,使企业 AI 部署具有更高的安全性。Kinara 还通过全面的 SDK 支持 Ara-2,其中包括模型编译器和计算单元调度程序、灵活的量化选项(包括集成的 Kinara 量化器)以及对预量化 PyTorch 和 TFLite 模型的支持、多芯片负载均衡器系统和动态调节的主机。

Ara-2 可用作独立设备、USB 模块、M.2 模块和具有多个 Ara-2 的 PCIe 卡等多种形式。Kinara 将在 CES 上展示 Ara-2 的现场演示。


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>