研华推出面向生成式 AI 的边缘 AI 服务器解决方案

发布时间:2024-07-16 16:27  

全球工业物联网厂商研华科技宣布,采用Phison的aiDAPTIV+专利技术,为生成式人工智能(Generative AI)提供开创性的边缘AI服务器解决方案。AIR-520 Edge AI Server采用AMD EPYC 7003系列处理器,集成了SQ ai100 AI SSD、NVIDIA RTX GPU卡、Edge AI SDK和NVIDIA AI Enterprise,提供了一个可立即部署的解决方案。

大型语言模型(LLM)等生成式AI工具正通过自动化数据组织、检索和分析改变企业知识管理,提高生产力并改善决策。定制大型语言模型(LLM)提高了准确性,而边缘训练则增强了数据隐私属性(成本相应提高)。该方案支持大型语言模型(LLM)微调配备1-4个显卡和SQ AI100 AI SSD,供企业经济高效地训练大型语言模型(LLM),同时保护边缘敏感数据安全。

pr-air-520_w1200h627

适用于不同应用的四种解决方案

对此研华提供四种选择:AIR-520-L13B/L33B/L70B和L70B-Plus,针对不同规模和应用量身定制。L13B非常适合聊天机器人和语言翻译提高生产力和内容创作创新能力。L70B擅长专业领域的复杂数据分析和决策。此外,L70B-Plus配备了NVIDIA AI Enterprise软件平台,提供端到端的、可靠的优化AI SDK,提供长期支持和专家咨询服务,保障业务场景中的高效部署。

安装简单快捷,优化成本效益

所有解决方案均包含SQ AI100 AI SSD,后者采用群联(Phison)aiDAPTIV+技术。此系列SSD充当显卡vRAM的扩展,使系统能够使用最少的显卡对大型语言模型(LLM)实现微调。这种方案不仅减轻了客户的预算负担,而且相比传统的大型机架式服务器,边缘AI服务器会更加紧凑。AIR-520边缘AI服务器专为各种边缘AI应用设计,尺寸与台式电脑相当,并且可以通过适当的附件安装在机架上。凭借轻薄的设计,该产品可以实现在边缘AI微调环境中的轻松部署,打消了客户在空间和维护上的忧虑。

通过软件服务快速跟踪生成式AI的开发

除了大型语言模型(LLM)微调功能外,研华还提供了带有生成式AI训练工作室的边缘AI SDK,预装了Llama-2 13B/33B/70B模型,用于聊天机器人和数据分析等应用。此举将简化并加速通过AIR-520进行客户专属大型语言模型(LLM)模型训练和推理评估工作的进程。此外,研华的DeviceOn提供OTA软件/容器更新和远程管理,促进高效的边缘AI编排和长期维护。

产品特性:

• 采用AMD EPYC 7003处理器的服务器级性能,提供多达64个内核、768GB DRAM和四个PCle x16扩展插槽
• 高达768GB DDR4 3200 DRAM
• 支持4个PCIe x16扩展插槽
• 集成1200W PSU,可为两块NVIDIA L40S图形卡供电

面向生成式AI的AIR-520边缘AI服务器方案早期样品现已推出。欲了解更多信息,请联系研华嵌入式服务专线400-001-9088或访问研华官网https://www.advantech.com.cn/zh-cn/products/65f20c25-f6ef-4ab5-be3c-b7dfa7a833b3/air-520-for-gen-ai-applications/mod_e28a5af4-e51a-406f-ba57-f26675c077e7。。

关于研华(Advantech)

研华成立于1983年,以“智能地球的推手”作为企业品牌愿景,一直专注于工业物联网、嵌入式物联网及智慧城市三大市场。为迎接AIoT与人工智能发展大趋势,研华以Sector Driven策略全面展开布署并聚焦七大产业,长期深耕行业市场,提升核心竞争力;同时,也以AIoT + Edge Computing边缘硬件平台产品群、工业物联网软件平台WISE-IoT,再加入产业AI解决方案及行业知识,融合成为产业整合应用的协同共谱之经营模式,以协助伙伴客户串接产业链。研华业务分布全球27个国家,拥有近8,800名员工,以强大的技术服务及营销网络,为客户提供本土化响应的便捷服务。此外,研华积极推进产业伙伴共创,加速AIoT生态圈布建与发展。
(公司网址:www.advantech.com.cn)

关于研华IoT嵌入式平台事业群(EIoT , Advantech Embedded IoT Group)

研华嵌入式物联网平台事业群提供全系列嵌入式计算机板卡、智能系统、外围模块、软件服务经销以及客制化设计导入服务,涵盖全产品研发设计、制造与全球销售与服务,并专注垂直产业发展。为迎接物联网、大数据与人工智能的发展,我们还提供从边缘运算(EdgeComputing)到云服务(Cloud Services) 的物联网整合解决方案,包含AIW无线解决方案、IoT Gateway 网关、EIS边缘智能服务器及WISE-PaaS/DeviceOn智能化设备维运管理软件、WISE-PaaS物联网软件平台及主流第三方云服务平台,更针对人工智能应用推出一系列Edge AI模块,推理系统及产业解决方案,专注产业物联网解决方案开发及区域深耕。(服务专线/QQ:400-001-9088)

关于研华(Advantech)

研华成立于1983年,以“智能地球的推手”作为企业品牌愿景,一直专注于工业物联网、嵌入式物联网及智慧城市三大市场。为迎接AIoT与人工智能发展大趋势,研华以Sector Driven策略全面展开布署并聚焦七大产业,长期深耕行业市场,提升核心竞争力;同时,也以AIoT + Edge Computing边缘硬件平台产品群、工业物联网软件平台WISE-IoT,再加入产业AI解决方案及行业知识,融合成为产业整合应用的协同共谱之经营模式,以协助伙伴客户串接产业链。研华业务分布全球27个国家,拥有近8,800名员工,以强大的技术服务及营销网络,为客户提供本土化响应的便捷服务。此外,研华积极推进产业伙伴共创,加速AIoT生态圈布建与发展。
(公司网址:www.advantech.com.cn)

关于研华IoT嵌入式平台事业群(EIoT , Advantech Embedded IoT Group)

研华嵌入式物联网平台事业群提供全系列嵌入式计算机板卡、智能系统、外围模块、软件服务经销以及客制化设计导入服务,涵盖全产品研发设计、制造与全球销售与服务,并专注垂直产业发展。为迎接物联网、大数据与人工智能的发展,我们还提供从边缘运算(EdgeComputing)到云服务(Cloud Services) 的物联网整合解决方案,包含AIW无线解决方案、IoT Gateway 网关、EIS边缘智能服务器及WISE-PaaS/DeviceOn智能化设备维运管理软件、WISE-PaaS物联网软件平台及主流第三方云服务平台,更针对人工智能应用推出一系列Edge AI模块,推理系统及产业解决方案,专注产业物联网解决方案开发及区域深耕。(服务专线/QQ:400-001-9088)

文章来源于:ECCN    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>