微软为降低生成式人工智能运行成本开发 AI 芯片

发布时间:2023-04-26  

据 21ic 获悉,因为支持的 Open 的生成式聊天模型 ChatGPT 每天投入的运行成本高达 70 万美金,为了降低生成式人工智能模型的运行成本,微软正在开发一款代号为“Athena”的人工智能。

据悉,近日全球半导体行业研究公司 SemiAnalysis 首席分析师 Dylan·Patel 表示,由于 ChatGPT 运行在价格昂贵的计算基础设施之上,OpenAI 每天为运行 ChatGPT 投入的成本可能高达 70 万美金。

Dylan·Patel 表示,无论是撰写求职信、生成教学计划、帮助用户优化个人资料,还是基于事实或假设对事物进行判断分析,ChatGPT 均需要庞大的算力才能基于用户的输入信息做出反馈,而这部分成本都来自于昂贵的服务器。

Dylan·Patel 及其同事 Afzal·Ahmad 均认为,虽然训练 ChatGPT 背后的大语言模型可能要花费上亿美元,但其运营费用或其背后的内容生产成本会更高,即使采用任何合理的部署规模都远远超过了其训练成本。

近日传言微软为了降低生成式模型的运行成本正在开发一款代号为“Athena”的 AI 芯片。报道称该项目自 2019 年以来一直在生产中,并可供一小部分 Microsoft 和 OpenAI 员工进行测试。

微软之前与 OpenAI 达成了 10 亿美元的投资协议,要求 OpenAI 仅在微软的 Azure 云服务器上运行其模型。此前有消息称,因为短缺导致微软为一些内部团队配给 GPU。而英伟达的处理器售价很高,因此微软期望以相同工作负载的更便宜方式来运行。

除了强大的性能之外,英伟达的芯片还具有显着的软件优势,大部分 AI 工作负载都是为它们设计的,并且拥有数十年的开发人员经验。目前微软大约有 300 多名员工正在开发这款芯片。

消息人士称,该芯片最早可能在明年发布供微软和 OpenAI 内部使用,官方对此没有回复,但是否也让 Azure 客户使用还正在讨论中。谷歌开发了自己的 AI 芯片系列 TPU,是目前唯一开发 LLM 的竞争对手芯片,而亚马逊拥有自己的替代产品线 Trainium。

据悉,“Athena”基于 5nm 工艺节点,专为大型语言模型 (LLM) 等训练软件而构建,这些软件是近几个月出现的生成式 AI 激增的核心,但这些模型的增长一直受到 训练市场领导者英伟达GPU 短缺的困扰。

文章来源于:21IC    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>