在富岳超算上训练大模型,日本联合研究团队发布 Fugaku-LLM

发布时间:2024-05-11  

5 月 11 日消息,由多方企业和机构组成的日本联合研究团队昨日发布了 Fugaku-LLM 大模型。该模型的最大特色就是其是在 Arm 架构超算“富岳”上训练的。

Fugaku-LLM 模型的开发于 2023 年 5 月启动,初期参与方包括富岳超算所有者富士通、东京工业大学、日本东北大学和日本理化学研究所(理研)。

而在 2023 年 8 月,另外三家合作方 —— 名古屋大学、CyberAgent(也是游戏企业 Cygames 的母公司)和 HPC-AI 领域创企 Kotoba Technologies 也加入了该模型研发计划。

在昨日发布的新闻稿中,研究团队表示其充分挖掘了富岳超算的性能,将矩阵乘法的计算速度提高了 6 倍,通信速度也提升了 3 倍,证明大型纯 CPU 超算也可用于大模型训练。

Fugaku-LLM 模型参数规模为 13B,是日本国内最大的大型语言模型。

其使用了 13824 个富岳超算节点在 3800 亿个 Token 上进行训练,其训练资料中 60% 为日语,其他 40% 包括英语、数学、代码等部分。

该模型的研究团队宣称 Fugaku-LLM 模型可在交流中自然使用日语敬语等特殊表达。

具体到测试成绩上,该模型在日语 MT-Bench 模型基准测试上的平均得分为 5.5,排在基于日本语料资源的开放模型首位,并在人文社科类别中得到了 9.18 的高分。

目前 Fugaku-LLM 模型已在 GitHub 和 Hugging Face 平台公开,外部研究人员和工程师可在遵守许可协议的前提下将该模型用于学术和商业目的。


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>