全球首款Transformer专用AI芯片Sohu发布

发布时间:2024-06-27  

6月26日消息,据媒体报道,美国新兴的芯片创业公司Etched发布其首款——Sohu。

这款芯片在运行大型模型时展现出了惊人的性能,其速度超越了行业巨头的H100高达20倍,即便是与今年3月才面世的顶尖芯片B200相比,Sohu也展现出超过10倍的优越性能。

Sohu芯片的最大突破在于它直接将Transformer架构嵌入芯片内部。据Etched公司负责人Uberti透露,Sohu采用了台积电的先进4纳米工艺制造,不仅在推理性能上远超GPU和其他通用人工智能芯片,更在能耗控制上达到了新的高度。

对于Transformer技术而言,Sohu无疑是目前市场上最快的芯片,其性能与其他产品之间存在显著的量级差异。值得一提的是,当前主流的AI产品如ChatGPT、Claude、Gemini和Sora等,均基于Transformer架构驱动。

作为世界上首款Transformer ASIC(应用型专用集成电路)芯片,Sohu的集成应用更是令人瞩目。据测试,一台配备8块Sohu芯片的服务器,其性能足以媲美160块H100 GPU的集群。

具体而言,集成8块Sohu芯片的服务器每秒能够处理高达50万的Llama 7B tokens,这一数据在业界堪称前所未有。

而打造这款杰出芯片的Etched公司,位于美国加州的库比蒂诺,尽管成立仅两年,团队规模也仅有35人,但其创始人——哈佛辍学生Gavin Uberti(前OctoML和前Xnor.ai员工)和Chris Zhu,与资深技术专家Robert Wachen和前赛普拉斯半导体公司首席技术官Mark Ross共同领导,已经成功研发出这款专为大模型AI设计的芯片,展现了其强大的技术实力和无限潜力。

文章来源于:21IC    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>