新版摩尔定律也要靠算力 英伟达称AI训练速度可再提高1万倍

发布时间:2023-02-28  

之父、Open公司CEO奥特曼(Sam Altman)周日在一条Twitter上写道:“新版很快就要来了,宇宙中的智能数量每18个月就会翻一倍。”

本文引用地址:

是英特尔联合创始人摩尔对半导体行业的预测,指芯片中的晶体管数量大约每两年翻一番,同时价格降一半。几年前,芯片巨头英伟达创始人CEO黄仁勋就曾表示:“已死。”

奥特曼的最新言论很快在社交媒体上发酵,但他没有具体解释所谓的“智能”(intelligence)到底是指什么,这也引发了业内的热烈讨论。

宇宙智能数量18个月翻番指什么?

“当(人脑之外的)另一个结构可以突破(神经元)总量限制时,智能的确会不断爆炸。”猎豹移动董事长傅盛在微信朋友圈中写道。他向第一财经记者解释称:“这里的智能应该指神经元参数。”

澜舟科技创始人CEO周明对第一财经记者表示,虽然神经元参数确实是可以数值化衡量的指标,但是过去几年里,神经元参数似乎并没有18个月就实现翻番。

“我认为Altman说的意思比较含糊,我个人的理解是,世界上的能力每18个月翻一倍,但怎么才算翻一倍,是增加新的能力的个数,还是已有能力的翻倍提升,他没有明确说明。”周明对第一财经记者表示。

第一财经记者就如何理解“智能”翻番向提问。首先问:“宇宙中智能数量每18个月翻一倍,这里的智能是指什么?”回答道:“声称宇宙中的智能数量每18个月翻番是没有科学依据的,因为智能不是一个可以用这种方式测量或量化的物理量,通常认为它是一个具有复杂特性的东西,不能简化为单个指标或者数值。”

当第一财经记者在提问中加入ChatGPT创始人奥特曼的名字,再问:“奥特曼所说的新版摩尔定律是指什么?”ChatGPT回答称:“新摩尔定律指的是奥特曼在2018年做出的关于快速发展及其能力呈指数级增长的预测。奥特曼表示,发展的速度目前正在超过摩尔定律。”

从ChatGPT的回答中可以看出,这一预测是奥特曼早在2018年就曾作出的,但当时Open的能力远不如今天,这一表态自然也未受到关注。

如今,奥特曼重新将他的“新版摩尔定律”抛出,背后是深度学习和的崛起。但不管ChatGPT如何强大,背后也离不开算力的支撑。

随着人类对于算力的要求越来越高,要满足新的高性能运算需求,芯片就需要不断迭代,成本也会随之增加。目前支撑包括ChatGPT大模型在内的95%用于机器学习的芯片都是英伟达的A100,该芯片的单价超过1万美元。

在上周英伟达的财报会议上,黄仁勋称,英伟达的GPU在过去的十年里将AI的处理性能提高了100万倍。英伟达现在希望将AI的训练速度提高至少1万倍。

研究机构Gartner分析师盛陵海对第一财经记者表示:“过去十年是AI发展从0到100的阶段,但是要从100到10000,是完全不同的场景。过去十年芯片的发展还遵循摩尔定律,但随着摩尔定律接近极限,未来计算机的能力要进一步提升越来越困难,除非量子计算能有大的突破。”

谁能颠覆人工智能“主力”A100?

根据研究机构New Street Research发布的一份报告,英伟达的A100目前已成为人工智能领域的“主力”,占据了用于机器学习的图形处理器市场95%的份额。

训练大型语言模型需要大量GPU,这些GPU还能进行“推理”。拥有热门AI产品的公司通常需要购买更多GPU来处理峰值期间的数据或用于模型的改进。例如,人工智能公司Stability AI公司过去一年购买的A100芯片数量增加到目前的5400个。Stability AI的软件用于图像生成器Stable Diffusion,使用256个A100芯片训练模型,训练总时长达20万个小时。

除了单个的A100芯片之外,英伟达还出售一个包含8个A100的服务器系统DGX,售价接近20万美元。根据机构测算,微软基于ChatGPT的人工智能搜索必应(Bing AI)需要超过2万台DGX服务器系统,才能使Bing的模型支持每个人的搜索,这表明该功能可能需要微软投资40亿美元的基础设施支出。

而谷歌每天进行近百亿次的搜索服务需要的服务器能力更大。根据New Street Research的技术分析师Antoine Chkaiban的预测,谷歌要满足所有人的搜索,需要在DGX上花费800亿美元。“这说明每个使用如此庞大的语言模型的用户都需要一台大型超级计算机。”Chkaiban在报告中写道。

但目前仅有大公司才有实力进行如此巨大的投资。为了让更多小公司能够使用英伟达AI的能力,英伟达正在拓展一种全新商业模式。黄仁勋在上周的财报电话会议中表示,未来将直接出售对DGX系统的云访问,从而降低小公司研究人员使用AI能力的入门成本。

在黄仁勋看来,英伟达提供的价值是将原来需要投入10亿美元运行CPU的数据中心缩减为仅用1亿美元就能搞定的数据中心,现在将该数据中心放在云端共享,意味着可以由100家公司来分担这一成本,因此每家公司支付的实际上是非常少的费用。“现在企业可以花一两千万来构建一个类似GPT的大型语言模型,这是可以支付得起的。”黄仁勋表示。

尽管英伟达并不是唯一一家生产用于人工智能GPU的公司,但根据研究机构State of AI的报告,截至去年12月,超过2万篇开源AI论文中都使用了英伟达的AI芯片,其中A100在2022年的使用量迅速增长,成为英伟达被使用第三多的芯片,仅次于其售价1500美元的游戏芯片。

目前能与A100的使用量竞争的仍然是英伟达去年量产的下一代人工智能芯片H100。这款芯片的售价更高,并且在截至今年1月的财季中,H100芯片的收入已经超过了A100。英伟达表示,H100是该公司推出的首款针对transformer架构进行优化的数据中心GPU,transformer正在越来越多地用于新的顶级人工智能应用程序,重要性日益凸显。

“H100采用了5纳米的制程,相比于A100的7纳米制程而言,H100的性能应该是显著优于A100的。”盛陵海对第一财经记者表示。

文章来源于:电子产品世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

    引擎和XMX计算引擎,车载显示能力可以同时支持8个独立的显示屏,支持同时4K分辨率显示。每秒浮点运算能力(FLOPS)相比集成显卡算力提升4倍,功耗为225W。最高可以在本地运行14B以上的模型,或同......
    CPU+NPU+GPU的异构计算架构,并支持将第三方小芯片集成。 其中,第一代锐炫ARC 760独立显卡,提供每秒浮点运算能力(FLOPS)相比集成显卡算力提升4倍,最高可以在本地运行14B......
    达229TOPS,搭配了16G的DDR6显存,每秒浮点运算能力相比集成显卡算力提升4倍;支持8块独立显示屏同时支持4K,并搭载Xe图形引擎及XMX计算引擎。 “我们将独立显卡带入汽车行业,这样......
    用于图形渲染。 此前沐曦联合创始人杨建透露,到 2025 年将推出融合了图形渲染的完整 GPU 产品。该公司推出主要用于 AI 推理的 MXN 系列(曦思 N100)也已经量产,单卡算力......
    还有一定差距,但在大模型训练这一块已跟英伟达 A100 芯片没有明显差距。特别是在万卡算力集群,包括鲲鹏云脑、科大讯飞这一块都经过了市场检验。” 据IT之家此前报道,去年 9 月举行的全连接大会 2023......
    N100是一款面向云端数据中心应用的推理GPU,内置MXN100异构GPGPU处理器以及HBM2E高带宽显存,单卡算力达160TOPS(INT8)和80TFLOPS(FP16),兼备......
    拉走入了纯视觉的道路。试图“干掉”雷达,只通过摄像头来获取路面信息,随后技术发展也陷入停滞。 而在特斯拉探索新路线的同时,却有另一家企业上演了“猛龙过江”,那就是英伟达。这家以显卡算力......
    个翻译赛道上荣获冠军。 作为大规模 AI 基础架构,NVIDIA DGX SuperPOD 具备完整、先进的基础架构。相较于原来的 V100 集群,DGX SuperPOD 除了在单卡算力......
    星火智能座舱丨科大讯飞确认申报2024金辑奖; 申请技术丨星火智能座舱 申报领域丨智能座舱 独特优势: 讯飞星火大模型是国内领先的自主可控大模型,基于全国首个国产万卡算力集群“飞星......
    一时间支持最新的大模型。” 支持端侧的分离式显卡 除了应用在数据中心训练/推理场景的AI产品之外,英特尔也支持对端侧AIoT领域的AI算力提升。例如,英特尔在显卡领域已经布局很多年,但此......

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>