【导读】最近,以ChatGPT为首的生成类模型已经成为了人工智能的新热点,硅谷的微软、谷歌等都纷纷大举投资此类技术(微软100亿美元入股ChatGPT背后的OpenAI,谷歌也于近日发布了自研的BARD模型),而在中国以百度等为代表的互联网科技公司也纷纷表示正在研发此类技术并且将于近期上线。
以ChatGPT为代表的生成类模型有一个共同的特点,就是使用了海量数据做预训练,并且往往会搭配一个较为强大的语言模型。语言模型主要的功能是从海量的现有语料库中进行学习,在经过学习之后可以理解用户的语言指令,或者更进一步根据用户的指令去生成相关的文字输出。
生成类模型大致可以分成两大类,一类是语言类生成模型,另一类是图像类生成模型。语言类生成模型以ChatGPT为代表,如前所述其语言模型不仅可以学习理解用户指令的意义(例如,“写一首诗,李白风格的”),而且在经过海量数据训练之后,还能够根据用户的指令生成相关的文字(在上例中就是写一首李白风格的诗)。这意味着ChatGPT需要有一个足够大的语言模型(Large Language Model,LLM)来理解用户的语言,并且能有高质量的语言输出——例如该模型必须能理解如何生成诗歌,如何生成李白风格的诗歌等等。这也意味着语言类生成式人工智能中的大语言模型需要非常多的参数,才能完成这类复杂的学习并且记住如此多的信息。以ChatGPT为例,其参数量高达1750亿(使用标准浮点数的话会占用700GB的存储空间),其语言模型之“大”可见一斑。
另一类生成类模型是以扩散模型(Diffusion)为代表的图像类生成模型,典型的模型包括来自OpenAI的Dalle,谷歌的ImaGen,以及目前最热门的来自Runway AI的Stable Diffusion。这类图像类生成模型同样会使用一个语言模型来理解用户的语言指令,之后根据这个指令来生成高质量的图像。与语言类生成模型不同的是,这里使用到的语言模型主要用语理解用户输入,而无需生成语言输出,因此参数量可以小不少(在几亿数量级),而图像的扩散模型的参数量相对而言也不大,总体而言参数量大约在几十亿数量级,但是其计算量并不小,因为生成的图像或者视频的分辨率可以很高。
生成类模型通过海量数据训练,可以产生前所未有的高质量输出,目前已经有了不少明确的应用市场,包括搜索、对话机器人、图像生成和编辑等等,未来可望会得到更多的应用,这也对于相关的芯片提出了需求。
ChatGPT有望助力高性能GPU等发展
作为人工智能深度发展到一定阶段的产物,ChatGPT对芯片算力需求极高,高性能GPU等产品有望从中受益。
业界指出,自然语言类AI应用底层算力芯片以高性能GPU为主,在该类芯片中英伟达占据主要市场。据悉,ChatGPT已导入了至少1万颗英伟达高端GPU。花旗银行分析,ChatGPT可能会在未来12个月内为英伟达带来30亿美元至110亿美元的销售额。
另一大芯片厂商AMD在今年CES上展示了下一代面向数据中心的APU产品Instinct MI300,计划下半年推出。Instinct MI300采用chiplet设计,拥有13个小芯片,晶体管数量高达1460亿个,超过了英特尔的1000亿晶体管的Ponte Vecchio,成为了AMD投入生产的最大芯片。AMD表示,Instinct MI300可以将ChatGPT和DALL-E等超大型AI模型的训练时间从几个月减少到几周,从而节省数百万美元的电力。
随着ChatGPT概念持续火热,国内AI芯片厂商同样有望受益。除此之外,由于ChatGPT依赖非常大量的算力(芯片)来支持其训练和部署,目前ChatGPT在应用时仍需要大算力服务器支持,这也有望间接带动服务器内存发展。
英伟达是ChatGPT热潮最大受益者
英伟达是此次ChatGPT热潮的最大受益者,因为英伟达用于服务器的AI芯片对于超大型AI 模型的学习和推理至关重要,几乎垄断全球服务器用AI芯片市场。
Open AI表示,ChatGPT 是与英伟达和微软合作完成的超级AI。 准确地说,微软已经与英伟达合作,在其云(Azure HPC Cloud)中构建了由大量AI芯片组成的超级计算机(HPC)集群,并将其提供给OpenAI。
据了解,用于 ChatGTP 学习和推理的超级计算机拥有 285000个CPU(中央处理器)内核和10000多颗AI芯片。事实上,如果你问ChatGPT是如何学习的,它会回答,“它正在使用英伟达AI芯片学习和执行。”
OpenAI CEO Sam Altman表示,ChatGPT处理用户查询的每笔成本约为2美分。这是引入和使用英伟达AI芯片所需的成本。如果ChatGPT用户数量增加,云和AI芯片的使用将不可避免地增加,这将增加英伟达的销售额和营业利润。
研究人员Uh Gyu-jin表示:“如果说游戏对英伟达的增长作出了贡献,因为高性能GPU被用来驱动现有的高端游戏,那么最近数据中心销售的增长是急剧的,因为GPU已被用作数据中心加速器。”随着超大型人工智能的需求增加,英伟达的销售额和营业利润有望获得大幅增长。
投资者也注意到了这一点,并将英伟达列为ChatGPT热潮的最大受益者。花旗集团分析师Atif Malik预估,ChatGPT可能会在未来12个月内为英伟达带来30亿美元至110亿美元的销售额。
事实上,从今年开始,英伟达在数据中心领域的销售额有望首次超过游戏,占比达到57%。随着人工智能概念被引入数据中心,其销售额占比将大幅提升。特别是在应用人工智能深度学习技术时,收集和分析大规模信息的云服务必须得到有效管理。因此,英伟达GPU安装在需要深度学习技术的地方越来越多,例如,提供云服务的亚马逊、微软、IBM和阿里巴巴。
英特尔和AMD等其他半导体公司也生产用于服务器的AI芯片,但没有英伟达AI芯片并行处理技术(CUDA)的优势,它们的市场份额仅个位数;而苹果、高通等都专注于为智能手机、平板电脑和物联网等边缘设备开发AI芯片,因此英伟达有望在服务器用的AI芯片领域继续占据主导地位。
HBM需求攀升利好三星、SK海力士
英伟达GPU搭载了包括高带宽存储器(HBM)在内的大量DRAM。三星电子、SK 海力士、美光等有望直接或间接受益于英伟达AI芯片需求的快速增长。因为AI半导体需要“HBM3”才能学习和推理,而 AI芯片仅用于推理需要“GDDR6”和“GDDR7”存储器。
ChatGPT等AI聊天机器人执行大量计算的时候需要高性能和大容量内存的支持。随着AI聊天机器人服务市场爆发,对内存的需求将会增加。三星电子和 SK 海力士一致认为,“ChatGPT 等AI聊天机器人服务中长期将对内存半导体市场产生积极影响。”
三星电子指出, HBM数据处理速度比DRAM快,为GPU和人工智能加速器提供数据的高性能高带宽内存 (HBM) 的需求将会扩大。从长远来看,随着AI聊天机器人服务的扩展,对用于CPU的128GB 或更大容量的高性能 HBM 和高容量服务器 DRAM 的需求预计会增加。
SK海力士解释说,从内存的角度来看,AI聊天机器人需要高性能的DRAM和高性能的计算存储设备,可能加快市场重心转向大容量服务器内存的时间。SK海力士提到,服务器内存从64GB迁移到128GB的速度可能更快。
HBM可以消除 CPU、GPU 和内存之间的性能差距造成的瓶颈,补充了现有 DRAM 的局限性,被认为是一种具有前景的下一代内存产品。CPU和GPU的性能每年都在大幅提升,但支撑它们的内存半导体性能却一直相对滞后,HBM 作为替代方案应运而生。目前,通过与中央处理器 (CPU) 和图形处理器 (GPU) 配对,可以明显提高服务器性能的HBM订单正在明显增加。今年第一季度,HBM供应商三星电子、SK海力士相关业务咨询呈指数级增长。特别是SK海力士,客户的需求电话纷至沓来。一位业内人士透露,“目前,英伟达在大部分服务器 GPU产品中都使用 SK 海力士HBM3”。
HBM唯一缺点是价格高。HBM尽管性能出色,但平均售价至少比最高性能的 DRAM 高出三倍,因为生产过程复杂且需要高水平的工艺。HBM2价格是16Gb DRAM的两倍多,SK海力士HBM3价格已飙升了五倍。从存储半导体企业的角度来看,HBM是一个高附加值领域,供应量越大,利润率就越高。
来源:贤集网
免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理。
推荐阅读: