一种名为NeuRRAM的节能修复了一个旧有的计算机设计缺陷,可在较小的设备上运行大规模的算法,达到与相当耗能的数字计算机同样的精度。
我们许多人知道,人工智能近年来得到长足的发展,取得越来愈广泛的应用。但是,有个发展的瓶颈,那就是人工智能算法不可能以其目前的速度继续增长。像深度神经网络这样的算法,它受到大脑的启发,多层人工神经元通过称为权重的数值相互连接,其规模在日益庞大。如今,硬件的改进已经跟不上运行这些大规模算法所需的巨大内存和处理能力的步伐。
而且,即使可以不断扩大硬件规模以满足人工智能的需求,还有一个问题是:在传统计算机上运行会浪费大量的能源。运行大型人工智能算法所产生的高碳排放已经对环境造成有害影响,而且随着算法的日益庞大,情况只会变得更糟。
一种被称为神经形态计算的解决方案,从生物大脑中获得灵感,创造出节能的设计。这些芯片可以在节约能源方面超过数字计算机,但问题是:缺乏运行一个相当大的深度神经网络所需的计算能力。所以这个神经形态计算的解决方案在提出后一直没有受到重视。
在NeuRRAM芯片中,硅神经元被内置到硬件中,而阻变式存储单元存储权重代表神经元之间连接强度的值。而且,由于NeuRRAM存储单元是模拟的,它们所存储的权重代表了设备在低电阻状态和高电阻状态之间切换时发生的全部电阻状态范围。这使得能源效率甚至高于数字阻变式存储所能达到的水平,因为这种芯片可以并行运行许多矩阵计算,而不是像数字处理版本那样一个接一个地同步进行。
加速推动新型硬件的发展
大型芯片制造商并没有停滞不前。三年前,英特尔收购了以色列芯片制造商哈瓦那实验室,并让这家企业成为其人工智能开发工作的重点。
哈瓦那去年春天推出的Gaudi2训练优化处理器和Greco推理处理器,据称速度至少是英伟达旗舰处理器A100的两倍。
今年3月,英伟达推出了拥有800亿个晶体管的H100加速器GPU,并支持该公司的高速NVLink互连。它具有一个专用引擎,与上一代相比,它可以将自然语言处理中,使用的基于Transformer的模型的执行速度提高六倍。最近使用MLPerf基准的测试显示,在大多数深度学习测试中,H100优于Gaudi2。英伟达也被认为在其软件堆栈中具有优势。
许多用户选择GPU,因为他们可以进入集中式软件的生态系统,英伟达之所以如此成功,是因为他们建立了生态系统战略。
超规模云计算公司甚至比制造商更早进入这一领域。谷歌有限责任公司的Tensor处理单元是一种专用集成电路,于2016年推出,目前已经是第四代。亚马逊网络服务公司在2018年推出了面向机器学习的推理处理加速器,声称其性能是GPU加速实例的两倍多。
CPU执行低级操作,如管理文件和分配任务,但纯粹的CPU专用方法不再适用于扩展,CPU设计用于从打开文件到管理内存缓存的各种活动,必须是通用的。这意味着它不太适合人工智能模型训练所需的大规模并行矩阵算术运算。
市场上的大多数活动都围绕着协处理器加速器、专用集成电路,以及在较小程度上可以针对特定用途进行微调的现场可编程门阵列。
每个人都在遵循谷歌的说法,即开发协同处理器,与CPU协同工作,通过将算法硬编码到处理器中,而不是作为软件运行,来针对AI工作量的特定部分。
世界第一的应用国家,迈向世界领先的新时代。在2016年制定的《第五期科学技术基本计划(2016-2020)》(简称社会5.0)提出以人工智能作为实现超智能社会的核心,目标把网络安全技术、物联网系统构建技术、大数据分析技术、人工智能技术器件工艺学、边缘计算机技术列为研发重点,并在同年颁布的《日本再兴战略》中通过设立“人工智能战略会议”,进行国家层面的综合管理。2017年,日本又先后制定了《人工智能的研究开发目标和产业化路线图》《人工智能技术战略》和《科学技术创新综合战略2017》三项政策,确保日本的人工智能产业发展及技术应用,努力实现社会5.0。
人工智能在未来必将成为各国竞争的重点,对经济的发展、产业的变革、技术的提升、商业模式改变及改善用户体验效果都具有重要的意义,特别是对于新兴经济体实现对发达国家的经济赶超具有重要意义,越早进入这一领域,就可以成为产业规则的制定者,对未来产业及经济的发展拥有更多的主导权及话语权。
相关文章