5月12日我们在朋友圈里发表了“论中美在人工智能领域的差距”的评论中我们首次提出目前以Transformer算法为核心的自然语言处理的生成式AI,在取得突破性的应用成果的同时,由于Transformer算法没有摆脱人工神经网络的图灵机不可解的NP问题的绑架,因此超大模型的计算引起了能源的危机的社会的热议。针对注意力机制的计算,巨大的矩阵乘法不是唯一的解,因此可以通过逻辑推理模型可以线性的求解,通过低能耗就可实现目前的生成式AI的应用效果。
本文引用地址:果不其然来自加州大学圣克鲁兹分校等机构的研究者证明了 “MatMul 操作可以完全从 LLM 中消除,同时在十亿参数尺度下保持强大的性能。”
这给还在追求大模型的生成式AI的研究者一个启示,不能盲目的照抄,跟随的结果只能证明自己的愚昧!要有敢于同被世界关注的算法对抗的意识!要善于走自己的路,才会有深刻的造诣!
附:
中美人工智能领域的差距实际有多大?
中国嵌入式系统产业联盟
通用人工智能AGI专委会
主任顾泽苍 于5月12日
从现在开始我想聊一聊大家最关心的这个题目。
谈到中美两国在AI领域的差距时我想绝大多数人都会认为我们一定是落后于美国。这种观念是无可非议的。从本次AI高潮主流算法的深度学习模型就是美国的,当今的基础大模型的发展来看,确实也是美国遥遥领先。
在这种情况下我国的研究人员感到无能为力!那么必定我国的AI就一定赶不上美国吗?
我认为要赶上美国首先就要调整我们的创造意识!AI的思路被美国牵引着,跟随美国的AI模型的发展,我们就不可能超越美国!
比如深度学习模型,依靠深度神经网络的学习,可以提高识别精度,这已经被业界认可了。但是,深度神经网络的效率极低,无功消耗极大!这种模型出自于连接主义的神经网络学派,是被数学上的NP问题所绑架。
事实上应用效果的好坏与网络连接的规模无关。
无需复杂链接,依靠高智慧密度的训练数据,依靠把握被识别对象的真实的物理世界的全貌,依靠核函数的高维平面分类,依靠概率尺度自组织可对被识别的数据的进行最大概率的选择,可以做到如同人类识别物体那样一回生二回熟越识别精度越高。这样的属于AGI时代的自动机器学习模型自然会遥遥领先于目前的深度学习模型的。
那么目前流行的生成式AI一定要消耗巨大的能源吗?其实,从理论上讲根本不需要!
还在被机器学习模型束缚的Transformer算法,在NLP上比起把类似的单词捆绑在一起通过深度学习训练出词向量的算法相比具有突破性的进步。但是,NLP的处理不像模式识别那样需要具有很好的泛化能力,从网络上训练的相同语意的单词的频率的大小是相对确定性的,语言的语法关系也是相对确定性的,因此不需要做到模式识别所需要的泛化能力。特别是在两个矩阵的之间注意力机制的计算通过矩阵乘法才能获得,这是很笨的方法。生成式AI的效果完全取决于所训练出的语言数据的参数的多少!因此回避复杂连接的神经网络,使用低能耗的逻辑推理模型照样可以训练出超越传统生成式AI的数据参数的数量,一定可以获得接近人的大脑的功耗,而超越大模型的生成式AI的效果!从生成式AI的机理上搞清楚了就一定可以成功的。
仅举如上的两个例子足以说明,只要我们改变思路就一定可以超越美国的AI水平。
特别是神经网络学派坚持复杂连接,这是愚蠢的违背科学的,必然走不下去的,美国推崇的生成式AI仅仅一个自然语言的应用就出现能源危机,这是违背科学的结果。我们只要坚持科学的方法论,闷头走自己的路,当美国的AI领域研究者发现自己走不下去的时候,我们已经在AGI的时代里奋勇直前。