从NN神经网络理解隐空间

发布时间:2023-03-24  


本文引用地址:

1   复习:创作力来源——

在2023 年1 月刊连载中,我们曾经说明在领域里,最近几个很红的图像模型,例如DALLE、Imagen 和Midjourney 等, 它们都是基于一种机制:扩散(Diffusion)。经由模型训练,操作(Latent space) 的向量,加上随机输入中合成新的数据,呈现出令人惊奇的创作,推动了AI 组合的创新或创作。这意味着,关于AI 的生成或创作,大多会涉及的操作。

现在先从一个基本问题出发,这个问题是:为什么AI会创作呢?由于当今的AI是基于ML( 机器学习),它会向人类学习。继续探索下去,它向人类学习什么呢?学习人类的做事和创物的经验直觉。经验直觉的逻辑是不清晰的,无法经由编程来写成代码。那我们该如何把人类的直觉智慧弄进机器(AI) 呢?

答案是:从人类的作品( 如绘画、音乐、文学作品、食谱、游戏、对话、网络文章) 中学习作品的形式、风格、情绪等。这些作品被放到网络上,皆成为大数据(Big Data)。于是,我们就拿这些大数据来给AI 学习,谓之训练(Training)。

AI 从人类作品中学习到人类专家( 创作者) 的招式(Patterns) 和风格(Style)。如同金庸武侠小说中的杨过、小龙女向大侠们学习了许多武功招式。经年累月,杨过和小龙女学而时习之,逐渐地在内心深处沉淀出招式背后的精华神韵,谓之无招秘境。

一样地,AI 经过几十天学习大量作品的创作招式和风格,逐渐地在AI 模型内部的秘境中沉淀出招式背后的精华神韵,这个AI 中的无招秘境,谓之隐藏空间(Latent Space),又简称隐空间。

武侠中说:无中生有,从无招中生出千变万化,无招胜有招。一样地,AI 也能从其无招秘境中的精华神韵,生出千变万化的新招式,也就是新作品、新内容(Content)。这种新创作新内容,就谓之(AI Generated Content)。

除了上述的AI 创作力来自隐空间之外,隐空间也将会是管理大量繁杂模型的利器。例如,可以预测到了2030年之际,AI 模型将更为百花齐放,繁杂多样,就会导致难以管理,使得管理成本急速升高。

就如同20 世纪八九十年代,经济生产全球化,码头上货物形形色色,繁杂多样,非常难管理,导致管理成本急速升高。于是集装箱(Container) 这个角色就应运而生,大货轮也出来了,陆地上拖车业也大发利市了。同样地,到了2030 年,AI 模型的集装箱角色就很可能会出来。

我认为,AI 的隐空间即将成为AI 的集装箱。而且在未来数年内,凡是力求掌握潜藏空间,致力于开发控制软件系统,来有效管理AI 货柜( 即潜藏空间) 者,将成为AIGC 时代的大赢家。

1679648078643657.png

图1

2   从NN模型深刻理解隐空间

首先从最简易的单层NN(Neural network) 模型出发。这种简单模型只含有一层权重(Weight),兹以图1 这样的NN 图形为例。

这个模型从X 空间对映到Z 空间。其含有两层(Layer) 神经元:左边的X 神经元是输入(Input) 层,而右边的Z 神经元,是输出(Output) 层。然而只有一层权重,所以通称为:单层NN 模型。接着,就可以继续扩大为两层NN 模型,如图2 所示。

1679648101495914.png

图2

这个NN模型里包含两层权重,所以称为:两层NN模型。这个中间层,又通称为:隐藏(Hidden) 层。它就是构成隐空间的核心机制。

3   观摩:以求职AI为例

大家常常听说求职法则是:钱多、事少、离家近。我们如何把这个简单法则纳入NN 模型里,让它就学会这项法则呢。此时,人们透过T 值来表达他( 她) 心中的规则。

例如有人的求职法则是:“钱多”比“事少”更重要,“事少”比“离家近”更重要。当然,有人比较在意“钱多”,也有人认为“离家近”更重要。人人心中的规则可能各不相同,各自可修改这表格里的数据,表达自己特别的规则,如表1。

表1 三种条件的关联性

1679648188649972.png

从这些数据可以看出来,这位人士心中的偏好是:“钱多”比“事少”更重要,“事少”比“离家近”更重要。只要给NN 模型一些训练,它就能认知到这位人士心中的规则了。虽然它听不懂人类的语言,也不需要写Python语言告诉它;只需要提供数据给它学习就可以了。

这个NN模型里的隐藏层,并没有使用Sigmoid()激活函数。一样地,只要按下这个< 两层一起学习>按钮,ML就会寻找出隐藏层的权重WH和BH,同时也寻找出输出层的权重W和B如表2。

表2 输出权重训练逻辑示意

1679648252465314.png

然后将输入层X空间,对映到隐藏层H空间,再对映到输出层的Z空间。于是得出H和Z预测值。例如,将X=[1, 1, 0] 经由两层权重的计算流程如图3所示。

1679648296561810.png

图3

最后计算出Z 值为:0.99。这就是典型的两层NN模型了。在训练的过程中,每一回合都会修正输出层的权重,也会修正隐藏层的权重。所以这两层权重是同步成长的。

4   多层的NN模型

刚才的范例是两层NN 模型,它只含有一个隐藏层(Hidden Layer)。有些情境下,常常1 个NN 模型里,需要含有更多个隐藏层,这种模型就通称< 多层NN 模型>,或称为< 深度NN 模型>。

例如,可以继续扩大上述的NN 模型,让它含有两隐藏层,兹以NN 图形表示如图4 所示。

1679648350860462.png

图4

在训练及预测过程中,将输入层X空间,对映到隐藏层H1空间,再对映到隐藏层H2空间,再对映到输出层的Z空间。在隐藏层H1和H2里, 仍然使用X *W+B=Y 公式来表达其对映关系;而在输出层则使用X*W+B=Y 和 Sigmoid(Y) =Z公式来表达其对映关系。并计算出在Z空间里的预测值,如图5。

1679648457986457.png

图5

此外,在许多情境里,常常需要建立更多个隐藏层,例如著名的ResNet 模型就多达数十个隐藏层,也是常见的多层深度NN 模型。而基于这种模型的机器学习,就通称为:深度学习(Deep Learning)。

5   结束语

以上介绍过了隐藏层(Hidden Layer) 的观念,位于这隐藏层的空间,就简称为:H 空间。其正式名称是:隐空间(Latent Space)。例如,在两层NN 模型里,其中的隐藏层(H 空间) 就是:隐空间。兹再复习一下,隐空间相当于金庸小说里武林大侠的< 无招> 境界。唯有高度掌握< 无招> 才能解释千变万化的招术。君不见,在AIGC领域里,AE、GAN和Diffusion等新潮技术,都是潜藏空间威力的表现。

(本文来源于《电子产品世界》杂志2023年3月期)

文章来源于:电子产品世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

    读取支票上的账号和存款金额的可靠方式接受银行存款。 病理学家依靠癌症检测应用的指导,根据细胞大小的均匀度、肿块密度、有丝分裂及其他因素将肿瘤分类为良性或恶性。 深度学习针对两层或三层连接的神经元层运作的神经网络称为浅层神经网络......
    像位于大脑表面下250微米深处的神经元钙荧光信号尖峰。他们发现,表面电信号与更深层的钙荧光信号尖峰之间存在相关性。这种相关性使研究人员能够使用表面电信号来训练神经网络,以预测不同深度的钙活动,包括多个和单个神经......
    开发出的设备端学习AI芯片原型(产品型号:BD15035)在人工智能技术的基础上,采用了庆应义塾大学松谷教授开发的“设备端学习算法(三层神经网络*4的AI电路)”。为了推出可以投放市场的产品,ROHM......
    开发出的设备端学习AI芯片原型(产品型号:BD15035)在人工智能技术的基础上,采用了庆应义塾大学松谷教授开发的“设备端学习算法(三层神经网络*4的AI电路)”。为了推出可以投放市场的产品,ROHM......
    开发出的设备端学习AI芯片原型(产品型号:BD15035)在人工智能技术的基础上,采用了庆应义塾大学松谷教授开发的“设备端学习算法(三层神经网络*4的AI电路)”。为了推出可以投放市场的产品,ROHM......
    仿人眼传感器捕获生动图像,有助推动人工视网膜技术发展;美国宾夕法尼亚州立大学科学家从大自然中汲取灵感,开发出一种新设备,可通过模仿人眼中的红、绿、蓝光感受器和神经网络来生成图像。他们......
    中的大量参数进行优化。反向传播算法,是适合于多层神经元网络的一种学习算法。相较于传统的差分求梯度,反向传播算法是一种非常有效的快速获取梯度优化神经网络的手段,可上百倍,甚至......
    分析算法进行缺失数据处理与影响因素分析,深入研究天气、工作日类型等影响因素与用电负荷的相关性;针对现有浅层神经网络电力负荷预测方法难于对负荷数据特征进行充分提取,限制了精度的问题,使用了融合CNN+LSTM+Attention 的多元混合神经网络......
    这些深度学习模型取得了许多历史性的成就和突破性的进展,例如手写数字识别、语音识别、图像分类等。理论上,只要浅层神经网络的隐含的神经元足够多,就能逼近任何一个多元非线性函数,然而这种浅层神经网络由于需要太多节点而无法实际应用。 目标......
    足在线实时检测的产线需求。 薄膜神经网络,百层膜厚检测的新路径 在深度学习领域,多参数神经网络的优化过程中,常常采用反向传播算法来对神经网络中的大量参数进行优化。反向传播算法,是适合于多层神经元网络......

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>