网站seo自己怎么做,百度推广免费,南昌网站建设南昌吊车出租,专业的企业进销存软件比较好发现RBM 中的能量函数概念需要从Hopfield网络的角度理解#xff0c;于是找到
http://blog.csdn.net/roger__wong/article/details/43374343
和关于BM的最经典论文
http://www.cs.toronto.edu/~hinton/papers.html#1983-1976 一、限制玻尔兹曼机的感性认识 要回答这个问题大…发现RBM 中的能量函数概念需要从Hopfield网络的角度理解于是找到
http://blog.csdn.net/roger__wong/article/details/43374343
和关于BM的最经典论文
http://www.cs.toronto.edu/~hinton/papers.html#1983-1976 一、限制玻尔兹曼机的感性认识 要回答这个问题大概还要从神经网络说起。1人工神经网络artificial neural network一言以蔽之人工神经网络用于学习一个输入到输出的映射通常由三层组成输入层隐层和输出层。各层之间的每个连接都有一个权值人工神经网络的训练过程就是学习这个权值。典型的可以使用随机梯度下降法。2递归人工神经网络recurrent neural network递归人工神经网络的关键在于“递归”二字其表现为各节点可以形成一个有向环。可以看到递归神经网络和普通的人工神经网络最大不同为各隐层节点之间也可以相互联系了并组成有向环 的形式。递归神经网络的种类有很多上图所示为simple recurrent networks (SRN)。Hopfield网络也是一种递归神经网络。3玻尔兹曼机如图所示为一个玻尔兹曼机其蓝色节点为隐层白色节点为输入层。玻尔兹曼机和递归神经网络相比区别体现在以下几点1、递归神经网络本质是学习一个函数因此有输入和输出层的概念而玻尔兹曼机的用处在于学习一组数据的“内在表示”因此其没有输出层的概念。2、递归神经网络各节点链接为有向环而玻尔兹曼机各节点连接成无向完全图。4限制玻尔兹曼机限制玻尔兹曼机和玻尔兹曼机相比主要是加入了“限制”这不是废话么。所谓的限制就是将完全图变成了二分图。如图所示限制玻尔兹曼机由三个显层节点和四个隐层节点组成。限制玻尔兹曼机可以用于降维隐层少一点学习特征隐层输出就是特征深度信念网络多个RBM堆叠而成等。二、Hopfield网络及能量函数 再谈RBM之前必须说一下Hopfield网络。 Hopfield网络是一种循环型神经网络如下图 对于Hopfield神经网络来说当信号输入后各神经元的状态会不断变化最后趋于稳定或呈现周期性震荡。 假设神经元i连接其它神经元j的权重为w(i,j)则在Hopfield中有W(i,i)0即神经元不与自己连接W(i,j)W(j,i)即权重矩阵对称。 以上图所示假设输入的变量为a1,a2,a3,a4)而在每一轮t神经元i的状态用y(i,t)来表示再假设神经元激发函数为sigmod其中激发界用t(i)表示则容易得到以下递推式 y(i,0)sigmod(ai-t(i)) 公式1 这个公式什么意思呢简而言之就是这个神经元在下一轮是否激发依赖原始的输入和其它神经元的反馈输入这样整个神经元的状态就呈现一个随着时间进行变化的过程而如果权值给定、输入给定这个变化过程是确定的。 假设对于任意输入对于任意节点i我们在有限的时刻内能得到y(i,t1)y(i,t)我们就说这个神经网络是稳定的可以证明当神经元激发函数是有界连续的且神经网络各节点连接权重对阵则Hopfield网络一定是稳定的。 对于一个稳定的神经网络。 我们定义“能量”的增量为以下式子 则根据公式1可以推导出来节点j的能量增量是小于0的。如何证明考虑y取值只能是0或1再考虑sigmod函数特性很容易得到 所以我们就能把能量的增量再时间域上进行积分得到每个节点的能量再把所有节点的能量加起来看得到这个神经网络的能量。 推导出来的结果是这样子的 可以看到神经网络的变化过程实质是一个能量不断减少的过程最终达到能量的极小值点也就是稳态。 总结一下就是递归神经网络由于其结构特性神经元状态可随时间而变化将此过程可以抽象成能量递减过程变化最终会导致稳态此稳态为能量极小值点
