我的网站不做推广 百度能搜索到我网站吗,济宁seo公司,青岛seo服务哪家好,宁波网站推广优化公司怎么样1. 介绍
这份教学包是针对那些对人工神经网络#xff08;ANN#xff09;没有接触过、基本上完全不懂的一批人做的一个简短入门级的介绍。我们首先简要的引入网络模型#xff0c;然后才开始讲解ANN的相关术语。作为一个应用的案例#xff0c;我们解释了后向传播算法#x…1. 介绍
这份教学包是针对那些对人工神经网络ANN没有接触过、基本上完全不懂的一批人做的一个简短入门级的介绍。我们首先简要的引入网络模型然后才开始讲解ANN的相关术语。作为一个应用的案例我们解释了后向传播算法毕竟这一算法已经得到广泛应用并且许多别的算法也是从它继承而来的。
读者应该已经了解线性代数相关知识也能解决一些函数和向量问题如果掌握微积分知识更好但不是必须的。这份教学包的内容对一名高中毕业生来讲就已经能理解了。同时对那些对ANN感兴趣或者想加深理解的人来说也是很有益处的。因此如果读者能全部看完这边教学包应该对ANN的概念有个清楚的理解。另外对那些想运用后向传播算法但又对晦涩难懂的公式细节不想深入理解的读者来讲这份教学包你选对了这份包不应看做是网络上的科普读物但也不是一篇枯燥的研究论文。为了简洁许多公式都删除了具体细节的解释和演示在后面的参考书目里读者可以深入学习。书中的练习章节是用来测试读者对理论知识的掌握程度的。作为对教学包的补充列出了一些在线资源供读者网上学习。
2. 网络
复杂问题的有效解决方法就是“分而治之”。为了理解的目的可以把复杂系统分解成一些简单的元素。同样简单的元素也可集成为复杂系统[Bar Yam, 1997]。网络就是一种可以达到这种目的的方法。虽然网络的类型成千上万但网络的基本元素是固定的一系列的结点和连接结点之间的线。
这些点可以看做是运算单元。它们接受输入、处理输入、获得输出。有些处理过程可能就像计算输入总和这么简单也有些可能会复杂一点比如一个结点可能嵌入了另一个网络。
结点之间的连线决定了结点之间的信息流动。它们可能是单向的连线的两个结点只能单向流动也有可能是双向的连线上的两个结点是相互流动的。
各结点通过连线相互交互产生了全局网络行为这种行为只通过网络的基本元素是不可能观察到的称这全局行为是“新显”。也就是说紧随着网络元素而来的网络能力使网络成为了一个强大有效的工具。
物理学、计算机科学、生物化学、行为学、数学、社会学、经济学、电信和许多别的领域网络已经被应用于建立基于各自领域的模型。这是因为许多系统本身就可以看做是一个网络比如蛋白质、计算机、通讯等等。想想还有哪些别的系统也可以看做网络为什么
3. 人工神经网络
有一种类型网络把各个结点看做是“人工神经元”这种网络就叫做“人工神经网络”Artificial Neural Networks。人工神经元就是受自然神经元静息和动作电位的产生机制启发而建立的一个运算模型。神经元通过位于细胞膜或树突上的突触接受信号。当接受到的信号足够大时超过某个门限值神经元被激活然后通过轴突发射信号发射的信号也许被另一个突触接受并且可能激活别的神经元。 人工神经元模型已经把自然神经元的复杂性进行了高度抽象的符号性概括。神经元模型基本上包括多个输入类似突触这些输入分别被不同的权值相乘收到的信号强度不同然后被一个数学函数用来计算决定是否激发神经元。还有一个函数也许是不变就是复制计算人工神经元的输出有时依赖于某个门限。人工神经网络把这些人工神经元融合一起用于处理信息。 权值越大表示输入的信号对神经元影响越大。权值可以为负值意味着输入信号收到了抑制。权值不同那么神经元的计算也不同。通过调整权值可以得到固定输入下需要的输出值。但是当ANN是由成百上千的神经元组成时手工计算这些权值会变得异常复杂。这时就需要一些算法技巧。调整权重的过程称为“学习”或者“训练”。
ANN的类型和使用方式也有很多种。从McCulloch和Pitts1943建立第一个神经元模型起已经产生了几百个不同的也被称为ANN的模型。这些模型之间的不同 也许是功能不同、也许是接受值和拓扑结构不同、也许是学习算法不同等等。同时也有一些混合模型这些模型里的神经元有更多在上文中没有提到的属性。由于文章篇幅的原因我们只讲解使用后向传播算法学习的ANNRumelhart and McClelland1986来学习合适的权值这种ANN是所有ANNs里最通用的模型并且许多模型都是基于它的。
由于ANNs是用来处理信息的自然它被应用在与信息相关的领域。有许多的ANNs就是对真实神经元网络进行建模用来研究动物和机器的行为与控制但是也有许多是用于工程的比如模式识别、预测、数据压缩。
3.1 练习
这个练习的目的是熟悉人工神经网络的概念。建立一个包含四个人工神经元的网络。在网络中两个充当接受信号的输入端另外两个充当发射信号的输出端。 每一个箭头都有一个权值代表信息流的强度这些值和通过箭头的信号值相乘表示对信号的增强和衰减这个网络上的神经元只是简单的把所有输入到该神经元的信号求和。由于这里的输入神经元上只有一个输入值因此这个神经元的输出也只是输入的权值与输入的信号相乘的结果。如果权值是负值会发生什么如果是零呢
处于输出层的每个神经元都接受到了来至输入层神经元的输出信号这些输出层神经元把收到的信号乘以各自的权值再求和作为自身的输出。输出信号再被权值相乘作为整个网络的输出。
现在把这些权值全都置为1意味着信息流上的信号不会收到影响。请分别计算在下列不同输入的条件下网络的输出是什么输入值1,11,00,10,0-1,1-1-1。
很好现在在0.5,0-0.5中选择权值并且随机放在网络的任意权值处。输入值和上面的一样请计算输出值。改变一些权值看看网络的行为发生了怎样的变化。哪些权值具有举足轻重的作用也就是说改变这个权重值网络的输出会发生较大变化
现在假如我们需要这样的一个网络它可以把输入值的顺序进行调换例如0.3,0.7-0.7,0.3。试一下怎么设置权值
这很简单的。还有一个简单的网络只是把输入加倍输出。你也可以试一试。
现在给神经元设置门限值。神经元之前的输出值如果大于神经元的门限值这个神经元的输出值就为1否则为0。对现存的网络设置门限看看这些网络的行为发生了什么改变。
现在假设我们有这样的网络输入层神经元只接受0和1。调整权值和门限使网络的第一个输出值是网络输入的“逻辑与”运算输入值都为1时输出值才为1否则为0使网络第二个输出的值是网络输出的“逻辑或”运算输入值都为0时输出值才为0否则为1。你会发现满足此种要求的网络不止一种。
现在虽然调整这么小的网络的权值轻而易举但是这个网络具有的能力也是渺小的。如果我们需要一个包含上百个神经元的网络为得到需要的输出值你怎么调整这些权值有许多种方法可以使用我们将探索最通用的一种。
4. 后向传播算法
后向传播算法Rumelhart and McClelland1986是应用在分层前馈式ANN上的一种算法。这就意味着人工神经元是根据不同层次来组织划分的并且是通过前向方式发送信号的然后把错误率通过反馈方式传播给后向上的神经元。网络通过位于输入层input layer的神经元收集输入信号网络的输出值是通过位于输出层output的神经元给出的。可能存在一层或者多层的中间隐藏层hidden layers。后向传播算法使用监督学习也就是说我们给这个算法提供了输入值和本来想让计算的输出值然后计算出误差真实值和计算值之间的误差。后向传播算法的思想就在于学习完训练样本后误差要尽量的小。训练是以权值为任意值开始的目的就是不停的调整权值使误差最小。
实现后向传播算法的ANN里的神经元的激发函数是加权和输入的与各自的权值相乘后的和 可以看出激活函数只与输入值和权值有关
如果输出函数不变输出等于激活函数称神经元是线性的。但是这有严重的局限性。最通用的输出函数是S型函数 S型函数是这样的函数对于大的正数变量函数的值渐渐趋近与1对于大的负数变量函数的值渐渐趋于0在零点函数的值为0.5。这就给神经元输出的高低值有一个平稳的过度接近于1或接近于0。我们发现输出只和激活函数有关而激活函数又与输入值和对应的权值有关。
现在训练的目标就变成了给定输入值得到希望的输出值。既然误差是真实输出值与希望输出值的差值并且误差依赖于权值我们需要调整权值来最小化误差。我们可以为每个神经元的输出定义一个误差函数 我们把输出值与希望值的差做了平方这样可以保证误差值都为正因为差别越大误差值也越大差别越小误差值也越小。网络的误差值就是简单的把所有在输出层上神经元的误差求和 后向传播算法现在计算误差是怎么随着输出值、输入值和权重而变化的。我们理解了这些就可以通过梯度下降法来调整权值了 上面的公式可以按照下面的思路来理解每个调整的值将会根据上次调整后权重与网络误差的依赖程度进行调整这种依赖程度是关于的导数。每次调整的步长还依赖于。也就是说对误差影响大的权值相比于影响小的每次调整的值也比较大。公式5循环计算直到找到满意的权值才停止误差很小了。如果你对导数不理解没关系你可以把它看着一个函数并且在下文我将立即用线性代数来代替。如果你理解了请自己写出来然后和我这儿的做个比较。如果你还想详细的理解关于后向传播算法的推导过程你可以根据我后面的推荐书籍进行查找毕竟这已经超出了这份材料的范围。
所以我们只须求得关于的导数。这就是后向传播算法的目标我们需要得到这个反馈。首先我们需要计算输出值是怎么影响误差的它是关于的导数来自公式3。 然后计算激活函数是怎么影响输出的其次是权值怎么影响激活函数的来自公式1和2 继续推导来自公式6和7 因此对于每个权值做如下调整来自公式5和8 我们可以使用公式9来训练含有两层的ANN。现在我们想训练再多一层的网络还要考虑许多。如果我们想调整前面一层的权重我们把它记为。我们首先需要计算误差是怎么依赖于来自上层的输入的而和权值无关。这很简单我们只须把公式789里的用代替。但是也需要知道网路的误差是怎么随而变化的。因此 这里 另外假设有输入值为、权重为的信号进入神经元来自公式7 如果我们还想增加一层用同样的方法计算误差是怎么随第一层的输入和权值而变化的。我们只须对这些牵引稍加注意毕竟每层的神经元个数是不一样的不能混淆。
对于实践推理来说实现后向传播算法的ANNs不能有太多的层因为花在计算上的时间是随层数指数级别上升的。同时还有许多具有更快学习速度的改进算法。
4.1 练习
如果你懂得编程实现这个后向传播算法至少能用来训练下面的网络。要是你能实现后向传播的通用算法随意几层、每层有任意个神经元、任意个训练序列好好干吧。
如果你还不懂得编程但是知道运用一些辅助工具比如Matlab或者Mathematica那么应用里面定义好的函数找到下面网络的合适的权值吧这些函数能让你的工作变得轻松一点。
再如果你一点电脑经验都没有的话还是通过手一步一步的算吧。
这里的网络在输入层有三个神经元隐藏层有两个输出层有三个。一般情况下训练序列是很大的但在这个练习里我们只用一个训练序列。当输入为1,0.25-0.5时输出应该为1-1,0。记住你应该以随机的权值开始训练。 5. 进一步阅读
以下都是深入理解ANNs的大作
Rojas R. (1966). Neural Networks: A systematical Introduction. Springer, Berlin.Rumelhart, D. and J. McClelland (1986). Parallel Distributed Processing. MIT Press, Cambridge, Mass.
关于网络方面的进一步资料和相关主题这些书很有帮助且图文并茂
Bar-Yam, Y. (1997). Dynamics of Complex Systems,Addison-Wesley.Kauffman, S. (1993). Origins of Order, Oxford University Press.
6. 在线资源
网络上有大量的关于神经网络的资源。EPFL基于Java applets开发的卓越案例和指导手册。别的两个教程是Universidad Politécnica de Madrid和伦敦科学、技术、医学的帝国理工学院。另外作者自己一些关于神经网络编程方面的Java代码。
7. 参考书目
Bar-Yam, Y. (1997). Dynamics of Complex Systems. Addison-Wesley.Kauffman, S. (1993). Origins of Order, Oxford University Press.McCulloch, W. and W. Pitts (1943). A Logical Calculus of the Ideas Immanent in Nervous Activity.Bulletin of Mathematical Biophysics, Vol. 5, pp. 115-133.Rojas, R. (1996). Neural Networks: A Systematic Introduction. Springer, Berlin.Rumelhart, D. and J. McClelland (1986). Parallel Distributed Processing. MIT Press, Cambridge,Mass.Young, D.Formal Computational Skills Course Notes.
//
转载https://blog.csdn.net/tdkcs/article/details/29561511
