装修设计网站排行,网站设置快捷方式,艺友网站建设,微网站怎么做微名片文章目录 神经网络模型的构成BP神经网络 神经网络模型的构成
三种表示方式#xff1a; 神经网络的三要素#xff1a;
具有突触或连接#xff0c;用权重表示神经元的连接强度具有时空整合功能的输入信号累加器激励函数用于限制神经网络的输出
感知神经网络
BP神经网络 … 文章目录 神经网络模型的构成BP神经网络 神经网络模型的构成
三种表示方式 神经网络的三要素
具有突触或连接用权重表示神经元的连接强度具有时空整合功能的输入信号累加器激励函数用于限制神经网络的输出
感知神经网络
BP神经网络
BP神经网络的学习由信息的正向传播和误差的反向传播两个过程组成学习规则采用W-H学习规则最小均方差梯度下降法通过反向传播不断调整网络的权重和阈值使得网络的误差平方和最小。
BP神经网络模型通用描述 z ( k ) w ( k ) x ( k ) b ( k ) y ( k ) f ( z ( k ) ) z^{(k)} w^{(k)}x^{(k)} b^{(k)} \\y^{(k)} f(z^{(k)}) z(k)w(k)x(k)b(k)y(k)f(z(k)) o ( k ) f ( w ( k ) o ( k − 1 ) b ( k ) ) o^{(k)} f(w^{(k)}o^{(k - 1)} b^{(k)}) o(k)f(w(k)o(k−1)b(k))
损失函数的构建 E 1 2 n ∑ p 1 n ( T p − Q p ) 2 E \frac{1}{2n} \sum\limits_{p1}^{n}(T_p - Q_p)^2 E2n1p1∑n(Tp−Qp)2 预测的输出值减期望的输出值的均方差
梯度下降法 W ( k 1 ) W k − a ∗ α α w k ∗ E ( w k , b k ) b ( k 1 ) b k a ∗ α α b k ∗ E ( w k , b k ) W_{(k 1)} W_{k} - a * \frac{\alpha}{\alpha w_k} * E(w_k, b_k) \\ b_{(k 1)} b_k a * \frac{\alpha}{\alpha b_k} * E(w_k, b_k) W(k1)Wk−a∗αwkα∗E(wk,bk)b(k1)bka∗αbkα∗E(wk,bk)
而 α α w k ∗ E 1 2 m ∗ ∑ i 1 m ∗ 2 ∗ ( w k x i b − y i ) ∗ x i α α b k ∗ E 1 2 m ∗ ∑ i 1 m ∗ 2 ∗ ( w k x i b − y i ) \frac{\alpha}{\alpha w_k} * E \frac{1}{2m} * \sum\limits_{i 1}^{m} *2 * (w_k x^i b - y^i) * x^i \\ \frac{\alpha}{\alpha b_k} * E \frac{1}{2m} * \sum\limits_{i 1}^{m} *2 * (w_k x^i b - y^i) αwkα∗E2m1∗i1∑m∗2∗(wkxib−yi)∗xiαbkα∗E2m1∗i1∑m∗2∗(wkxib−yi)
当采用sigmoid激活函数 导数 f ′ ( n e t j l ) f ( n e t j l ) ( 1 − f ( n e t j l ) ) f(net^l_j) f(net^l_j)(1 - f(net^l_j)) f′(netjl)f(netjl)(1−f(netjl)) ( 1 1 e − z ) ′ ( 1 1 e − z ) ∗ ( 1 − 1 1 e − z ) (\frac{1}{1 e^{-z}}) (\frac{1}{1 e^{-z}}) * (1 - \frac{1}{1 e^{-z}}) (1e−z1)′(1e−z1)∗(1−1e−z1) 对于交叉熵损失函数有 例题 给定神经网络如下 输入值为x1, x2 0.5, 0.3 期望输出值为y1, y2 0.23, -0.07 给出正向传播的初始参数为 w 1 w_1 w1~ w 8 w_8 w8为0.2 -0.4 0.5 0.6 0.1 -0.5 -0.3 0.8 采用平方损失函数梯度下降法求解第一轮更新后的参数。 训练步骤
表达计算训练的输出矢量 A W ∗ P B A W * P B AW∗PB以及与期望输出之间的误差检查将网络输出误差的平方和与期望误差相比较如果其值小于期望误差或训练以达到实现设定的最大训练次数则停止训练否则继续。学习采用最小均方差和梯度下降方法计算权值和偏差并返回到1
BP算法的改进
带动量因子算法自适应学习速率改变学习速率的方法作用函数后缩法改变性能指标函数
