四川省微信网站建设公,有哪些下载软件的应用,asp网站优化,新公司做网站怎么弄神经网络
5.1 神经元模型
在生物神经网络中#xff0c;神经元之间相互连接#xff0c;当一个神经元受到的外界刺激足够大时#xff0c;就会产生兴奋#xff08;称为激活#xff09;#xff0c;并将剩余的刺激向相邻的神经元传导。
神经元模型…神经网络
5.1 神经元模型
在生物神经网络中神经元之间相互连接当一个神经元受到的外界刺激足够大时就会产生兴奋称为激活并将剩余的刺激向相邻的神经元传导。
神经元模型 模型中 x i x_i xi表示各个神经元传来的刺激刺激强度有大有小所以 w i w_i wi表示不同刺激的权重Θ表示阈值。一段刺激经过加权汇总再减去神经元的阈值后经过激活函数 f f f处理就是一个输出y它如果不为0那么y就会作用到其他神经元当中就如同 x i x_i xi一样作为输入。
前面提到的激活函数 f f f一般表示为: s i g m o i d ( x ) 1 1 e − x sigmoid(x) \frac{1}{1e^{-x}} sigmoid(x)1e−x1
5.2 感知机与多层网络
感知机能快速实现与或非逻辑运算它由两层神经元组成输入层接受信号好传递到输出层并在输出层进行激活函数处理。
输出计算方法为 y f ( ∑ i w i x i − Θ ) y f(\sum_{i}w_ix_i-Θ) yf(i∑wixi−Θ) 以与运算为例( x 1 x_1 x1交 x 2 x_2 x2)令两个w值为1Θ阈值为2则有 y f ( 1 × x 1 1 × x 2 − 2 ) yf(1×x_11×x_2-2) yf(1×x11×x2−2)
只在x均为1时y才为1
常见的神经网络如下图所示的层级结构每层神经元与下一层的互相连接称为多层前馈神经网络神经网络学习到的内容存在于前面提到的连接权 w i w_i wi和阈值 Θ Θ Θ里。
5.3 误差逆传播算法简称BP
多层网络的学习能力强于单层感知机可以用BP算法进行训练通过计算实际输出与期望输出之间的误差再将这份误差反向传播到网络的每一层从而调整网络中的权重这个过程会迭代进行直到训练效果达到预期。 累计误差表示为 E 1 m ∑ k 1 m E k E\frac{1}{m}\sum^m_{k1}E_k Em1k1∑mEk 具体步骤的伪代码为
1.初始化网络的权重和阈值
2.对于每个训练样本进行前向传播计算将输入样本传递给输入层计算隐藏层的输出使用激活函数前面提到的Sigmoid函数将隐藏层的输出传递给输出层再次使用激活函数
3.计算输出层的误差期望输出与实际输出的差值
4.反向传播误差根据误差和激活函数的导数计算输出层的梯度将输出层的梯度传播回隐藏层再根据权重调整梯度更新隐藏层到输出层的权重把隐藏层的梯度传播回输入层根据权重调整梯度更新输入层到隐藏层的权重
5.重复2-4步骤直到达到预定的训练次数或者收敛了
6.使用训练好的网络进行预测BP神经网络经常出现过拟合现象表现为训练误差持续降低测试误差上升。解决的方法有两种
第一种是早停把数据集分为训练集和验证集前者就是做上述伪代码的工作即计算梯度更新权重等验证集用来估计误差如分类任务中的分类准确率当出现训练误差减小但验证误差提升时停止训练同时返回具有最小验证集误差的权重和阈值。第二种是正则化在误差目标函数中加入一个描述网络复杂度的部分通过对模型的复杂度进行惩罚如限制模型的参数或权重的大小来防止过拟合
深度学习
深度学习模型通过增加隐层的数目提高训练效率降低过拟合的风险。
以第二章的手写体识别为例网络输入是一个32×32的手写数字图像输出是算法的识别结果过程以伪代码的形式呈现。
对所有手写数字文本将加载的32×32矩阵转为一行1024的向量把文本对应的数字转化为one-hot向量某个值为1其余均为0
构建神经网络设置网络的隐藏层数各隐藏层神经元个数激活函数学习率优化方法最大迭代次数
做测试隐藏层中的神经元能直接影响网络的学习能力但是如果数量过多容易导致出现过拟合现象选取合适参数的方法有
手动筛选给定一个范围如比较50100500的效果如果200的效果优于其他两者那么就从50到100间再选择一个数值但这个方法有点慢正则化技术以L1正则化L1 Regularization为例L1正则化通过在损失函数中添加参数的绝对值之和来惩罚模型中的大参数。这导致一些参数变为零从而实现特征选择和稀疏性。L1正则化可以促使模型更加稀疏即只有少数参数对模型的预测起作用其他参数趋近于零。
实验比较隐藏层不同神经元个数的多层感知机的实验效果
(学习率均为0.0001迭代次数为2000)
clf MLPClassifier(hidden_layer_sizes(100,),activationlogistic, solveradam,learning_rate_init0.0001, max_iter2000)
print(clf)变量为神经元个数分别是501005001000
实验分析神经元个数从50逐渐升到500个的过程中网络对目标特征的抓取能力逐渐提升所以识别的正确率随之提高。但在个数跳到1000时正确率没有提高可能是因为个数在达到1000之前多层感知机就已经收敛了个数继续增加相当于时过度训练数据提高网络复杂度这并不会带来增益。能测试的变量还有迭代次数和学习率。
