做网站的公司主要是干啥,网站建站无锡,seo站长平台,wordpress 首页幻灯1.什么是误差逆传播算法#xff08;error BackPropagation#xff0c;简称BP#xff09;#xff1f;
是一种神经网络学习算法。BP是一个迭代学习算法#xff0c;在迭代的每一轮使用广义的感知机学习规则对参数进行更新估计。基于梯度下降#xff08;gradient descenterror BackPropagation简称BP
是一种神经网络学习算法。BP是一个迭代学习算法在迭代的每一轮使用广义的感知机学习规则对参数进行更新估计。基于梯度下降gradient descent策略以目标的负方向对参数进行更新。BP的算法工作流程大致是先将输入样本输入给输入层神经元再将误差逆向传播至隐层神经元最后根据隐层神经元的误差来对连接权connection weight和阈值threshold进行调整该过程迭代调整直到训练误差达到一个很小的值。 2.如何解决误差函数中参数寻优陷入局部极小的问题
1以多组不同的值初始化多个神经网络按标准方法训练之后取其中误差最小的解作为参数。这相当于从不同的初始点开始搜索这样就可能陷入不同的局部最小。
2使用“模拟退火”simulated annealing技术模拟退火每一步都在以一定的概率接受比当前更差的结果从而有助于“跳出”局部极小。
3使用随机梯度下降与标准梯度下降计算机误差精度不同随机梯度下在计算梯度时加入了随机因素即使陷入局部极小点它计算出的梯度仍可能不为0这样就有机会跳出局部极小。
3.什么是预训练pre-training
由于多隐层神经网络在多隐层逆传播时往往会“发散”diverse而不能收敛到稳定状态所以采用预训练方法训练时将上一层隐结点的输出作为输入而本层隐结点的输出作为下一层隐结点的输入。在预训练结束后再对整个网络进行微调fine-tuning。
4.什么是支持向量机support vector machine
首先解释支持向量support vector是指距离超平面最近的几个点使得下面公式的等号成立他们被称为“支持向量”。 两个异类支持向量到超平面的距离称为间隔margin欲找到具有“最大间隔”maximum margin的划分超平面也就是找到能满足上面约束条件的参数w和b使得margin最大这就是支持向量机SVM的基本型对于二分类问题找到一个超平面使得margin最大。
