做纺织生意用什么网站好,武进做网站的公司,南山住房和建设局网站,为什么不建议学网络工程框架 输入层 隐藏层 存在一个阈值#xff0c;如果低于某一阈值就不激活#xff1b;高于了就激活
输出层 逆向参数调整方法 初始阶段#xff0c;随机设置权重值w1,w2
依据训练集
两个数学方法 #xff08;梯度下降、链式法则#xff09; 调参借助两个数学方法 当导数为…框架 输入层 隐藏层 存在一个阈值如果低于某一阈值就不激活高于了就激活
输出层 逆向参数调整方法 初始阶段随机设置权重值w1,w2
依据训练集
两个数学方法 梯度下降、链式法则 调参借助两个数学方法 当导数为负时步幅为正 就是说这个调参是建立在预测结果与实际结果基础上的自变量是参数权重因变量是反映预测结果与实际间的差距为误差平方和目的是要让这个差距最小
就是不同的权重参数下有不同的误差差距由此有个参数与误差间的函数然后依据每点参数下的导数去逐渐调整参数权值w
当导数为负时说明此时增大权值会使误差减少当导数为正时此时增大权值会使误差增大故应始终朝使误差减少的方向所以调整步幅要与导数方向相反
然后还有一个学习因子表示基于当下参数的导数下一个恒定的学习步幅因子越大那么调整的幅度越大 在求导过程中会用链式法则 就是求导是求误差与参数间的关系误差与神经网络产生的输出有直接关系与参数无直接关系产生的输出与隐藏层的激励函数有直接关系是sim函数即g函数sim与权值设置w有直接关系由此是链式法则
这里是省略了隐藏层就是隐藏层直接就是输出层
可以发现是有这样一步的g就是隐藏层汇总的信息w是从输入层到隐藏层的汇总
E对g求偏导的结果、形式应该是固定的
对于汇总输入信号到隐藏层中的求导过程是对wj求偏导也就是只去确定一个权值这就自动忽略了其他神经元对这个隐藏层神经元的影响即其他权值wi(i不等于j)对这个路径无影响 是输入层接受输入然后对各个隐藏层产生权值和积累最后每个隐藏神经元会积累的权值和为gx
x是最开始的直接输入隐藏神经元会依据其所接受的信号强度产生它的激励即E函数作为这个隐藏层神经元的输出有输出就会和最终结果有差距就会产生S
所以就是
x-g-e-s
x依据各个输入层之间的神经元权重分配分配给相应的隐藏层 多层
就是说e对xj求偏导是体现的输出层对其紧邻的单个隐藏层神经元的关系是紧邻的单个隐藏层神经元到它的路径它有权值为w1,w2,这要确定就是确定w1,w2确定好这个以后再往前回去推更前一层的权值也就是说在更上一层时w1,w2就已经成为了常数
e对xj求偏导是第j个最里层隐藏层对输出层的影响然后xj对wi求偏导是外面一层的所有神经元中的第最里层的第i个对第j个下层隐藏层的影响是隔离了其他外层神经元的影响
最终要建立的是最后的误差与各个神经元连接之间的直接函数关系与导数关系依据的就是这个神经元到最后最终输出所经过的神经元路径的链式法则来确定
要确定w1,就是它到最后输出只有一条路所以只有少量的链式法则对于w1,要在递归上w1
对于步骤5S是误差E是最终输出确定xj参数
输出由参数以及输入所确定是一个二元的所以即使在只有一层时也是偏导即在一层时是保证统一输入来去调整参数
在这里是先确定好最里层的参数然后就是保证参数不变去依据外层的参数w的变化使这里输入发生变化所以是变成了对里层隐藏层的输入x求偏导而不是其到输出层的参数w求偏导
然后里层隐藏层的输入受限于外一层隐藏层然后依次确定这个连接的参数w,就是对其求偏导就是控制上一层的输入不变调整其参数w,因为就是要去确定这个参数w,也就是链式法则的最底层
如果它不是最底层就是要保证这个参数w在后续不会再发生变化从而在这一层链式法则中求偏导不是对参数w求而是对这个外层神经元的输入去求偏导然后在那个外层神经元基础上去继续求偏导直到找到要确定的参数的位置即那个参数引起后续联通其到输出层神经元路径上的所有其他神经元变化
即如果有多层那么就有多次的链式法则但只有一个w参数这个参数是在最后的链式法则就是这个w影响了其后续所有的神经元输入值的变化然后中间过程的求偏导都是对该神经元的输入求偏导而不是对其与输出层所联通的权值w求偏导
对于上层隐藏层通过路径w对下层隐藏层造成的影响求偏导其结果都满足
注意应当是紧邻的输入与输出层的关系就是直接这个输入在对于权值w下直接对其相连的神经元造成的影响是这样是由于选取的激励函数g函数是sim函数所决定的形式然后最后要固定输入定权值的影响所以xj就是常量在求导结果表达式当中
里层神经元与上一层单个神经元由权值与其输入共同决定还需要注意里层不仅与这个相连与其他的都相连只是在对单个xj,或wj求偏导后其他的都直接为0没了
E是这个里层神经元最后产生的输出xj是外层神经元所接受的信号 要知道权值的影响就是对权值求偏导
对权值求偏导那么输入就作为常数体现在最后的影响里对输入求偏导那么权值参数就作为常量体现在最后的影响里 u是最原始输入w是第一层输出x是第二层输出e是最终输出层
就是说我们要得到的是在特定训练集下参数与其所产生的预测误差之间的差距的导数
既然是特定训练集那么原始输入可以视为常数因为要调整的是参数w,自变量是w
要注意的是w是两层神经元连接的权重
这个式子里的j是说要确定多个与输出层连接的隐藏层之间的权重要确定是要一个一个的确定 数学总结理解
就是说激励函数是确定每层神经元递归下去时所带的一项就是描绘的输入与输出之间的递归变化关系sig函数是x(1-x)w对应是里层输出x以及参数w不变输入边
每递归一层就会多一个这样的形式这样的形式由激励函数所确定就是求导求出来的
然后还有2(E-y),这个是由最外面的梯度下降的检验方式即误差平方所决定的每个表达式里都有而且唯一
