企业网站 php 下载,wordpress菜单背景半透明,企业信用信息查询系统入口,辽宁企业信息公示系统1. 神经网络的超参数分类 神经网路中的超参数主要包括:
1. 学习率 η
2. 正则化参数 λ
3. 神经网络的层数 L
4. 每一个隐层中神经元的个数 j
5. 学习的回合数Epoch
6. 小批量数据 minibatch 的大小
7. 输出神经元的编码方式
8. 代价函数的选择
9. 权重初始化的方法
…
1. 神经网络的超参数分类 神经网路中的超参数主要包括:
1. 学习率 η
2. 正则化参数 λ
3. 神经网络的层数 L
4. 每一个隐层中神经元的个数 j
5. 学习的回合数Epoch
6. 小批量数据 minibatch 的大小
7. 输出神经元的编码方式
8. 代价函数的选择
9. 权重初始化的方法
10. 神经元激活函数的种类
11.参加训练模型数据的规模
这十一类超参数。
这些都是可以影响神经网络学习速度和最后分类结果其中神经网络的学习速度主要根据训练集上代价函数下降的快慢有关而最后的分类的结果主要跟在验证集上的分类正确率有关。因此可以根据该参数主要影响代价函数还是影响分类正确率进行分类如图1所示 图1. 十一类超参数的分类情况
在上图中可以看到超参数 234 7 主要影响的时神经网络的分类正确率9 主要影响代价函数曲线下降速度同时有时也会影响正确率1810 主要影响学习速度这点主要体现在训练数据代价函数曲线的下降速度上5611 主要影响模型分类正确率和训练用总体时间。这上面所提到的时某个超参数对于神经网络想到的首要影响并不代表着该超参数只影响学习速度或者正确率。 因为不同的超参数的类别不同因此在调整超参数的时候也应该根据对应超参数的类别进行调整。再调整超参数的过程中有根据机理选择超参数的方法有根据训练集上表现情况选择超参数的方法也有根据验证集上训练数据选择超参数的方法。他们之间的关系如图2所示。 图2. 不同超参数的选择方法不同。
如图2所示超参数 78910 由神经网络的机理进行选择。在这四个参数中应该首先对第10个参数神经元的种类进行选择根据目前的知识一种较好的选择方式是对于神经网络的隐层采用sigmoid神经元而对于输出层采用softmax的方法根据输出层采用sotmax的方法因此第8个代价函数采用 log-likelihood 函数或者输出层还是正常的sigmoid神经元而代价函数为交叉熵函数第9个初始化权重采用均值为0方差为
1nin√1nin 的高斯随机分布初始化权重对于输出层的编码方式常常采用向量式的编码方式基本上不会使用实际的数值或者二进制的编码方式。超参数1由训练数据的代价函数选择在上述这两部分都确定好之后在根据检验集数据确定最后的几个超参数。这只是一个大体的思路具体每一个参数的确定将在下面具体介绍。 2. 宽泛策略
根据上面的分析我们已经根据机理将神经网络中的神经元的种类、输出层的模式即是否采用softmax、代价函数及输出层的编码方式进行了设定。所以在这四个超参数被确定了之后变需要确定其他的超参数了。假设我们是从头开始训练一个神经网络的我们对于其他参数的取值本身没有任何经验所以不可能一上来就训练一个很复杂的神经网络这时就要采用宽泛策略。 宽泛策略的核心在于简化和监控。简化具体体现在如简化我们的问题如将一个10分类问题转变为一个2分类问题简化网络的结构如从一个仅包含10个神经元你的隐层开始训练逐渐增加网络的层数和神经元的个数简化训练用的数据在简化问题中我们已经减少了80%的数据量在这里我们该要精简检验集中数据的数量因为真正验证的是网络的性能所以仅用少量的验证集数据也是可以的如仅采用100个验证集数据。监控具体指的是提高监控的频率比如说原来是每5000次训练返回一次代价函数或者分类正确率现在每1000次训练就返回一次。其实可以将“宽泛策略”当作是一种对于网络的简单初始化和一种监控策略这样可以更加快速地实验其他的超参数或者甚至接近同步地进行不同参数的组合的评比。 直觉上看这看起来简化问题和架构仅仅会降低你的效率。实际上这样能够将进度加快因为你能够更快地找到传达出有意义的信号的网络。一旦你获得这些信号你可以尝尝通过微调超参数获得快速的性能提升。
3. 学习率的调整
假设我们运行了三个不同学习速率 η0.025η0.025、η0.25η0.25、η2.5η2.5的 MNIST 网 络其他的超参数假设已经设置为进行30回合minibatch 大小为10然后 λ5.0λ5.0 ,使用50000幅训练图像,训练代价的变化情况如图3 图3. 不同学习率下代价函数曲线的变化情况
使用
η0.025η0.025代价函数平滑下降到最后的回合使用
η0.25η0.25代价刚开始下降在大约20 回合后接近饱和状态后面就是微小的震荡和随机抖动最终使用
η2.5η2.5 代价从始至终都震荡得非常明显。 因此学习率的调整步骤为首先我们选择在训练数据上的代价立即开始下降而非震荡或者增加时的作为 ηη 阈值的估计不需要太过精确确定量级即可。如果代价在训练的前面若干回合开始下降你就可以逐步增加 ηη 的量级直到你找到一个的值使得在开始若干回合代价就开始震荡或者增加相反如果代价函数曲线开始震荡或者增加那就尝试减小量级直到你找到代价在开始回合就下降的设定取阈值的一半就确定了学习速率 。在这里使用训练数据的原因是学习速率主要的目的是控制梯度下降的步长监控训练代价是最好的检测步长过大的方法。
4. 迭代次数
提前停止表示在每个回合的最后我们都要计算验证集上的分类准确率当准确率不再提升就终止它也就确定了迭代次数或者称回合数。另外提前停止也能够帮助我们避免过度拟合。 我们需要再明确一下什么叫做分类准确率不再提升这样方可实现提前停止。正如我们已经看到的分类准确率在整体趋势下降的时候仍旧会抖动或者震荡。如果我们在准确度刚开始下降的时候就停止那么肯定会错过更好的选择。一种不错的解决方案是如果分类准确率在一段时间内不再提升的时候终止。建议在更加深入地理解 网络训练的方式时仅仅在初始阶段使用 10 回合不提升规则然后逐步地选择更久的回合比如 20 回合不提升就终止30回合不提升就终止以此类推。
5. 正则化参数
我建议开始时代价函数不包含正则项只是先确定 ηη 的值。使用确定出来的 ηη用验证数据来选择好的 λλ 。尝试从 λ1λ1 开始然后根据验证集上的性能按照因子 10 增加或减少其值。一旦我已经找到一个好的量级你可以改进 λλ 的值。这里搞定 λλ 后你就可以返回再重新优化 ηη 。
6. 小批量数据的大小
选择最好的小批量数据大小也是一种折衷。太小了你不会用上很好的矩阵库的快速计算太大你是不能够足够频繁地更新权重的。你所需要的是选择一个折衷的值可以最大化学习的速度。幸运的是小批量数据大小的选择其实是相对独立的一个超参数网络整体架构外的参数所以你不需要优化那些参数来寻找好的小批量数据大小。因此可以选择的方式就是使用某些可以接受的值不需要是最优的作为其他参数的选择然后进行不同小批量数据大小的尝试像上面那样调整 ηη 。画出验证准确率的值随时间非回合变化的图选择哪个得到最快性能的提升的小批量数据大小。得到了小批量数据大小也就可以对其他的超参数进行优化了。
7. 总体的调参过程
首先应该根据机理确定激活函数的种类之后确定代价函数种类和权重初始化的方法以及输出层的编码方式其次根据“宽泛策略”先大致搭建一个简单的结构确定神经网络中隐层的数目以及每一个隐层中神经元的个数然后对于剩下的超参数先随机给一个可能的值在代价函数中先不考虑正则项的存在调整学习率得到一个较为合适的学习率的阈值取阈值的一半作为调整学习率过程中的初始值 之后通过实验确定minibatch的大小之后仔细调整学习率使用确定出来的 ηη用验证数据来选择好的 λλ 搞定 λλ 后你就可以返回再重新优化 ηη。而学习回合数可以通过上述这些实验进行一个整体的观察再确定。
