网站建设费用明细报价,wordpress暗箱,公司展厅设计策划,宁波建设信息网在pytorch训练过程中可以通过下面这一句代码来打印当前学习率print(net.optimizer.state_dict()[param_groups][0][lr])补充知识#xff1a;Pytorch#xff1a;代码实现不同层设置不同的学习率#xff0c;选择性学习某些层参数1#xff0c;如何动态调整学习率在使用pytorch…在pytorch训练过程中可以通过下面这一句代码来打印当前学习率print(net.optimizer.state_dict()[param_groups][0][lr])补充知识Pytorch代码实现不同层设置不同的学习率选择性学习某些层参数1如何动态调整学习率在使用pytorch进行模型训练时经常需要随着训练的进行逐渐降低学习率在pytorch中给出了非常方面的方法假设我们定义了一个优化器该优化器的初始化学习为0.01如果我们学习每个n 个epoch把学习率降低为原来的0.9倍则需要声明一个学习率调节器torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma0.1, last_epoch-1)其中optimizer: 前面声明的优化器step_size: 每step_size个epoch学习率降低为原来的gamma倍last_epoch: 当前所处的epoch例如另外其他常用的更新策略类似torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma, last_epoch-1)torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min0, last_epoch-1)torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, modemin, factor0.1, patience10, verboseFalse, threshold0.0001, threshold_moderel, cooldown0, min_lr0, eps1e-08)torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch-1)2如何选择性学习某些参数对于我们现有的模型model通过调整参数的requires_grad 属性控制该模型是否参与求导运算如果模型中包含多个子模块可用通过sub_block model.children()获取该模块然后通过迭代索引的方式获取参数for name, param in sub_block.named_parameters()以上这篇pytorch实现查看当前学习率就是小编分享给大家的全部内容了希望能给大家一个参考也希望大家多多支持服务器之家。原文链接https://blog.csdn.net/weixin_38314865/article/details/103938504
