怎么开发网站,哪个网站做h5好用,rss订阅wordpress,2023年度最火关键词1.需求
我自定义了一个evaluate方法#xff0c;想在每一轮训练过后都执行一次。如果只是在TrainingArguments里设置warmup_steps100#xff0c;那么每轮都会重置学习率#xff0c;也就是每一轮开始的时候都会按照warmup刚开始的学习率进行训练#xff0c;这就很头疼。
2.…1.需求
我自定义了一个evaluate方法想在每一轮训练过后都执行一次。如果只是在TrainingArguments里设置warmup_steps100那么每轮都会重置学习率也就是每一轮开始的时候都会按照warmup刚开始的学习率进行训练这就很头疼。
2.解决方案
在Trainer里设置optimizers参数它需要输入一个optimizer和scheduler的tuple在官方文档里是这样写的 所以我们自己设定一个optimizer和scheduler传入即可正常运行
optimizertransformers.AdamW(model.parameters(),lrlearning_rate)
linear_scheduler torch.optim.lr_scheduler.LinearLR(optimizer, total_iters100)
trainer transformers.Trainer(modelmodel,argstrain_args,optimizers(optimizer,linear_scheduler),train_datasettrain_dataset,eval_datasettest_dataset,data_collatordata_collator,
)
