PyTorch 中设定学习率衰减（learning rate decay）

Miracle
Miracle
Miracle
1357
文章
109
评论
2018年12月4日20:46:31深度学习PyTorch 中设定学习率衰减（learning rate decay）已关闭评论11,6668690字阅读2分18秒阅读模式

很多时候我们要对学习率（learning rate）进行衰减，下面的代码示范了如何每30个epoch按10%的速率衰减：文章源自联网快讯-https://x1995.cn/3625.html

  1. def adjust_learning_rate(optimizer, epoch):
  2.     """Sets the learning rate to the initial LR decayed by 10 every 30 epochs"""
  3.     lr = args.lr * (0.1 ** (epoch // 30))
  4.     for param_group in optimizer.param_groups:
  5.         param_group['lr'] = lr

什么是param_groups?
optimizer通过param_group来管理参数组.param_group中保存了参数组及其对应的学习率,动量等等.所以我们可以通过更改param_group[‘lr’]的值来更改对应参数组的学习率。文章源自联网快讯-https://x1995.cn/3625.html

  1. # 有两个`param_group`即,len(optim.param_groups)==2
  2. optim.SGD([
  3.                 {'params': model.base.parameters()},
  4.                 {'params': model.classifier.parameters(), 'lr': 1e-3}
  5.             ], lr=1e-2, momentum=0.9)
  6. #一个参数组
  7. optim.SGD(model.parameters(), lr=1e-2, momentum=.9)
文章源自联网快讯-https://x1995.cn/3625.html
历史上的今天
12月
4
Miracle
  • 本文由 发表于 2018年12月4日20:46:31