PyTorch 中设定学习率衰减(learning rate decay)

Miracle
1212
文章
67
评论
2018年12月4日20:46:31 评论 690字阅读2分18秒

很多时候我们要对学习率(learning rate)进行衰减,下面的代码示范了如何每30个epoch按10%的速率衰减:

  1. def adjust_learning_rate(optimizer, epoch):
  2.     """Sets the learning rate to the initial LR decayed by 10 every 30 epochs"""
  3.     lr = args.lr * (0.1 ** (epoch // 30))
  4.     for param_group in optimizer.param_groups:
  5.         param_group['lr'] = lr

什么是param_groups?
optimizer通过param_group来管理参数组.param_group中保存了参数组及其对应的学习率,动量等等.所以我们可以通过更改param_group[‘lr’]的值来更改对应参数组的学习率。

  1. # 有两个`param_group`即,len(optim.param_groups)==2
  2. optim.SGD([
  3.                 {'params': model.base.parameters()},
  4.                 {'params': model.classifier.parameters(), 'lr': 1e-3}
  5.             ], lr=1e-2, momentum=0.9)
  6. #一个参数组
  7. optim.SGD(model.parameters(), lr=1e-2, momentum=.9)
  • 版权声明: 发表于 2018年12月4日20:46:31
  • 转载注明:https://x1995.cn/3625.html
Densely Connected Convolutional Networks翻译 深度学习

Densely Connected Convolutional Networks翻译

Abstract 最近的成果显示,如果神经网络各层到输入和输出层采用更短的连接,那么网络可以设计的更深、更准确且训练起来更有效率。本文根据这个现象,提出了Dense Convolutional Net...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: