问题说明:
pytorch迁移学习时,需要对某些层冻结参数,不参与方向传播,具体实现是将要冻结的参数的requires_grad属性置为false,然后在优化器初始化时将参数组进行筛选,只加入requires_grad为True的参数,代码示例如下:
cnn = CNN() #构建网络
for n,p in cnn.named_parameters():
print(n,p.requires_grad)
if n=="conv1.0.weight":
p.requires_grad = False
optimizer = torch.optim.Adam(filter(lambda p: p.requires_grad,cnn.parameters()), lr=learning_rate)
但是如果把requires_grad属性置为false这个操作放在optimizer之后,会不会有影响,这个指定层的参数会不会被冻结呢?代码示例如下:
cnn = CNN() #构建网络
optimizer = torch.optim.Adam(filter(lambda p: p.requires_grad,cnn.parameters()), lr=learning_rate)
for n,p in cnn.named_parameters():
print(n,p.requires_grad)
if n=="conv1.0.weight":
p.requires_grad = False
经过打印每次迭代后参数组中的参数值,可以得出结论:
1、把requires_grad属性置为false的操作放在optimizer初始化之后,也可以达到参数被冻结的效果(该指定要冻结的层的参数完全没变化)
2、区别在于,先进行requires_grad属性置为false的操作,再optimizer初始化,不会将该层的参数放进优化器中更新,而先进行optimizer初始化,再进行requires_grad属性置为false的操作,会将所有的参数放进优化器中,但不更新该指定层参数,只更新剩下的参数。对比看来,optimizer中的参数量会相比前者会更大一点。