脚本宝典收集整理的这篇文章主要介绍了torch.nn.utils.clip_grad_norm_(),脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
设parameters里所有参数的梯度的范数为total_norm, 若max_norm>total_norm,parameters里面的参数的梯度不做改变; 若max_norm<total_norm,parameters里面的参数的梯度都要乘以一个系数clip_coef
def clip_grad_norm_(parameters, max_norm, norm_type=2):
r"""Clips gradient norm of an iterable of parameters.
The norm is computed over all gradients together, as if they were
concatenated into a single vector. Gradients are modified in-place.
Arguments:
parameters (Iterable[Tensor] or Tensor): an iterable of Tensors or a
single Tensor that will have gradients normalized
max_norm (float or int): max norm of the gradients
norm_type (float or int): type of the used p-norm. Can be ``'inf'`` for
infinity norm.
Returns:
Total norm of the parameters (viewed as a single vector).
"""
if isinstance(parameters, torch.Tensor):
parameters = [parameters]
#第一步
parameters = list(filter(lambda p: p.grad is not None, parameters))
max_norm = float(max_norm)
norm_type = float(norm_type)
if norm_type == inf:
total_norm = max(p.grad.data.abs().max() for p in parameters)
else:
total_norm = 0
for p in parameters:
#第二步
param_norm = p.grad.data.norm(norm_type)
#第三步
total_norm += param_norm.item() ** norm_type
total_norm = total_norm ** (1. / norm_type)
clip_coef = max_norm / (total_norm + 1e-6)
if clip_coef < 1:
for p in parameters:
p.grad.data.mul_(clip_coef)
return total_norm
这个函数的主要目的是对parameters里的所有参数的梯度进行规范化 梯度裁剪解决的是梯度消失或爆炸的问题,即设定阈值,如果梯度超过阈值,那么就截断,将梯度变为阈值
以上是脚本宝典为你收集整理的torch.nn.utils.clip_grad_norm_()全部内容,希望文章能够帮你解决torch.nn.utils.clip_grad_norm_()所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。