pytorch中detach切断网络反传方式的示例分析

这篇文章给大家分享的是有关pytorch中detach切断网络反传方式的示例分析的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。pytorch中切断网络反向传递的方式最常见的方法就是使用detach来进行的。官方文档中，对这个方法是这么介绍的。返回一个新的从当前图中分离的 Variable。返回的 Variable 永远不会需要梯度如果 被 detach 的Variable volatile=True， 那么 detach 出来的 volatile 也为 True还有一个注意事项，即：返回的 Variable 和 被 detach 的Variable 指向同一个 tensor在pytorch中通过拷贝需要切断位置前的tensor实现这个功能免费云主机域名。tensor中拷贝的函数有两个，一个是clone()，另外一个是copy_(),clone()相当于完全复制了之前的tensor，他的梯度也会复制，而且在反向传播时，克隆的样本和结果是等价的，可以简单的理解为clone只是给了同一个tensor不同的代号，和‘=’等价。所以如果想要生成一个新的分开的tensor，请使用copy_()。不过对于这样的操作，pytorch中有专门的函数——detach()。用户自己创建的节点是leaf_node(如图中的abc三个节点),不依赖于其他变量,对于leaf_node不能进行in_place操作.根节点是计算图的最终目标(如图y),通过链式法则可以计算出所有节点相对于根节点的梯度值.这一过程通过调用root.backward()就可以实现.因此,detach所做的就是,重新声明一个变量,指向原变量的存放位置,但是requires_grad为false.更深入一点的理解是,计算图从detach过的变量这里就断了, 它变成了一个leaf_node.即使之后重新将它的requires_node置为true,它也不会具有梯度.(0.4之后),tensor和variable合并，tensor具有grad、grad_fn等属性；默认创建的tensor，grad默认为False, 如果当前tensor_grad为None，则不会向前传播，如果有其它支路具有grad，则只传播其它支路的grad补充：Pytorch-detach()用法神经网络的训练有时候可能希望保持一部分的网络参数不变，只对其中一部分的参数进行调整。或者训练部分分支网络，并不让其梯度对主网络的梯度造成影响.这时候我们就需要使用detach()函数来切断一些分支的反向传播.返回一个新的tensor，从当前计算图中分离下来。但是仍指向原变量的存放位置，不同之处只是requirse_grad为false.得到的这个tensir永远不需要计算器梯度，不具有grad.即使之后重新将它的requires_grad置为true,它也不会具有梯度grad.这样我们就会继续使用这个新的tensor进行计算，后面当我们进行反向传播时，到该调用detach()的tensor就会停止，不能再继续向前进行传播.注意：使用detach返回的tensor和原始的tensor共同一个内存，即一个修改另一个也会跟着改变。比如正常的例子是：输出tensor([1., 2., 3.], requires_grad=True)Nonetensor([0.1966, 0.1050, 0.0452])1.1 当使用detach()分离tensor但是没有更改这个tensor时，并不会影响backward():感谢各位的阅读！关于“pytorch中detach切断网络反传方式的示例分析”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！

相关推荐: 微信小程序button组件如何自定义样式

本篇内容主要讲解“微信小程序button组件如何自定义样式”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“微信小程序button组件如何自定义样式”吧! 背景颜色 wxml代码 确定 wxss代码 .btn { wi…