小编给大家分享一下pytorch如何部署半精度模型，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！pytorch作为深度学习的计算框架正得到越来越多的应用.我们除了在模型训练阶段应用外，最近也把pytorch应用在了部署上.在部署时，为了减少计算量，可以考虑使用16位浮点模型，而训练时涉及到梯度计算，需要使用32位浮点，这种精度的不一致经过测试，模型性能下降有限，可以接受.但是推断时计算量可以降低一半，同等计算资源下，并发度可提升近一倍在pytorch中，一般模型定义都继承torch.nn.Moudle，torch.nn.Module基类的half()方法会把所有参数转为16位浮点，所以在模型加载后，调用一下该方法即可达到模型切换的目的.接下来只需要在推断时把input的tensor切换为16位浮点即可另外还有一个小的trick，在推理过程中模型输出的tensor自然会成为16位浮点，如果需要新创建tensor，最好调用已有tensor的new_zeros，new_full等方法而不是torch.zeros和torch.full，前者可以自动继承已有tensor的类型，这样就不需要到处增加代码判断是使用16位还是32位了，只需要针对input tensor切换.补充：pytorch 使用amp.autocast半精度加速训练pytorch 1.6+根据官方提供的方法，答案就是autocast + GradScaler。答案：autocast + GradScaler。正如前文所说，需要使用torch.cuda.amp模块中的autocast 类。使用也是非常简单的GradScaler就是梯度scaler模块，需要在训练最开始之前实例化一个GradScaler对象。因此PyTorch中经典的AMP使用方式如下：单卡训练的话上面的代码已经够了，亲测在2080ti上能减少至少1/3的显存，至于速度。。。要是想多卡跑的话仅仅这样还不够，会发现在forward里面的每个结果都还是float32的，怎么办？只要把forward里面的代码用autocast代码块方式运行就好啦！如下操作中tensor会被自动转化为半精度浮点型的torch.HalfTensor：1、matmul2、addbmm3、addmm4、addmv5、addr6、baddbmm7、bmm8、chain_matmul9、conv1d10、conv2d11、conv3d12、conv_transpose1d13、conv_tra免费云主机域名nspose2d14、conv_transpose3d15、linear16、matmul17、mm18、mv19、prelu那么只有这些操作才能半精度吗？不是。其他操作比如rnn也可以进行半精度运行，但是需要自己手动，暂时没有提供自动的转换。以上是“pytorch如何部署半精度模型”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注百云主机行业资讯频道！
相关推荐: Spring中使用自定义ThreadLocal存储导致的坑怎么解决
这篇文章主要介绍了Spring中使用自定义ThreadLocal存储导致的坑怎么解决的相关知识，内容详细易懂，操作简单快捷，具有一定借鉴价值，相信大家阅读完这篇Spring中使用自定义ThreadLocal存储导致的坑怎么解决文章都会有所收获，下面我们一起来看…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
