今天就跟大家聊聊有关如何解析基于Pytorch的动态卷积复现，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。这里主要是改进传统卷积，让每层的卷积参数在推理的时候也是随着输入可变的，而不是传统卷积中对任何输入都是固定不变的参数。对于卷积过程中生成的一个特征图，先对特征图做几次运算，生成个和为的参数，然后对个卷积核参数进行线性求和，这样推理的时候卷积核是随着输入的变化而变化的。(可以看看其他的讲解文章，本文主要理解怎么写代码)下面是attention代码的简易版本，输出的是[,]大小的加权参数。对应着要被求和的卷积核数量。下面是文章中个卷积核求和的公式。其中是输入，是输出；可以看到进行了两次运算，一次用于求注意力的参数（用于生成动态的卷积核），一次用于被卷积。但是，写代码的时候如果直接将个卷积核求和，会出现问题。接下来我们先回顾一下Pytorch里面的卷积参数，然后描述一下可能会出现的问题，再讲解如何通过分组卷积去解决问题。我会从维度的视角回顾一下Pytorch里面的卷积的实现（大家也可以手写一下，几个重点：输入维度、输出维度、正常卷积核参数维度、分组卷积维度、动态卷积维度、attention模块输出维度）。输入：输入数据维度大小为[,,,]。输出：输出维度为[,,,]。卷积核：正常卷积核参数维度为[,,,]。（在Pytorch中，2d卷积核参数应该是固定这种维度的）这里我们可以注意到，正常卷积核参数的维度是不存在的。因为对于正常的卷积来说，不同的输入数据，使用的是相同的卷积核，卷积核的数量与一次前向运算所输入的大小无关（相同层的卷积核参数只需要一份）。这里描述一下实现动态卷积代码的过程中可能因为大于1而出现的问题。对于图中attention模块最后softmax输出的个数，他们的维度为[,,,]，可以直接.view成[,]，紧接着作用于卷积核参数上（形成动态卷积）。问题所在：正常卷积，一次输入多个数据，他们的卷积核参数是一样的，所以只需要一份网络参数即可；但是对于动态卷积而言，每个输入数据用的都是不同的卷积核，所以需要份网络参数，不符合Pytorch里面的卷积参数格式，会出错。看下维度运算[,]*[,,,,],生成的动态卷积核是[,,,,]，不符合Pytorch里面的规定，不能直接参与运算（大家可以按照这个思路写个代码看看，体会一下，光看可能感觉不出来问题），最简单的解决办法就是等于1，不会出现错误，但是慢啊！！！总之，大于1会导致中间卷积核参数不符合规定。一句话描述分组卷 香港云主机积：对于多通道的输入，将他们分成几部分各自进行卷积，结果concate。组卷积过程用废话描述：对于输入的数据[,,,]，假设为，那么分组卷积就是将他分为两个为的数据（也可以用其他方法分），那么维度就是[, 5×2,,]，换个维度换下视角，[,,,]，那么为2的组卷积可以看成的正常卷积。（如果还是有点不了解分组卷积，可以阅读其他文章仔细了解一下。）巧妙的转换：上面将翻倍即可将分组卷积转化成正常卷积，那么反向思考一下，将变为1，是不是可以将正常卷积变成分组卷积？我们将大小看成分组卷积中的数量，令所在维度直接变为！！！直接将输入数据从[,,,]变成[1,,,]，就可以用分组卷积解决问题了！！！详细描述实现过程：将输入数据的维度看成[1,,,](分组卷积的节奏)；卷积权重参数初始化为[,,,,]，attention模块生成的维度为[,],直接进行正常的矩阵乘法[,]*[,***]生成动态卷积的参数，生成的动态卷积权重维度为[,,,,]，将其看成分组卷积的权重[,,,](过程中包含reshape)。这样的处理就完成了，输入数据[,,,]，动态卷积核[,,,]，直接是的分组卷积，问题解决。具体代码如下：看完上述内容，你们对如何解析基于Pytorch的动态卷积复现有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注开发云行业资讯频道，感谢大家的支持。
本篇内容主要讲解“Python开发工具Pycharm用户界面分析”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“Python开发工具Pycharm用户界面分析”吧!PyCharm是一种Python IDE，其带有一整…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
