pytorch中如何实现ResNet结构

小编给大家分享一下pytorch中如何实现ResNet结构，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！现在重新稍微系统的介绍一下ResNet网络结构。 ResNet结构首先通过一个卷积层然后有一个池化层，然后通过一系列的残差结构，最后再通过一个平均池化下采样操作，以及一个全连接层的得到了一个输出。ResNet网络可以达到很深的层数的原因就是不断的堆叠残差结构而来的。网络中的亮点 ：超深的网络结构( 突破1000 层)提出residual 模块使用Batch Normalization 加速训练( 丢弃dropout)但是，一般来说，并不是一直的加深神经网络的结构就会得到一个更好的结果，一般太深的网络会出现过拟合的现象严重，可能还没有一些浅层网络要好。
其中有两个原因：梯度消失或梯度爆炸当层数过多的时候，假设每一层的误差梯度都是一个小于1的数值，当进行方向传播的过程中，每向前传播一层，都要乘以一个小于1的误差梯度，当网络越来越深时，所成的小于1的系数也就越来越多，此时梯度便越趋近于0，这样梯度便会越来越小。这便会造成梯度消失的现象。而当所成的误差梯度是一个大于1的系数，而随着网络层数的加深，梯度便会越来越大，这便会造成梯度爆炸的现象。退化问题(degradation problem)当解决了梯度消失或者梯度爆炸的问题之后，其实网络的效果可能还是不尽如意，还可能有退化问题。为此，ResNet提出了残差结构来解决这个退化问题。 也正是因为有这个残差的结构，所以才可以搭建这么深的网络。
残差结构如图所示
作图是针对ResNet-18/34层浅层网络的结构，右图是ResNet-50/101/152层深层网络的结构，其中注意：主分支与shortcut 的输出特征矩阵shape。一下表格为网络的一些主要参数
可以看见，不同层数的网络结构其实框架是类似的，不同的至少堆叠的残差结构的数量。需要注意，有些残差结构的ShortCut是实线，而有的是虚线，这两者是不同免费云主机域名的。对于左图来说，ShortCut是实线，这表明输入与输出的shape是一样的，所以可以直接的进行相加。而对于右图来说，其输入的shape与输出的shape是不一样的，这时候需要调整步长stribe与kernel size来使得两条路（主分支与捷径分支）所处理好的shape是一模一样的。
同样的，需要注意，主分支与shortcut 的输出特征矩阵shape必须相同，同样的通过步长来调整。但是注意原论文中：右侧虚线残差结构的主分支上、第一个1×1卷积层的步距是2，第二个3×3卷积层的步距是1.而在pytorch官方实现的过程中是第一个1×1卷积层的步距是1，第二个3×3卷积层步距是2，这样能够在ImageNet的top1上提升大概0.5%的准确率。所以在conv3_x,conv4_x,conv5_x中所对应的残差结构的第一层，都是指虚线的残差结构，其他的残差结构是实线的残差结构。对于每个大模块中的第一个残差结构，需要通过虚线分支来调整残差结构的输入与输出是同一个shape。此时使用了下采样的操作函数。
对于每个大模块中的其他剩余的残差结构，只需要通过实线分支来调整残差网络结构，因为其输出和输入本身就是同一个shape的。对于第一个大模块的第一个残差结构，其第二个3×3的卷积中，步长是1的，而其他的三个大模块的步长均为2.
在每一个大模块的维度变换中，主要是第一个残差结构使得shape减半，而模块中其他的残差结构都是没有改变shape的。也真因为没有改变shape，所以这些残差结构才可以直接的通过实线进行相加。Batch Normalization的目的是使我们的一批（Batch）特征矩阵feature map满足均值为0，方差为1的分布规律。
其中：
，_2在正向传播过程中统计得到
，在反向传播过程中训练得到Batch Normalization是google团队在2015年论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》提出的。通过该方法能够加速网络的收敛并提升准确率。具体的相关原理见：Batch Normalization详解以及pytorch实验以上是“pytorch中如何实现ResNet结构”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注百云主机行业资讯频道！

相关推荐: 小程序商城的开发方案是什么

这篇文章主要讲解了“小程序商城的开发方案是什么”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“小程序商城的开发方案是什么”吧！ 1 快速成交途径 当免费云主机域名今的快节奏生活，用户停留在商城的时间是有限的，消费…