脚本宝典收集整理的这篇文章主要介绍了Resnet思想，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

因为自己开始了transformer的学习，但transformer的学习还需要一点卷积里的基础知识。

这里主要还是说学习一个ResNet。

在这张图里，五角星代表了最优位置。对于非嵌套的函数，虽然函数变大变复杂了，但其实还是在远离最优点。但是对于嵌套的函数，就可以做到越来越解决最优点，至少不会出现越来越坏这种情况。

1 x 1卷积层

import torch.nn as nn
import torch
conv1 = nn.Conv2d(3,1,1)# input channel 3, output channel 1, kernel size =1
s = torch.zeros((1, 3, 28, 28))
o = conv1(s)

# output o shape (1,1,28,28)

就说 1 * 1 卷积核实际上只是就是个全连接层，它是将channel作为特征。也就是说其他维度reshape -1 后得到的就是batch。也就是说输入实际上（batch, channel) ， 那么1 * 1 卷积核的input channel 就是input dim， output channel就是 output dim。

残差块

左边是正常的卷积块，比如VGG里的卷积块。我并没有很深入去了解resnet，因为我只是为了了解resnet的思想对transformer的影响。

它就是一个函数 (f(x) = g(x) + x) 然后经过激活函数这么一个思想。

为什么resnet可以训练出1000层模型

resnet将导数乘法变加法。

脚本宝典总结

以上是脚本宝典为你收集整理的Resnet思想全部内容，希望文章能够帮你解决Resnet思想所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。