MetaFormer,探索transformer网络结构【读论文,网络结构】

发布时间:2022-06-25 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了MetaFormer,探索transformer网络结构【读论文,网络结构】脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

论文:MetaFormer is Actually What You Need for Vision,(CVPR,2021) 论点:transformer的网络结构而不是self-attention tocken mixer使得模型效果好;为了证明此论点,作者将attention模块换成令人尴尬简单的空间池化层(取名PoolFormer),在多个视觉任务上取得了相当的效果。因此,如何改进模型框架是研究重点。

1. 网络结构

MetaFormer,探索transformer网络结构【读论文,网络结构】

poolingformer对tocken做简单average pooling,参数少,计算复杂度底。

MetaFormer,探索transformer网络结构【读论文,网络结构】

模型结构和swin transformer几乎一致;

2. 实验分析

poolingformer同等参数量下,效果不错;特别的,混合模型:1、2stage用pool mixer,3、4用attention,效果有提升。

3. 结论

结构更重要,attention tocken mixer。

脚本宝典总结

以上是脚本宝典为你收集整理的MetaFormer,探索transformer网络结构【读论文,网络结构】全部内容,希望文章能够帮你解决MetaFormer,探索transformer网络结构【读论文,网络结构】所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。
标签: