脚本宝典收集整理的这篇文章主要介绍了transformer 论文讲解，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

序列转录模型：给一个序列生成另外一个序列

本文仅仅使用了注意力集中机制没有用循环或者卷积

RNN缺点：1）无法并行  2）起初的隐藏信息可能会被丢掉，内存需要很大

起初attention用于将encoder的信息更好的传给decoder

encoder是想输入转变为一系列的向量，将x1-xn变为z1-zn Z是词所对应的向量

自回归：当前状态的输入需要依赖过去状态的输出

input embedding 嵌入层：输入变成一个个向量 

脚本宝典总结

以上是脚本宝典为你收集整理的transformer 论文讲解全部内容，希望文章能够帮你解决transformer 论文讲解所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。