Pytorch中RNN参数解释

发布时间:2022-06-21 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了Pytorch中RNN参数解释脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

 

其实构建rnn的代码十分简单,但是实际上看了下csdn以及官方tutorial的解释都不是很详细,说的意思也不能够让人理解,让大家可能会造成一定误解,因此这里对rnn的参数做一个详细的解释:

self.encoder = nn.RNN(input_size=300,hidden_size=128,dropout=0.5)

在这句代码当中:

  • input_size:表示输入句子但当中单词的维度,比如你将一个单词编码为100维度的one-hot 向量,那么这里应该使用input_size=100
  • hidden_size:表示每一个rnn神经单位向量(每一个隐匿层)的向量长度,多个rnn神经网络隐匿层就形成了我们的rnn
  • dropout:dropout的概率大小
  • num_layers:有多少层rnn的网络,往上堆叠多少层rnn

 

以上是对rnn结构的构建,之后我们来进行对rnn前向转播:

output,hn = self.encoder(encoder_input,encoder_hidden)

 这句代码当中,其中:

encoder_input:一共需要输入三个维度,分别是【seq_len, batch,word_dim】

  • seq_len:句子的长度
  • batch:有多少个句子
  • word_dim:单词的维度

encoder_hidden:也是具备三个维度,分别是【num_layers,batch,hidden_size】

  • num_layes:一共有多少层rnn
  • batch:有多少个句子
  • hidden_size:表示每一个rnn神经单位向量(每一个隐匿层)的向量长度,多个rnn神经网络隐匿层就形成了我们的rnn

然后就是我们的输出解释了:

  • hn:RNN的最后一个隐含状态(最后一个隐匿层上方的输出,而不是右边,右边是output)
  • output:所有节点的hn集合(所有隐匿层都会有一个隐匿状态的输出,而这个output是所有隐匿层上方的一个集合)

 

脚本宝典总结

以上是脚本宝典为你收集整理的Pytorch中RNN参数解释全部内容,希望文章能够帮你解决Pytorch中RNN参数解释所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。
标签: