脚本宝典收集整理的这篇文章主要介绍了简单梳理一下论文中的想法，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

　　最近看了一篇利用UAV搭载RIS保持IoTDs的信息新鲜度的论文：

　　现如今，普遍认为无线通信的普及会让物联网成为未来网络的推动者。通常来说，城市中的应用都十分依赖物联网的信息新鲜度、覆盖率和互通性。在论文中，先提出了AoI，即最近接收到的信息（状态更新）生成/采样所消耗的时间。同时，提到了RIS有以下优点：

（1）可以改善接收机接收到的信号并减少干扰

（2）由许多个无源低功耗低成本元件构成，每个元件都可以独立调节入射信号的相移

（3）根据配置相移，可以人为构造反射信号，提高物联网可靠性//为什么配置相移，就可以产生反射信号？

　　而UAV可以改善网络的互通性和覆盖率，不妨将两者结合起来构成aerial RIS(ARIS)：

　　用UAV搭载RIS作为中断节点，然后物联网（不同的激活模式）对城市里面的应用的信息进行采样、发射（s.t. SNR&AoI），通过RIS传递给基站，这样就不用穿过山体，造成信息的时延。//UAV功耗太大，飞行时间短？

　　这样处理有以下几个好处：

（1）因为RIS的工作模式为FD（全双工中断模式），故只需要一个time slot。//为什么全双工就只需要一个time slot

（2）UAV不用处理中断信息，减少功耗以增加飞行时间。

（3）集成UAV和RIS，减少了无线网络资源，降低了UAV功耗。//这里不是很明白，为什么会减少无线网络资源？

　　同时，为了最小化AoI,该ARIS框架带来了三个问题：

（1） considering the SNR constraints

（2）UAV altitude consraint

（3）IoTDs scheduling constraints

　　在UAV飞行之前，需要对UAV进行离线处理优化的部署规划，但是我们并不知道IoTDs的激活模式。

　　故，在该论文中使用了基于PPO算法的DRL框架，解决了在UAV飞行之前我们无法提前得知IoTDs的activation pattern（激活模式？）的问题

一、DRL（Deep reforcement learning）

　　以飞行射击游戏为例，让机器控制飞机完成向左、向右和射击三个简单操作。

agent先观察environment(游戏图像)，获得游戏的state(s₁)，再根据policy选择一个action。agent采取action之后，environment会发生一定的改变（即state发生变化，产生s₂），同时反馈给agent一个reward。agent再根据reward可能改变action。这就是利用马尔科夫决策过程（MDP）对学习过程进行形式化。

　　显然，机器需要进行大量的练习以此学会最大化reward。值得一提的是，并不是有人去教机器如何操作以达到最大化reward，而是机器自己通过不断的练习找到最大化reward的方法。

policy θ   

马尔可夫决策过程（MDP）

 

 

 

PPO

 

脚本宝典总结

以上是脚本宝典为你收集整理的简单梳理一下论文中的想法全部内容，希望文章能够帮你解决简单梳理一下论文中的想法所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。