基于多智能体Actor-Critic算法的异构网络能效优化

为了最大限度地提高异构网络（Heterogeneous Hetworks,HetNets）的能量利用率,本文将能效优化问题设计为一个多级决策问题,根据优化目标的资源分配,首先将初始问题分解为对参数ABS（几乎空白子帧,Almost Blank Subframe）比例和CRE（小区间范围扩展,Cell Range Expansion）进行优化的两个子问题,采用多智能体Actor-Critic（Multi-Agent Actor-Critic,MAAC）算法对子问题进行求解,然后通过迭代各优化子问题的解,解决初始优化问题。在参数优化过程中,将单个小基站作为一个智能体,采用MAAC算法对各自CRE寻找最优解,实现小区间异步CRE优化。实验结果表明,该方法在保持能效稳定提高的前提下,相比较于表格式Q学习的循环Q学习算法,其收敛速度提高了40％,并且通过异步优化CRE的方式取得了基站间更均衡的负载。     

飞机铝合金收口拉杆的设计研究

针对传统铆接拉杆设计、装配复杂繁琐的缺点,提出了一种铝合金收口拉杆的设计方法。文中主要从管体的材料种类、收口段的尺寸设计、表面防护处理及试验等方面进行了详细阐述。最终表明,收口拉杆的设计刚度强度好、重量轻、装配方便,同时该方法已经应用到某型飞机的操纵系统设计中,因此收口拉杆的设计方法不仅具有研究意义,更具有一定的实用价值。     

D2D通信网络中基于深度强化学习的能效优化

为了解决移动通信网络中频谱资源短缺、链路间干扰严重以及能耗较高等问题,针对设备到设备（Device to Device,D2D）网络提出一种分布式框架的深度强化学习算法,采用双Q和竞争结构解决状态空间过大和Q值高估的问题,通过引入无线携能技术有效地补偿了系统能耗,在蜂窝用户最低和速率要求以及D2D用户功率分流比等非线性约束条件下,基于变化的位置和信道状态信息,同步分配资源块、D2D用户发射功率和功率分流比,实现能效最优化。仿真结果表明,在保证蜂窝用户和速率的前提下,所提方案在D2D总能效方面优于基线算法,在具有大规模移动用户的通信网络中鲁棒性更强。     

D2D通信中基于深度强化学习的资源分配

设备到设备(D2D)通信能够以蜂窝设施为基础来提高资源利用率、用户吞吐量和节省电池能量。在D2D网络中,模式选择和资源分配是关键问题。为了提高D2D通信的和速率与频谱利用效率,提出一种联合模式选择、功率和资源块分配的方案。首先根据用户地理位置选定模式选择标准,帮助用户选择相应的通信模式;然后针对复用通信模式,使用基于深度强化学习的异步优势动作评价(A3C)算法为不同的D2D用户分配资源块和功率。仿真结果表明,本文提出的基于A3C算法的联合优化方案收敛速度快,并且性能相对于其他算法较好。