URLM: Utilising reinforcement learning to schedule subflows in MPTCP

Parallel transmission in multiple access networks using MultiPath TCP (MPTCP) greatly enhances the throughput. However, critical packet disorder is commonly observed due to traffic fluctuation and path diversity. Although several predictive scheduling algorithms have been proposed to solve this problem, they cannot accommodate prediction accuracy and real-time adaptation simultaneously in a dynamic network environment. The time overhead in modifying scheduling parameters to adapt to network changes leads to performance degradation in throughput and packet disorder. In this study, we propose a scheduling algorithm called U tilising R einforcement L earning to Schedule Subflows in M PTCP (URLM). We apply reinforcement learning to select an optimal scheduling parameter in real time, which brings significant time benefits for modifying the parameters. The simulation comparison experiments show that URLM reduces the average number of out-of-order packets and the time overhead in adapting to network changes while improving global throughput.     

基于竞争双深度Q网络的频谱感知和接入

认知用户通过频谱感知和接入过程识别频谱状态并占用空闲频谱,可有效利用频谱资源。针对频谱感知中存在感知错误和频谱接入中存在用户碰撞的问题,首先建立多用户多信道模型,设计频谱感知和频谱接入过程;然后通过结合双深度Q网络和竞争Q网络,设计竞争双深度Q网络,解决过估计问题的同时优化网络结构;最后通过智能体与所设计模型中状态、观测、回报和策略的交互,完成使用竞争双深度Q网络解决频谱感知和接入问题的一体化研究。仿真结果表明,相比于已有深度强化学习方法,使用竞争双深度Q网络得到的数值结果更稳定且感知正确率和信道利用率都提高了4%。     

互联网智能路由架构及算法

突发流量在网络中非常普遍,会严重损害用户体验。突发流量往往能在短时间（如毫秒级别）内充满链路,导致网络拥塞和频繁分组丢失,端到端时延增加。传统路由算法要么是流量无关（如 OSPF（open shortest path first,开放式最短路径优先））的,无法对实时流量的变化做出调整;要么是集中式控制的（如线性规划）,面临求解时延过大而无法有效应对突发流量的问题。提出了一种新的智能路由算法解决突发流量的问题。一方面,提出的算法能利用机器学习强大的建模能力,通过对网络历史数据的挖掘来学习“隐式”的路由决策依据。另一方面,提出的算法能借助机器学习的快速推理能力降低决策时延,提高系统对突发流量的响应速度。实验结果表明,在真实流量数据集下,相比较其他路由算法,提出的智能路由算法能降低13%～70%的瓶颈链路利用率。     

基于Q-Learning的多功能雷达认知干扰决策方法

针对多功能雷达和认知电子战的快速发展所导致传统干扰决策方法难以适应现代化战争的问题,提出了一种基于Q-Learning的多功能雷达认知干扰决策方法。通过对比认知思想和干扰决策原理,将Q-Learning运用于认知干扰决策中并提出了认知干扰决策的算法步骤。以某多功能雷达为基础,通过分析其工作状态及对应干扰样式构建雷达状态转移图,通过仿真试验分析了各参数对决策性能的影响,为应对实际战场提供参考。仿真了在新状态加入下的决策过程、实际战场中转移概率对决策路径的影响以及四种主要干扰决策方法的决策性能对比。试验表明,该方法能够通过自主学习干扰效果完成干扰决策,更加贴合实际战场,对认知电子战的发展有一定的借鉴意义。     

Distributed interference coordination based on multi-agent deep reinforcement learning

A distributed interference coordination strategy based on multi-agent deep reinforcement learning was investigated to meet the requirements of file downloading traffic in interference networks.By the proposed strategy transmission scheme could be adjusted adaptively based on the interference environment and traffic requirements with limited amount of information exchanged among nodes.Simulation results show that the user satisfaction loss of the proposed strategy from the optimal strategy with perfect future information does not exceed 11% for arbitrary number of users and traffic requirements.     

基于深度强化学习的端到端无人驾驶决策

端到端的驾驶决策是无人驾驶领域的研究热点.本文基于DDPG（Deep Deterministic Policy Gradient）的深度强化学习算法对连续型动作输出的端到端驾驶决策展开研究.首先建立基于DDPG算法的端到端决策控制模型,模型根据连续获取的感知信息（如车辆转角,车辆速度,道路距离等）作为输入状态,输出车辆驾驶动作（加速,刹车,转向）的连续型控制量.然后在TORCS（The Open Racing Car Simulator）平台下不同的行驶环境中进行训练并验证,结果表明该模型可以实现端到端的无人驾驶决策.最后与离散型动作输出的DQN（Deep Q-learning Network）模型进行对比分析,实验结果表明DDPG决策模型具有更优越的决策控制效果.     

基于Android平台的软件加固方案的设计与实现

本文在深入分析Android的系统架构、软件结构及其执行机制的基础上,提出和实现了一种基于classes.dex文件动态加载的Android软件加固方案,实现软件关键代码的隐藏,可以有效地对抗各种针对Android软件的逆向工程攻击。     

基于优先记忆库结合竞争深度Q网络的动态功率控制

针对认知无线电多用户的动态功率控制策略问题,提出了一种基于优先记忆库(Prioritized Experience Replay,PER)结合竞争深度Q网络（Dueling Deep Q Network,Dueling DQN）的功率控制方法。在不知道主用户的控制策略及发射功率情况下,次用户以下垫式接入到主用户信道进行传输任务。微基站收集到的接收信号强度信息作为环境状态信息输入到竞争深度Q网络中,经过训练和学习后,得到次用户的动态功率控制策略。实验结果表明,次用户经过深度强化学习后能够找到最优的功率控制策略,并且在环境参数发生变化时也能快速调整自身的行为和控制策略,提高了频谱利用率和网络能效。     

AI算法在车联网通信与计算中的应用综述

在5G时代,车联网的通信和计算发展受到信息量急速增加的限制。将AI算法应用在车联网,可以实现车联网通信和计算方面的新突破。调研了AI算法在通信安全、通信资源分配、计算资源分配、任务卸载决策、服务器部署、通算融合等方面的应用,分析了目前AI算法在不同场景下所取得的成果和存在的不足,结合车联网发展趋势,讨论了AI算法在车联网应用中的未来研究方向。     

钢薄壁圆筒体的吊装

介绍了钢薄壁圆筒体吊装方法的选择及吊点位置的确定 ,对于钢薄圆筒体局部失稳进行了分析 ,提出了相应的加固措施