基于强化学习的多层卫星网络边缘安全决策方法

多层卫星网络凭借其全球覆盖、高机动性、强抗毁性等优势,成为学术界和产业界的关注热点。然而,多层异构卫星网络如何依靠卫星节点的自主判决能力,发挥网络边缘场景中针对感知数据包含加解密和压缩在内的处理以及回传方面的任务协作相关问题亟待解决。鉴于此,确立了包含低轨卫星的多层卫星网络边缘模型,并提出了一种基于深度强化学习的数据压缩与加密回传决策方法,旨在以确保数据安全为前提,以低传输时延为目标,实现任务卫星在多层卫星网络架构中的边缘决策。仿真和分析表明,所提方法具备合理性和可行性,能够快速地实现收敛,且相比于多个启发式方法具备更优异的性能。     

基于深度强化学习的物联网传输数据实时调度方法

针对传统物联网传输数据实时调度方法的调度时间长,存在数据缺失的现象,提出了基于深度强化学习的物联网传输数据实时调度方法.采用深度强化学习采集物联网传输数据的特征序列样本,通过计算物联网传输数据的自适应转发特征量,建立了数据调度的频域均衡控制模型.根据模型判定物联网传输数据安全性,采用深度强化学习判别了物联网传输数据安全...     

基于强化学习的话务调度新模型

传统的话务调度一般采用排队轮询的方式,这种方式不能满足企业发展的需要,使得客服成为企业发展的瓶颈。文中利用遗传算法与神经网络算法实现话务调度过程中的多目标优化,并将优化结果与强化学习结合起来建立话务调度新模型,然后将该模型应用到某话务处理系统中。结果表明,该模型有效地提高了客服效率和客户满意度。     

基于NOMA用户中继的卫星网络性能分析

为了满足大规模数据接入以及高通信质量的需求,文章研究了基于非正交多址接入(NOMA)用户中继协作的卫星网络,并分析了中继用户1和受助用户2的中断性能和系统吞吐量,同时也考虑了非理想信道状态信息(CSI)对系统中断性能和吞吐量的影响.最后,通过数值仿真验证了分析结果的正确性.与正交接入(OMA)策略相比,借助NOMA策略...     

基于DDQN算法的混流车间作业动态自适应调度的研究

大规模生产的混流车间制造系统存在资源规模大、约束多等问题,快速找到合适的调度策略是实现高效生产的关键.为解决传统数学规划算法和启发式算法存在的策略求解效率低、自适应性差等问题,文章提出一种基于DDQN的智能车间动态自适应调度方法,对车间作业的自适应调度做了研究.通过一步一推理的自适用动态调度,可以高效地匹配合适的调...     

基于深度强化学习的流媒体边缘云会话调度策略

近些年来,以视频流媒体为首的新兴技术已经逐步占据网络总流量的重要部分.其中,视频流媒体中的网络视频服务互联网产业的推动作用下,已经逐步成为当代视频流媒体不可或缺的服务内容.在这样的发展态势下,传统流媒体服务系统已经难以适用于当前互联网发展规模当中.为及时解决这一问题,本文主要对基于深度强化学习的流媒体边缘云会话调度问题...     

基于改进小生境遗传算法的微波/光混合链路中继卫星资源调度方法

针对微波/光混合链路中继卫星系统多资源约束下的多目标综合调度问题,分析了微波与激光混合链路的主要特点和影响因素,建立了混合链路资源调度多目标约束规划模型;将小生境技术引入遗传算法,并设计了基于精英保留的选择机制和自适应的交叉、变异算子,提出了一种改进的小生境遗传算法对模型进行求解。所提算法可有效避免遗传算法局部优化能力差及容易陷入局部最优等缺陷,同时能够防止最优解的丢失,解决了混合链路多资源约束下的多目标综合调度问题。仿真结果表明,相对与传统的遗传算法,本文算法在保持种群多样性和求解全局最优解方面具有优势,有效解决微波/激光混合链路中继卫星系统的多目标综合调度问题。     

基于改进小生境遗传算法的微波/光混合链路中继卫星资源调度方法

针对微波/光混合链路中继卫星系统多资源约束 下的多目标综合调度问题,分析了微波与激光混 合链路的主要特点和影响因素,建立了混合链路资源调度多目标约束规划模型;将小生境技 术引入遗传 算法,并设计了基于精英保留的选择机制和自适应的交叉、变异算子,提出了一种改进的小 生境遗传算 法对模型进行求解。所提算法可有效避免遗传算法局部优化能力差及容易陷入局部最优等缺 陷,同时能够 防止最优解的丢失,解决了混合链路多资源约束下的多目标综合调度问题。仿真结果表明 ,相对与传统 的遗传算法,本文算法在保持种群多样性和求解全局最优解方面具有优势,有效解决微波/ 激光混合链路中继卫星系统的多目标综合调度问题。     

事件驱动下柔性作业动态调度优化方法

对于加工制造型企业,尤其是以批量小而品种多样为主要生产模式的情况下,经常发生紧急任务插入、设备突发故障等不可预测事件,这些事件阻碍了车间作业调度方案的实施,导致初始调度方案的完成时间延长、能耗增加。针对某制造企业在其产品生产加工过程中较为常见的紧急任务插入和设备突发故障这两种干扰事件,提出了遵循设备选择和刀具选择两方面柔性的作业动态调度优化方法。通过分析在干扰事件发生情况下工件加工的能耗等特性,将加工能耗、加工成本与完工时间三个方面作为目标,构建了以事件为驱动的动态调度优化模型,最后利用多目标遗传算法NSGA-Ⅲ对模型进行求解,验证了所提方法的有效性。     

基于深度学习的多波束卫星通信系统中动态波束调度技术研究

针对多波束技术为卫星通信系统带来更大用户容量,提升覆盖能力的同时,也面临波束控制难度高、资源浪费的问题。本文简要阐述了多波束天线的工作原理与波束调度方法,并基于深度学习分析了动态波束调度技术,在未考虑延时优化的前提下,利用线性规划得到适用稳态实践平均值的波束调度技术,希望提升一般波束调度方案适应环境动态变化的能力。     

深度学习支持下的无线异构网络中继决策分析

在无线异构网络中,中继节点的智能化决策直接影响网络的频谱效率、能量效率以及服务质量。针对无线异构网络的中继决策问题,文章提出一种基于深度Q网络的强化学习方法,概述了无线异构网络的组成及中继节点的作用,介绍了深度Q网络算法的优势及网络结构,定义了无线网络环境的状态空间、动作空间和奖励函数,构建了端到端的深度Q网络决策模型,最后通过仿真实验验证了文章所提方法的有效性。     

航电中继系统任务实时调度设计

研究了单处理器嵌入式实时系统的多任务优先级分配方法,首先,选择截止期单调(DM)优先级分配方法为实现航电中继系统的采集激励软件而划分的多任务分配优先级,然后,结合VxWorks的优先级抢占式调度算法对该任务集进行可调度性理论分析和计算,给出了基于VxWorks的数据采集激励软件的一般调度设计过程,最后,在基于该调度算法...     

基于深度强化学习的多AMR路径规划算法研究

针对箱式仓储环境下的多自主移动机器人(AMR)调度问题,传统动态路径规划算法(TDP)有解算可行路径效率低、系统实时性较差的缺点。针对这一问题,文中以时间最优为目标建立强化学习算法(RL)模型,用于提高多AMR同时调度的路径规划求解速度。此外,结合深度学习(DL)算法的优点,采用深度强化学习算法(DRL)有效缩短高维度、复杂工况下RL算法模型训练的收敛时间。仿真对比了TDP、RL和DRL三种算法模型,验证了DRL方法的有效性。     

基于深度分布式强化学习的电力系统分散协调调度方法

针对风、光等可再生能源发电不断并入电力系统,使配电网由被动逐渐转变为主动,由此需要主电网、主动配电网和微电网统一调度的问题,基于深度分布式强化学习方法,提出了电力系统分散协调的一体化调度方法。首先,基于传统经济调度模型,提出了主电网、主动配电网和微电网分散协调的调度模型;其次,对传统强化学习方法进行改进,提出了深度分布式强化学习协调模型;第三,将分散协调的深度强化学习方法应用至经济调度中,推导得到分散协调的经济调度方法;最后,以实际电网为例进行验证,表明了所提方法的有效性。     

基于多智能体强化学习的动态频谱分配方法

针对认知无线电网络中多个异质用户具有不同的服务质量(QoS)要求,提出一种基于多智能体强化学习的动态频谱分配方法.该方法从用户满意度角度出发,以用户体验质量(QoE)作为系统的评价指标,构建多个虚拟智能体,模拟多个用户以合作方式与环境进行交互学习,融合各个用户的学习和频谱决策结果,实现频谱资源优化分配.仿真结果表明,在...     

基于强化学习的多核芯片动态功耗管理框架

多核芯片可以为移动智能终端提供强大算力,但功耗和温度问题始终制约着其性能表现。针对这个问题,该文提出了一种基于强化学习的多核芯片动态功耗管理框架。首先,建立了一个基于GEM5的多核芯片动态电压频率调节仿真系统。然后,采用了一种考虑CMOS芯片物理特性的功耗模型构建方法以实现在线实时功耗监测。最后,设计了一种面向多核芯片的梯度式奖励方法,并使用深度Q神经网络(Deep Q Network, DQN)算法对多核芯片的功耗管理策略进行学习。仿真结果表明,相比于常规的Ondemand,MaxBIPS方案,该文所提出的框架分别实现了2.12%, 4.03%的多核芯片计算性能提升。     

基于深度强化学习的智能决策方法

针对传统深度强化学习算法难以快速解决长时序复杂任务的问题,提出了一种引入历史信息和人类知识的深度强化学习方法,对经典近端策略优化(Proximal Policy Optimization,PPO)强化学习算法进行改进,在状态空间引入历史状态以反映环境的时序变化特征,在策略模型中基于人类认知增加无效动作掩膜,禁止智能体进行无效探索,提高探索效率,从而提升模型的训练性能.仿真结果表明,所提方法能够有效解决长时序复杂任务的智能决策问题,相比传统的深度强化学习算法可显著提高模型收敛效果.     

基于强化学习的无人机中继网络节点轨迹优化

无人机在远程采集和传输数据时可能遇到频谱不足的问题,此时需要借助地面网络共享频谱,即部分无人机获得地面网络提供的额外频谱作为回报,另一部分无人机为地面网络提供中继服务。针对无线网络频谱共享系统中多个无人机的飞行调度问题展开了研究,提出了一种基于Q-Learning的无人机飞行调度算法。在多个无人机进行数据中继传输时,该算法结合了放大转发和解码转发的特点,采用自适应转发模式,以最大化系统吞吐量。仿真结果表明,所提的调度算法可以对两个网络的无人机数目进行合理的分配,使每个无人机能够找到各自的最优或者次优位置,从而实现较高的系统吞吐量。     

基于策略约束强化学习的算网多目标优化研究

算力网络需要在满足用户业务需求的基础上最大化系统性能指标,现有方法主要通过多目标加权进行转换和求解,存在超参数难以确定、跨场景适用性差等问题。在分析算网目标特性的基础上,基于策略约束强化学习,将业务需求作为约束、系统性能指标作为优化目标,通过价值—策略—超参数的多级迭代策略,实现算网对用户业务需求的期望确定性保障和对系统性能的最优化。同时,研究了针对超参数寻优的多尺度步长(multi-scale step length,MSL)方法,进一步提升了系统的稳定性和准确性。仿真结果表明,所提方法在系统架构和负载变化情况下均具有良好的收敛性和稳定性。