结合强化学习自适应候选框挑选的SAR目标检测方法

大场景合成孔径雷达(SAR)图像相对于通用光学图像,复杂背景杂波对目标特征提取影响更大,由于传统基于候选框的深度目标检测算法会在整张特征图上产生大量冗余候选框,因而在SAR图像复杂背景杂波影响下会产生大量的虚警,降低目标检测精度。针对该问题,该文基于Faster R-CNN检测模型,提出结合强化学习自适应候选框挑选的SAR目标检测方法。该方法能够通过强化学习自适应搜索特征图中可能含有目标的区域,并挑选搜索区域内的候选框继续进行分类、回归。通过准确搜索到含有目标的区域,可以减少复杂背景杂波的影响并减少传统强化学习应用于检测问题的计算量。所提方法利用强化学习序列决策的特点,能够根据图像信息通过强化学习迭代搜索自适应确定图像中可能含有目标的搜索区域的位置。同时,该方法通过在强化学习中使用距离约束,可以根据之前的搜索结果自适应调整下一次搜索区域的尺寸。基于实测数据的实验结果表明,所提方法能够提升传统深度学习目标检测方法的检测性能。      

基于强化学习的部分线性离散时间系统的最优输出调节

针对同时具有线性外部干扰与非线性不确定性下的离散时间部分线性系统的最优输出调节问题, 提出了仅利用在线数据的基于强化学习的数据驱动控制方法. 首先, 该问题可拆分为一个受约束的静态优化问题和一个动态规划问题, 第一个问题可以解出调节器方程的解. 第二个问题可以确定出控制器的最优反馈增益. 然后, 运用小增益定理证明了存在非线性不确定性离散时间部分线性系统的最优输出调节问题的稳定性. 针对传统的控制方法需要准确的系统模型参数用来解决这两个优化问题, 提出了一种数据驱动离线策略更新算法, 该算法仅使用在线数据找到动态规划问题的解. 然后, 基于动态规划问题的解, 利用在线数据为静态优化问题提供了最优解. 最后, 仿真结果验证了该方法的有效性.     

不确定性环境下基于深度强化学习的综合能源系统动态调度

随着综合能源系统中间歇性能源和负荷不确定性的逐步增强,传统的调度方法局限于固定物理模型及参数设定,难以较好地动态响应源荷的随机波动。针对这一问题,提出了一种基于深度强化学习的综合能源系统动态调度方法。首先,以数据驱动方式构建面向综合能源系统的深度强化学习模型,通过智能体与综合能源系统的持续交互,自适应学习调度策略,降低对物理模型的依赖程度。其次,通过添加随机扰动的方式表征源荷不确定性变化特征,针对不确定性变化特征改进深度强化学习模型的状态空间、动作空间、奖励机制以及训练流程等关键环节,并经由近端策略优化算法优化求解,实现了综合能源系统的动态调度决策。最后,通过算例仿真验证了所提方法在不同时间尺度以及不确定性环境下的可行性和有效性。     

基于协同强化学习的微电网分布式两级电压优化控制

由于微电网中分布式电源组成复杂,运行模式多样,孤岛微电网的电压恢复控制面临着不确定性干扰的影响。为此,针对不确定性干扰下微电网的二级电压恢复控制问题,提出了一种基于协同强化学习的微电网分布式两级电压优化控制方法,实现孤岛模式下微电网的电压调节控制。首先构建孤岛微电网分布式一致性协同电压控制算法,并建立李雅普诺夫函数稳定性判定方法。其次根据控制器性能与控制器增益参数的关系,求解孤岛微电网电压控制器增益上界,并根据控制器增益参数上界限制强化学习智能体动作集。随后,采用强化学习算法优化二级控制器增益参数,给出相应的强化学习智能体状态集、协同全局奖励函数。最后在Matlab/Simulink上通过仿真实验验证了所提出的控制方法的有效性和适应性。     

基于改进深度强化学习的电动汽车充换电站调度技术

由于电动汽车充换电站的请求存在明显的多样化特征,导致充换电站的负荷波动性较大,为此,提出基于改进深度强化学习的电动汽车充换电站调度技术研究。基于LSTM构建了充换电站需求响应模型,并设置了搜索区间的边界位置,以此得出最优的充换电站需求响应方案,利用卷积神经网络对实现对电动汽车充换电站调度的寻优,得出匹配最优的充换电站需求响应方案的调度结果。测试结果表明,设计调度技术可以实现电动汽车充换电站负荷曲线出现相对稳定的状态,未出现超负荷的情况。     

增材316L不锈钢的激光冲击强化研究

增材制造与激光冲击强化技术相结合,以提高增材制造打印产品的力学性能。本文以316L不锈钢粉末为实验原料,通过同轴送粉式增材制造工艺获得实验试件;利用SIA LSP 23系列激光冲击强化系统在不同激光能量下对增材316L不锈钢试件进行处理,研究了增材316L不锈钢实验试件激光冲击强化处理前后的残余应力、显微硬度和抗拉强度。经激光冲击强化处理,增材316L不锈钢近表面引入了残余压应力、并伴随着显微硬度和抗拉强度的显著提高;所引入的残余压应力、显微硬度和抗拉强度随激光能量的增加而增加,表明较高的激光能量能够获得较好的激光冲击强化效果;激光冲击强化作用后的增材316L不锈钢的截面显微硬度分布规律与残余应力分布规律类似,但显微硬化层深度要比残余压应力层深度要深0.15～0.25mm。激光冲击强化可作为一项后处理技术用来提高增材制造打印产品的力学性能。     

硅基微波光子波束形成器研究进展

微波波束形成器是相控阵雷达、5G通信基站等射频发射系统中的核心器件。近年来硅基微波光子波束形成器以其带宽大、尺寸紧凑、重量轻、损耗低、抗电磁干扰等优势成为微波光子学中的研究热点之一。文章从微波光子波束形成的基本原理和性能指标出发,总结了近年来应用于微波光子波束形成器的多种集成可调光学真延迟线结构和波束形成网络架构,并介绍了微波光子波束形成系统集成芯片和自动化控制的最新进展,最后对硅基微波光子波束形成器的未来发展进行了展望。     

基于深度强化学习的无人机间通信链路智能决策

由于无人机组网灵活、快速、低成本的特性,空中基站被视为在未来无线通信中有前景的技术。无人机集群可以通过相互协调和合作,完成的复杂任务,具有重大的研究和实用价值,而无人机间的高效通信是当下面临的重大挑战。为了在满足无人机间通信速率的前提下,尽可能节省发射功率,本文提出基于深度强化学习的集群方案和功率控制的智能决策算法。首先,本文设计了三种无人机集群方案,以对地面用户提供无缝的无线覆盖;然后,本文提出了基于深度Q网络（Deep Q-network）算法的集群方案和功率控制决策算法,用深度神经网络输出不同条件下联合决策的无人机集群方案和发射功率,并研究了重要性采样技术,提高训练效率。仿真结果表明,本文提出的深度强化学习算法能够正确决策无人机集群方案和发射功率,与不带强化学习的深度学习（Deep Learning Without Reinforcement Learning, DL-WO-RL）算法相比,用更低的发射功率满足无人机之间的通信速率要求,并且重要性采样技术能够缩短DQN算法的收敛时间。      

一种加载铁氧体磁环的高功率宽带巴伦

针对高功率天线的差分馈电和阻抗匹配问题,文中提出了一种基于同轴线结构加载铁氧体磁环的宽 带巴伦模型。双同轴线具有阻抗变换功能和较好的功率承载能力,铁氧体磁环改善了巴伦在低频时的输入匹配和 两个输出端口不平衡度。仿真和实测表明,此巴伦在0. 05~1. 24 GHz 内回波损耗低于-10 dB,去除3. 0 dB 系统插损 后单端插入损耗在1. 5 dB 以内,两端输出的相位不平衡度在5°以内,幅度不平衡度在2%以内。通过分析巴伦的电 磁热损耗场、温度场和应力形变场,验证了巴伦在高功率馈电下的工作性能,结果表明此巴伦在工作频带内能够承 受500 W 的功率。     

微波真空电子器件的发展与应用

根据真空电子器件的工作原理,其百年发展史可分为三个阶段:以静电控制的普通电子管阶段、以动态控制原理工作的微波真空电子器件阶段、基于相对论效应的新型器件阶段,每个阶段的代表管型在各自的应用领域都发挥了重要的作用。随着电磁波谱的开发利用,微波真空电子器件的技术水平向高频率、高功率、高效率方向发展,推动着军用装备和工业应用的不断拓展,特别在航天领域有长足发展。本文综述微波真空电子器件在厘米波段、毫米波段和太赫兹波段技术发展和装备应用概况,探讨未来的发展方向。