密集观测场景下的敏捷成像卫星任务规划方法

针对密集观测场景下敏捷成像卫星任务规划问题求解空间大、输入任务序列较长的特点,综合考虑时间窗口约束、任务转移时卫星姿态调整时间、存储约束和电量约束,对敏捷成像卫星任务规划问题进行建模. 提出融合IndRNN和Pointer Networks的算法模型（Ind-PN）对敏捷成像卫星任务规划问题进行求解,使用多层的IndRNN结构作为算法模型的解码器. 基于Pointer Networks机制对输入任务序列进行选择,使用Mask向量考虑敏捷成像卫星任务规划问题中的各类约束. 基于Actor Critic强化学习算法对算法模型进行训练,以获得最大的观测收益率. 实验结果表明,对于密集观测场景下的任务规划,Ind-PN算法的收敛速度更快,可以获得更高的观测收益率.     

基于多层BiLSTM和改进粒子群算法的应用负载预测方法

为了解决常用时序预测算法精度不高和调参困难的问题,提出基于多层双向长短期记忆（BiLSTM）神经网络的负载预测方法,包括网络模型设计、自适应参数设置和改进粒子群算法优化等步骤. 将数据输入网络模型中进行训练,使用自适应算法进行自动调参;采用基于基准模型的多指标融合的模型评价方法,计算改进粒子群算法的适应度;使用改进粒子群算法优化模型的预测结果. 通过与多种典型时间序列预测算法的实验对比,方法的预测平均绝对百分比误差减小3.6%~7.2%,训练时间缩短10%以上,实验结果验证了方法在时间序列预测中具有更高的准确性和很强的适用性,为使用负载预测结果进行弹性扩缩容提供了重要的科学依据.     

不确定环境下复杂产品维护、维修和大修服务资源调度优化

基于对复杂产品维护、维修和大修（MRO）协同服务资源调度的需求分析,从现实角度出发,建立资源调度时间和服务执行时间参数不确定条件下的随机机会约束规划数学模型. 提出由随机模拟、神经网络和离散粒子群优化算法组合成的混合智能算法,求解所提出的优化问题. 随机模拟方法为所建立的神经网络模型提供训练样本集,得到的训练样本集被用于训练神经网络模型以逼近优化目标函数,训练后的神经网络模型被用于代替优化目标函数来执行粒子群算法优化迭代. 该混合算法能有效提升时间参数不确定条件下的复杂产品MRO协同服务资源调度双目标优化问题的求解速度. 案例分析表明,相比于确定性条件下的优化算法,所提出的随机机会约束规划模型和混合算法更适用于求解现实中不确定条件下的MRO服务资源调度问题,所求得的调度方案在实际执行中具有更好的鲁棒性.     

软时间窗和匹配运输下的供应链配送网络优化

针对客户和供应商匹配运输下的供应链配送网络优化问题,在模型中加入客户软时间窗约束、车辆最大行驶距离约束以及设施容量约束,建立了全新的0—1整数规划模型,采用基于整数编码和交换序的离散粒子群优化算法来求解。通过算例将标准粒子群算法（PSO）、局部版粒子群算法（LPSO）和离散粒子群算法（DPSO）的运行结果进行比较,结果表明,DPSO算法可以减少迭代次数,并获得问题的最优解。     

面向移动目标连续侦察的电子侦察卫星任务规划方法研究

针对移动目标连续侦察电子侦察卫星任务规划问题,基于电子侦察卫星系统任务需求分析,首先对问题进行了合理的假设与简化,分析了电子侦察组网卫星对移动目标进行连续侦察的基本过程,建立了面向移动目标连续侦察的电子侦察卫星任务规划约束满足问题(constraint satisfy problem,CSP)模型,设计了求解模型的基于分群机制的改进粒子群优化(particle swarm optimization,PSO)算法。仿真案例的实验结果表明:该模型和算法能有效解决电子侦察卫星对移动目标连续侦察的任务规划问题。     

基于免疫算法的电力通信网线路规划方法

为了合理规划建设经济可靠的电力通信网络,提出了一种基于免疫算法的电力通信网线路规划方法,综合考虑了网络的经济性、可靠性和业务分布因素.基于站点成环率构造出网络可靠性函数,结合业务分布情况设计了电力通信网线路规划的问题模型,并利用免疫算法进行求解.该方法采用多目标优化模型,能在一定程度上提高规划方案的灵活性和全面性.仿真结果表明,在面对不同站点成环率约束的情况下,该方法均能提供有效的线路规划方案.     

基于Cycle-GAN和改进DPN网络的乳腺癌病理图像分类

针对病理图像染色不均匀及良恶性难以鉴别的问题,提出基于Cycle-GAN和改进的双路径网络（DPN）的算法框架. 利用Cycle-GAN进行颜色归一化处理,解决因病理图像染色不均匀导致的检测模型精度偏低问题,通过对图像进行重叠切片,基于DPN网络采用增加小卷积、反卷积和注意力机制,增强模型对病理图像纹理特征的分类能力. 在BreaKHis数据集上的实验结果表明,所提算法有效提高了乳腺癌病理图像良恶性分类的准确性.     

变信赖域序列凸规划RLV再入轨迹在线重构

针对可重复使用运载器（RLV）的再入轨迹重构问题,提出一种基于变信赖域序列凸规划的RLV再入轨迹快速求解方法. 首先,通过离散化及对非凸约束的线性化处理,将RLV的非凸轨迹优化问题转换为凸优化问题,然后通过序列凸规划方法对凸优化问题进行求解. 在序列凸规划求解过程的初始迭代中,采用预测校正算法对初值猜测轨迹进行设计,确定轨迹求解的终端时间;在后续迭代过程中,设计基于优化性能指标的信赖域更新策略,提升算法的收敛性能. 在轨迹快速求解方法的基础上,考虑RLV再入过程中可能发生的突发事件,如实际轨迹大幅度偏离参考轨迹或目标点变更,基于变化的初值约束及终端约束在线重构轨迹,并结合重构轨迹和LQR（Linear quadratic regulator）方法设计再入制导律实现对重构轨迹的有效跟踪. 最后,将此设计方法与Gauss伪谱法及传统序列凸规划算法进行仿真对比验证. 仿真结果表明:变信赖域序列凸规划方法相较于伪谱法和传统的序列凸规划方法在轨迹求解实时性及收敛性方面有较大的提升,具备应用于轨迹在线重构的能力,此外,所提出的轨迹在线重构方法具备良好的鲁棒性以及抗扰性.     

基于模型预测控制的仿人机器人实时步态优化

为了提高仿人机器人在行走过程中的抗干扰能力,提出基于模型预测控制（MPC）的步态生成与优化策略. 基于飞轮倒立摆模型（IPFM）,建立系统状态空间模型. 给定落脚点参考位置和躯干旋转参考角度,提出包含质心（CoM）轨迹生成、落脚点调整和躯干旋转角度优化的多目标惩罚函数;考虑足部支撑范围、落脚点变动范围等可行性约束,建立二次规划（QP）求解模型. 利用开源求解器,实现最优质心轨迹、足部落脚点和躯干旋转角度的在线生成. 通过仿真验证了该算法的可行性和有效性. 结果表明,每个控制循环在2 ms内完成,满足实时控制需求;该方法能够利用躯干旋转以实现更大范围变步行参数的稳定行走;与只调整落脚点相比,机器人对各个方向外力的抵抗能力都有提高.     

量子自注意力神经网络的时间序列预测

在“量子-经典”混合模式下,设计了多头量子自注意力神经网络预测模型（MQSAPN）用以进行时间序列预测,模型包括多头量子自注意力模块以及变分量子线路预测模块两部分。通过对输入数据按时间步长分别进行量子态编码以及K、Q、V的计算,借鉴已有研究使用高斯函数进行自注意力系数的估计方式,将量子自注意力特征提取后的数据再次编码到变分预测线路中,经过线路演化及测量,最终获取预测结果。完整流程与模型搭建均采用VQNet框架实现。在天气学变量的时间序列预测任务中,该模型表现出与经典多头自注意力模型预测模型以及长短期记忆单元网络模型相当的预测精度。此外,相对于同样是量子机器学习的data-reuploading变分线路而言,在近乎同等规模线路深度与参数量的前提下,表现出更高的预测精度,这也进一步验证了引入量子自注意力机制的有效性。值得指出的是,作为预测部分的变分线路会随着输入数据量的增多（如时间窗加长、特征变量规模增加等）,其参数量与线路深度也会显著增加,尽管多层QSA能够较好地进行特征表达,但依然有可能因遇到“贫瘠高原”困难而成为整个网络的瓶颈。     

一种改进dueling网络的机器人避障方法

针对传统增强学习方法在运动规划领域,尤其是机器人避障问题上存在容易过估计、难以适应复杂环境等不足,提出了一种基于深度增强学习的提升机器人避障性能的新算法模型。该模型将dueling神经网络架构与传统增强学习算法Q学习相结合,并利用两个独立训练的dueling网络处理环境数据来预测动作值,在输出层分别输出状态值和动作优势值,并将两者结合输出最终动作值。该模型能处理较高维度数据以适应复杂多变的环境,并输出优势动作供机器人选择以获得更高的累积奖励。实验结果表明,该新算法模型能有效地提升机器人避障性能。     

基于强化学习的机器人曲面恒力跟踪研究

针对机器人末端执行器和曲面工件接触时难以得到恒定接触力的问题,建立机器人末端执行器与曲面工件的接触模型.构建曲面接触力坐标系与机器人传感器测量坐标系之间的关系,利用基于概率动力学模型的强化学习（PILCO）算法对模型输出参数与接触状态的关系进行学习,对部分接触状态进行预测,强化学习根据预测的状态优化机器人位移输入参数,得到期望跟踪力信号. 实验中,将强化学习的输入状态改为一段时间内的状态平均值以减少接触状态下信号的干扰. 实验结果表明,利用PILCO算法在迭代8次后能够得到较稳定的力,相比于模糊迭代算法收敛速度较快,力误差绝对值的平均值减少了29%.     

多重威胁下的无人机自主避障航迹规划

无人机作为一种新兴的无人作战力量和不可或缺的民用设备,现已渐渐融入到国家安全和社会发展中的各个方面,航迹规划是保障无人机顺利完成既定任务的核心环节.为解决规划空间存在诸多静态和动态威胁的实时航迹规划问题,提出了一种基于滚动时域的无人机自主避障航迹规划方法.首先将航迹规划模型构建为单目标函数优化问题,根据无人机简化运动学模型和约束条件,采用滚动优化策略生成最优航迹序列;然后对最优航迹序列之间的航迹再一次采用滚动优化策略产生子序列,综合考虑威胁和飞行约束,利用负梯度下降法搜索航路点,采用遗传算法对子序列进行规划;最后经反复滚动迭代优化可得近似全局最优航迹,同时利用贝塞尔曲线对航迹进行处理,使其表征实际的飞行航迹.实验仿真结果表明:验证了模型的合理性和方法的有效性;具有良好的威胁规避能力并能规划出一条光滑航迹;与全局规划方法相比,该方法减少了收敛时间,实时性更强,能够快速、鲁棒地收敛到近似全局最优解.     

一种招投标机制的多星自主协同任务规划方法

针对多星自主协同遥感背景下非预期任务的快速响应问题,考虑到星上计算资源有限、计算能力较弱等特点,为寻找一种满足星上自主任务规划能力需求的优化算法,提升遥感卫星星群在非预期情况下的快速响应能力,通过多星自主协同规划问题建模、算法设计和仿真分析等模型及算法研究,提出了一种基于招投标机制的自主任务规划方法.该方法首先针对多星自主协同任务规划问题,构建了星上自主任务规划的数学模型,进而在问题求解过程中将一次完整的任务规划合理分解为招标、投标和评标3个过程,并详细设计了求解流程及相应的约束检验规则,由此得到基于招投标机制的多星自主协同任务规划求解算法.该方法与常用智能优化方法相比,能够显著降低计算量,更加适应星上紧张的计算资源约束.通过仿真算例结果表明,针对典型的非预期任务,算法平均仿真运行时间约为1 s,能够在40 s内完成对非预期任务的响应,并且充分保证了原规划任务的完成率,基于此验证了该方法的有效性与正确性.     

Solution to reinforcement learning problems with artificial potential field

A novel method was designed to solve reinforcement learning problems with artificial potential field. Firstly a reinforcement learning problem was transferred to a path planning problem by using artificial potential field（APF）, which was a very appropriate method to model a reinforcement learning problem. Secondly, a new APF algorithm was proposed to overcome the local minimum problem in the potential field methods with a virtual water-flow concept. The performance of this new method was tested by a gridworld problem named as key and door maze. The experimental results show that within 45 trials, good and deterministic policies are found in almost all simulations. In comparison with WIERING＇s HQ-learning system which needs 20 000 trials for stable solution, the proposed new method can obtain optimal and stable policy far more quickly than HQ-learning. Therefore, the new method is simple and effective to give an optimal solution to the reinforcement learning problem.     

基于集成深度学习的时间序列预测模型

基于高斯过程的条件受限玻尔兹曼机(GCRBM)时序模型可以很好的预测单一种类时序数据,但是该模型难以预测多类别的真实高维数据。针对这个问题,提出基于集成深度学习的时间序列预测模型,对多类时序对应训练多个深可信网络(deep belief networks, DBN)模型来学习低维特征,利用低维特征对应训练多个GCRBM时序模型。预测时序时先通过训练出的一组DBN模型对目标数据进行降维并通过重建误差识别类别,然后通过识别到的类别所对应的GCRBM模型预测目标数据的后期时序。在CASIA-A步态数据集上的试验结果表明:本方法能够准确识别出步态序列,而且预测结果能够模拟出真实的步态序列,证实了本模型的有效性。     

采用混合遗传算法的敏捷卫星自主观测任务规划

为改进敏捷卫星观测大规模地面目标点时传统的遗传算法求解效率低下的问题,提高智能优化算法的求解效率,改进了传统的遗传算法,提出了禁忌退火遗传混合算法。首先,考虑到航天器在观测地面目标点的过程中所面临的时间约束、姿态轨道动力学约束等多种约束条件,建立了相应的适应度函数。所提出的适应度函数能够兼顾高观测收益与低观测能耗,反应了实际工程问题的观测需求。随后,为改进传统遗传算法的变异过程,提出了禁忌退火变异方法。这一变异方法在个体变异寻优的过程中,引入了禁忌搜索方法与Metropolis法则,提高了算法搜寻到全局最优解的概率,加快了算法的收敛速度。研究结果表明,与传统的遗传算法相比,禁忌退火遗传混合算法节省了约40%的算法运行时间,该算法的运行效率也高于退火遗传算法、禁忌遗传算法等其他种类改进的遗传算法,从而验证了禁忌退火遗传混合算法求解敏捷观测卫星任务规划问题的高效性。     

Cooperative Multi-Agent Reinforcement Learning with Constraint-Reduced DCOP

Cooperative multi-agent reinforcement learning (MARL) is an important topic in the field of artificial intelligence,in which distributed constraint optimization (DCOP) algorithms have been widely used to coordinate the actions of multiple agents.However,dense communication among agents affects the practicability of DCOP algorithms.In this paper,we propose a novel DCOP algorithm dealing with the previous DCOP algorithms' communication problem by reducing constraints.The contributions of this paper are primarily threefold:① It is proved that removing constraints can effectively reduce the communication burden of DCOP algorithms.② An criterion is provided to identify insignificant constraints whose elimination doesn't have a great impact on the performance of the whole system.③ A constraint-reduced DCOP algorithm is proposed by adopting a variant of spectral clustering algorithm to detect and eliminate the insignificant constraints.Our algorithm reduces the communication burdern of the benchmark DCOP algorithm while keeping its overall performance unaffected.The performance of constraint-reduced DCOP algorithm is evaluated on four configurations of cooperative sensor networks.The effectiveness of communication reduction is also verified by comparisons between the constraint-reduced DCOP and the benchmark DCOP.     

一种无线传感器网络能量均衡路由算法

将无线传感器网络路由视作一种不完全信息的序列决策问题,针对传感器网络能耗不均的问题,提出了一种基于强化学习预测的能量均衡路由算法EBRRLP.该算法通过强化学习预测转发节点的行为,并利用ε贪婪策略选择预测值最优的节点发送数据,事后采取委托-代理激励制度抑制转发节点的自私性,维护节点的最大效用.仿真实验结果表明,EBRRLP算法具有较好的预测效果和较高的吞吐量,能有效降低能量损耗并均衡能量负载,其性能优于现有的其他算法.