基于深度强化学习的机器人运动控制研究进展

复杂未知环境下智能感知与自动控制是目前机器人在控制领域的研究热点之一,而新一代人工智能为其实现智能自动化赋予了可能.近年来,在高维连续状态-动作空间中,尝试运用深度强化学习进行机器人运动控制的新兴方法受到了相关研究人员的关注.首先,回顾了深度强化学习的兴起与发展,将用于机器人运动控制的深度强化学习算法分为基于值函数和策略梯度2类,并对各自典型算法及其特点进行了详细介绍;其次,针对仿真至现实之前的学习过程,简要介绍5种常用于深度强化学习的机器人运动控制仿真平台;然后,根据研究类型的不同,综述了目前基于深度强化学习的机器人运动控制方法在自主导航、物体抓取、步态控制、人机协作以及群体协同等5个方面的研究进展;最后,对其未来所面临的挑战以及发展趋势进行了总结与展望.     

基于高维纠缠态的量子密钥分发协议

为了提高量子密钥分发的效率和安全性,利用高维Hilbert空间中的Bell态和Hadamard门设计了一种量子密钥分发协议。首先通过量子态的动态演变验证了三维Bell纠缠态在Z基和X基下具有不同的表示特性,然后以此为基础进行协议设计,其中利用Z基测量来检测窃听,利用X基测量来产生密钥。安全性分析表明,该协议可以抵抗截获重发、纠缠附加粒子和特洛伊木马三种常见的攻击。最后将协议与其他方案进行了比较,该协议在保证量子比特效率50%的基础上,安全性也有所提升。     

融合指标分组的高维混合多目标进化优化

高维混合多目标优化问题因包含多个不同类型指标,目前尚缺乏有效求解该问题的进化优化方法。提出一种基于目标分组的高维混合多目标并行进化优化方法。采用深度学习神经网络预测种群隐式性能指标;基于指标相关性,将高维混合多目标优化问题分解为若干子优化问题;采用多种群并行进化算法,求解分解后的每一子优化问题,并基于各子种群的非被占优解构建外部保存集;采用聚合函数对外部保存集个体进一步优化,得到Pareto最优解集。在室内布局优化问题中验证所提方法,实验结果表明,所提方法的Pareto最优解在收敛性、分布性以及延展性等方面均优于对比方法。     

多种群并行协作的粒子群算法

针对高维复杂优化问题在求解时容易产生维数灾难导致算法极易陷入局部最优的问题,提出一种能够综合考虑高维复杂优化问题的特性,动态调整进化策略的多种群并行协作的粒子群算法。该算法在分析高维复杂问题求解过程中的粒子特点的基础上,建立融合环形拓扑、全连接形拓扑和冯诺依曼拓扑结构的粒子群算法的多种群并行协作的网络模型。该模型结合3种拓扑结构的粒子群算法在解决高维复杂优化问题时的优点,设计一种基于多群落粒子广播-反馈的动态进化策略及其进化算法,实现高维复杂优化环境中拓扑的动态适应,使算法在求解高维单峰函数和多峰函数时均具有较强的搜索能力。仿真结果表明,该算法在求解高维复杂优化问题的寻优精度和收敛速度方面均有良好的性能。     

偏好向量引导的高维目标协同进化算法

多偏好向量引导的协同进化算法（PICEA-g）是将目标向量作为偏好,个体支配目标向量的个数作为适应值,以有效降低高维目标空间中非支配解的比例.但PICEA-g所获解集是近似Pareto前沿,而不是决策者真正感兴趣部分的Pareto最优解,导致算法在处理高维优化问题时性能下降和计算资源的浪费.鉴于此,提出一种基于偏好向量引导的高维目标协同进化算法（ASF-PICEA-g）：首先,利用ASF扩展函数将进化种群中的参考点映射至目标空间,并将其作为偏好向量引导种群进化的参考方向;然后,利用偏好区域选择策略获取两个临时参考点,进而构建决策者感兴趣区域（ROI）,确定随机偏好集产生的上下界范围,通过协同进化机制引导种群朝偏好区域收敛.将ASF-PICEA-g与g-NSGA-II和r-NSGA-II在3-20维的WFG系列和DTLZ系列测试函数上进行仿真实验,实验结果表明：ASF-PICEA-g在WFG系列测试函数上表现出了良好的性能,所得解集整体上优于对比算法;在DTLZ系列测试函数上略优于对比算法,尤其在10维以上目标空间,ASF-PICEA-g表现出更好的稳定性,所获解集有较好的收敛性和分布性.     

基于低秩表示的鲁棒回归模型

现有的线性回归方法不能有效处理噪声和异常数据。针对这一问题,结合低秩表示和鲁棒回归方法构建模型LR-RRM。利用低秩表示方法以有监督的方式检测数据内的噪声和异常值,从原始数据的低维子空间中恢复数据干净部分,并将其应用于线性回归分类,从而提升回归性能。在Extend YaleB、AR、ORL和PIE人脸数据集上的实验结果表明,与标准线性回归、基于鲁棒主成分分析和低秩表示的线性回归模型相比,该模型在4种原始数据集以及添加随机噪声后的数据集上分类准确率和鲁棒性均较优。     

柯西变异和自适应权重优化的蝴蝶算法

针对基本蝴蝶优化算法（Butterfly Optimization Algorithm,BOA）存在的收敛精度较低、容易陷入局部最优解的问题,提出柯西变异和自适应权重优化的蝴蝶算法（Cauchy variation and adaptive Weight Butterfly Optimization Algorithm,CWBOA）。通过在全局位置更新处引入柯西分布函数进行变异,在局部位置更新处引入自适应权重因子,改进了蝴蝶算法的局部搜索能力;并且引入动态切换概率[p]来权衡全局探索与局部开发过程的比重。改进的算法通过对多个单峰、多峰和固定测试维度的函数进行求解,结果表明,CWBOA对大多数测试函数有更好的求解精度、速度和稳定性。