基于鸽群算法的量子融合算法

对于鸽群算法存在的过早收敛问题,提出了一种新的改进算法。该算法采用反向学习法进行初始化设置,在引入量子计算规则的同时融合鱼群算法,在迭代过程中采用模拟退火方式选取全局极值,逐步向最优解靠近。将改进的融合算法应用于函数优化方面,用多个测试函数的求解来评价算法性能。实验结果表明,新算法能快速搜索到问题的全局最优值,在求解高精度问题时的表现也较为优秀,有效地改善了过早收敛问题,提高了算法性能。     

基于强化学习的多样性文档排序算法

在排序学习方法中,通过直接优化信息检索评价指标来学习排序模型的方法,取得了很好的排序效果,但是其损失函数在利用所有排序位置信息以及融合多样性排序因素方面还有待提高。为此,提出基于强化学习的多样性文档排序算法。首先,将强化学习思想应用于文档排序问题,通过将排序行为建模为马尔可夫决策过程,在每一次迭代过程中利用所有排序位置的信息,不断为每个排序位置选择最优的文档。其次,在排序过程中结合多样性策略,依据相似度阈值,裁剪高度相似的文档,从而保证排序结果的多样性。最后,在公共数据集上的实验结果表明,提出的算法在保证排序准确性的同时,增强了排序结果的多样性。     

基于神经网络的强化学习算法研究

BP神经网络在非线性控制系统中被广泛运用，但作为有导师监督的学习算法，要求批量提供输入输出对神经网络训练，而在一些并不知道最优策略的系统中，这样的输入输出对事先并无法得到，另一方面，强化学习从实际系统学习经验来调整策略，并且是一个逼近最优策略的过程，学习过程并不需要导师的监督。提出了将强化学习与BP神经网络结合的学习算法-RBP模型。该模型的基本思想是通过强化学习控制策略，经过一定周期的学习后再用学到的知识训练神经网络，以使网络逐步收敛到最优状态。最后通过实验验证了该方法的有效性及收敛性。     

基于鸽群算法的Fuch混沌蝗虫算法

针对蝗虫算法(GOA)存在位置更新易陷于局部最优和收敛精度低等问题,提出一种基于鸽群算法的Fuch混沌蝗虫算法(PFGOA).首先用Fuch混沌映射初始化种群;然后将正弦余弦算子嵌入到位置更新公式,同时将鸽子搜索算子加入优化过程,并且通过改变惯性权重c来改善和平衡该算法的探索和开发能力;最后对最优个体引入非线性惯性权重,增加算法全局搜索能力,跳出局部最优.通过对11个测试函数进行仿真测试以及用Wilcoxon秩和检验的方法进行差异显著性统计检验的实验结果证明,改进后的算法性能更优,求解精度更高,显著性更好.     

强化学习系统及其基于可靠度最优的学习算法

归纳了强化学习的主要理论方法，提出了一个区分主客观因素的强化学习系统描述，引入了任务域的概念，针对以往强化学习采用的期望最优准则描述任务域能力的不足，考虑了目标水平准则下的首达时间可靠度优准则模型，分别结合随机逼近理论和时间差分理论，提出了基于概率估计的Ｊ－学习和无需建增量Ｒ－学习。     

基于强化学习的多移动Agent学习算法

结合强化学习技术讨论了单移动Agent学习的过程,然后扩展到多移动Agent学习领域,提出一个多移动Agent学习算法MMAL(MultiMobileAgentLearning)。算法充分考虑了移动Agent学习的特点,使得移动Agent能够在不确定和有冲突目标的上下文中进行决策,解决在学习过程中Agent对移动时机的选择,并且能够大大降低计算代价。目的是使Agent能在随机动态的环境中进行自主、协作的学习。最后,通过仿真试验表明这种学习算法是一种高效、快速的学习方法。     

基于深度强化学习DDPG算法的投资组合管理

将深度强化学习技术应用于投资组合管理，采用深度强化学习中的深度确定性策略梯度DDPG（Deep Deterministic Policy Gradient）算法，通过限制单只股票的投资权重，分散风险，并采用丢弃算法（Dropout），即在训练模型时随机丢弃节点，解决过拟合问题。以中国股市为例，选取16只中证100指数成分股作为风险资产进行实验。结果表明，本文基于深度强化学习方法构建的投资组合，在实验期间的价值增幅显著高于对照组（等权重组合），2年达到65%，约为对照组的2.5倍，表明了本文方法的有效性。而且通过进一步实验，表明了当用于训练的数据离测试数据时间越近，则本文构建的投资组合表现越好。     

基于策略梯度强化学习的高铁列车动态调度方法

高速铁路以其运输能力大、速度快、全天候等优势,取得了飞速蓬勃的发展.而恶劣天气等突发事件会导致列车延误晚点,更甚者延误会沿着路网不断传播扩散,其带来的多米诺效应将造成大面积列车无法按计划运行图运行.目前依靠人工经验的动态调度方式难以满足快速优化调整的实际要求.因此,针对突发事件造成高铁列车延误晚点的动态调度问题,设定所有列车在各站到发时间晚点总和最小为优化目标,构建高铁列车可运行情况下的混合整数非线性规划模型,提出基于策略梯度强化学习的高铁列车动态调度方法,包括交互环境建立、智能体状态及动作集合定义、策略网络结构及动作选择方法和回报函数建立,并结合具体问题对策略梯度强化学习(REINFORCE)算法进行误差放大和阈值设定两种改进.最后对算法收敛性及算法改进后的性能提升进行仿真研究,并与Q-learning算法进行比较,结果表明所提出的方法可以有效地对高铁列车进行动态调度,将突发事件带来的延误影响降至最小,从而提高列车的运行效率.     

基于内部结构MPOMDP模型的策略梯度学习算法

为了提高MPOMDP模型的知识表示能力和推理效率,提出一种基于Agent内部结构的MPOMDP模型。该模型能表示Agent的内部结构及其时间演化,并通过将系统联合概率分布表示成每个Agent内部变量集的局部因式形式,以提高模型的推理效率。将GPI-POMDP算法扩展到基于内部结构的MPOMDP模型中,给出基于内部状态的多Agent策略梯度算法（MIS-GPOMDP）,来求解基于内部结构的MPOMDP。实验结果表明MIS-GPOMDP算法具有较高的推理效率,且算法是收敛的。     

基于深度强化学习种群优化的演化式分拣调度算法

机械制造中的产线分拣作业具有问题与数据的双重复杂性,为了对分拣操作进行优化以提高生产效率,设计了一套分拣作业的数据表示方法与一种基于种群优化的演化式算法,同时整理并公开了一个真实的工业数据集。数据表示方法通过借鉴词袋模型对原始作业数据进行抽象表示;演化式算法使用深度强化学习初始化遗传算法中的种群,同时引入了精英保留策略以提高算法的优化能力。最后,将提出的算法与其他算法在真实的工业数据集与旅行商问题数据集上进行了对比。结果表明,该算法能找到更优的分拣顺序与访问路径,验证了算法的有效性。     

基于强化学习的参数自整定及优化算法

传统PID控制算法在非线性时滞系统的应用中,存在参数整定及性能优化过程繁琐、控制效果不理想的问题。针对该问题,提出了一种基于强化学习的控制器参数自整定及优化算法。该算法引入系统动态性能指标计算奖励函数,通过学习周期性阶跃响应的经验数据,无需辨识被控对象模型的具体数据,即可实现控制器参数的在线自整定及优化。以水箱液位控制系统为实验对象,对不同类型的PID控制器使用该算法进行参数整定及优化的对比实验。实验结果表明,相比于传统的参数整定方法,所提出的算法能省去繁琐的人工调参过程,有效优化控制器参数,减少被控量的超调量,提升控制器动态响应性能。     

基于蚂蚁优化算法的分层强化学习

自主系统中,agent通过与环境交互来执行分配给他们的任务,采用分层强化学习技术有助于agent在大型、复杂的环境中提高学习效率。提出一种新方法,利用蚂蚁系统优化算法来识别分层边界发现子目标状态,蚂蚁遍历过程中留下信息素,利用信息素的变化率定义了粗糙度,用粗糙度界定子目标;agent使用发现的子目标创建抽象,能够更有效地探索。在出租车环境下验证算法的性能,实验结果表明该方法可以显著提高agent的学习效率。     

A modified consensus algorithm for multi-UAV formations based on pigeon-inspired optimization with a slow diving strategy

This paper considers the formation control problem for a group of unmanned aerial vehicles（UAVs） employing consensus with different optimizers.A group of UAVs can never accomplish difficult tasks without formation because if disordered they do not work any better than a single vehicle,and a single vehicle is limited by its undeveloped intelligence and insufficient load.Among the many formation methods,consensus has attracted much attention because of its effectiveness and simplicity.However,at the beginning of convergence,overshoot and oscillation are universal because of the limitation of communication and a lack of forecasting,which are inborn shortcomings of consensus.It is natural to modify this method with lots of optimizers.In order to reduce overshoot and smooth trajectories,this paper first adopted particle swarm optimization（PSO）,then pigeon-inspired optimization（PIO） to modify the consensus.PSO is a very popular optimizer,while PIO is a new method,both work but still retain disadvantages such as residual oscillation.As a result,it was necessary to modify PIO,and a pigeon-inspired optimization with a slow diving strategy（SD-PIO） is proposed.Convergence analysis was performed on the SD-PIO based on the Banach fixed-point theorem and conditions sufficient for stability were achieved.Finally,a series of comparative simulations were conducted to verify the feasibility and effectiveness of the proposed approach.     

基于强化学习的电动车路径优化研究

针对有路径总时长约束、载重量约束和电池容量约束的电动车路径优化问题（EVRP）,考虑其途中可前往充电站充电的情境,构建以最小化路径总长度为目标的数学模型,提出一种基于强化学习的求解算法RL-EVRP。该算法用给定的分布生成训练数据,再通过策略梯度法训练模型,并保证在训练过程中路径合法即可。训练得到的模型可用于解决其他数据同分布的问题,无须重新训练。通过仿真实验及与其他算法的对比,表明RL-EVRP算法求解的路径总长度更短、车辆数更少,也表明强化学习可成功运用于较复杂的组合优化问题中。     

针对运动目标的多无人机协同鸽群优化搜索方法

针对多无人机协同运动目标搜索问题,本文设计了改进鸽群优化算法的协同搜索决策.首先,基于运动目标的独立性,建立了服从正态分布的目标概率信息图模型;为了提高环境中目标存在的确定度,建立了搜索环境的确定度信息图.其次,通过建立的吸引和排斥数字信息素图,引导无人机向未搜索区域飞行,减少重复搜索概率,提高协同目标搜索效率,并基于传统的鸽群算法,通过加入速度更新修正机制和精英代机制对其进行改进.然后,结合环境中目标的存在概率信息以及无人机搜索目标的探测信息,使用改进鸽群优化算法,规划无人机的最优搜索飞行路径.并设计避碰机制,以有效防止无人机搜索过程中的碰撞.最后,通过比较仿真实验验证了改进鸽群优化算法对运动目标协同搜索的有效性.     

Robust optimization using Bayesian optimization algorithm: Early detection of non-robust solutions

Probabilistic robustness evaluation is a promising approach to evolutionary robust optimization; however, high computational time arises. In this paper, we apply this approach to the Bayesian optimization algorithm (BOA) with a view to improving its computational time. To this end, we analyze the Bayesian networks constructed in BOA in order to extract the patterns of non-robust solutions. In each generation, the solutions that match the extracted patterns are detected and then discarded from the process of evaluation; therefore, the computational time in discovering the robust solutions decreases. The experimental results demonstrate that our proposed method reduces computational time, while increasing the robustness of solutions.     

非贪婪的鲁棒性度量学习算法

目的 度量学习是机器学习与图像处理中依赖于任务的基础研究问题。由于实际应用背景复杂,在大量不可避免的噪声环境下,度量学习方法的性能受到一定影响。为了降低噪声影响,现有方法常用L1距离取代L2距离,这种方式可以同时减小相似样本和不相似样本的损失尺度,却忽略了噪声对类内和类间样本的不同影响。为此,本文提出了一种非贪婪的鲁棒性度量学习算法——基于L2/L1损失的边缘费歇尔分析（marginal Fisher analysis based on L2/L1 loss,MFA-L2/L1）,采用更具判别性的损失,可提升噪声环境下的识别性能。方法 在边缘费歇尔分析（marginal Fisher analysis,MFA）方法的基础上,所提模型采用L2距离刻画相似样本损失、L1距离刻画不相似样本损失,同时加大对两类样本的惩罚程度以提升方法的判别性。首先,针对模型非凸带来的求解困难,将目标函数转为迭代两个凸函数之差便于求解;然后,受DCA（difference of convex functions algorithm）思想启发,推导出非贪婪的迭代求解算法,求得最终度量矩阵;最后,算法的理论证明保证了迭代算法的收敛性。结果 在5个UCI（University of California Irrine）数据集和7个人脸数据集上进行对比实验：1）在不同程度噪声的5个UCI数据集上,MFA-L2/L1算法最优,且具有较好的抗噪性,尤其在30%噪声程度的Seeds和Wine数据集上,与次优方法LDA-NgL1（non-greedy L1-norm linear discriminant analysis））相比,MFA-L2/L1的准确率高出9%;2）在不同维度的AR和FEI人脸数据集上的实验,验证了模型采用L1损失、采用L2损失提升了模型的判别性;3）在Senthil、Yale、ORL、Caltech和UMIST人脸数据集的仿真实验中,MFA-L2/L1算法呈现出较强鲁棒性,性能排名第1。结论 本文提出了一种基于L2/L1损失的鲁棒性度量学习模型,并推导了一种便捷有效的非贪婪式求解算法,进行了算法收敛性的理论分析。在不同数据集的不同噪声情况下的实验结果表明,所提算法具有较好的识别率和鲁棒性。     

RLAR:基于增强学习的自适应路由算法

针对当前各种路由算法在广域网环境下由于不能适应各种拓扑环境和负载不均衡时所引起的路由性能不高等问题,提出了一种基于梯度上升算法实现的增强学习的自适应路由算法RLAR。增强学习意味着学习一种策略,即基于环境的反馈信息构造从状态到行为的映射,其本质为通过与环境的交互试验对策略集合进行评估。将增强学习策略运用于网络路由优化中,为路由研究提供了一种全新的思路。对比了多种现有的路由算法,实验结果表明,RLAR能有效提高网络路由性能。     

基于无约束优化和遗传算法的贝叶斯网络结构学习方法

基于无约束优化和遗传算法,提出一种学习贝叶斯网络结构的限制型遗传算法.首先构造一无约束优化问题,其最优解对应一个无向图.在无向图的基础上,产生遗传算法的初始种群,并使用遗传算法中的选择、交叉和变异算子学习得到最优贝叶斯网络结构.由于产生初始种群的空间是由一些最优贝叶斯网络结构的候选边构成,初始种群具有很好的性质.与直接使用遗传算法学习贝叶斯网络结构的效率相比,该方法的学习效率相对较高.