未知环境下基于虚拟子目标的对立Q学习机器人路径规划

针对Q学习算法在复杂的未知环境下Q值更新速度慢,容易产生维数灾难等问题,提出了一种未知环境下基于虚拟子目标的对立Q学习机器人路径规划算法.该算法根据移动机器人探索过的状态轨迹,建立了2个状态链分别记录状态-动作对和状态-反向动作对,并将每个单链当前状态的Q值,依次反馈影响前一状态的Q值,直到状态链的头端.同时,在局部探测域内通过寻找最优虚拟子目标的方法解决了大规模环境下Q学习容易产生维数灾难的问题.实验结果表明,在复杂的未知环境中,该算法可以有效地加快算法学习的收敛速度,提高学习效率,以较优的路径完成机器人导航任务.     

混合自适应动态规划和蚁群算法的agent路径规划

针对agent路径规划算法收敛速度慢和规划效率低的缺点,提出了一种基于自适应动态规划和蚁群算法的agent路径规划算法.首先,利用agent获取的各距离传感器和目标传感器数据来获得系统状态的输入和输出;然后,提出了一种基于蚁群算法的路径各位置信息素更新方法,并用算法收敛后的信息素来初始化值函数;基于初始化的值函数,提出采用自适应的动态规划算法即Q学习算法来更新值函数,实现状态到动作的最优策略.最后,对基于自适应动态规划算法和蚁群算法的agent路径规划算法分别进行了定义和描述.在MATLAB环境下对所提的方法进行了仿真实验,实验结果表明:在固定障碍物和随机障碍物分布两种情况下所提方法均能收敛,而且分别仅需18个和25个时间步就能达到目标,较其它方法具有更高的收敛精度.     

一种动态不确定环境下的机器人路径规划算法

为了提高机器人在动态不确定环境下的实时性和适应能力,提出了一种机器人实时路径规划新方法.采用环境信息处理算法,通过搜索实时局部环境信息特征信息的方式对环境信息进行分析和处理.该方法能够捕捉动态障碍物并对动态障碍物的运动规律进行预测,将特征信息及时更新给运动动作规划算法部分.运动动作规划算法是通过引入启发式思想选择双安全子目标点,完成规划运动动作并实现优化路径.在不同环境下进行仿真实验,检验了算法的有效性,证明算法在动态不确定环境下具有良好的实时性和适应性。     

基于深度自动编码器与Q学习的移动机器人路径规划方法

针对移动机器人在静态未知环境中的路径规划问题,提出了一种将深度自动编码器( deep auto-encoder)与Q学习算法相结合的路径规划方法,即DAE-Q路径规划方法。利用深度自动编码器处理原始图像数据可得到移动机器人所处环境的特征信息;Q学习算法根据环境信息选择机器人要执行的动作,机器人移动到新的位置,改变其所处环境。机器人通过与环境的交互,实现自主学习。深度自动编码器与Q学习算法相结合,使系统可以处理原始图像数据并自主提取图像特征,提高了系统的自主性;同时,采用改进后的Q学习算法提高了系统收敛速度,缩短了学习时间。仿真实验验证了此方法的有效性。     

基于Elman网络的非线性系统增强式学习控制

针对具有连续状态和未知系统模型的非线性系统控制问题，提出一种基于Elman神经网络的Q学习控制策略．利用Elman网络良好的动态特性及泛化能力，对状态一动作对的Q值进行在线估计，解决状态空间泛化中易出现的“维数灾”问题．借鉴TD（λ）算法中状态的资格迹机制，通过对权值向量定义对应的资格迹来加速神经网络的学习过程．将所提方法应用于具有连续状态的小车爬山控制问题，学习系统在经过大约60多次学习后即能获得小车爬山控制策略，仿真结果表明所提方法能够有效解决具有连续状态的非线性系统的无模型增强学习控制．     

进港航班排序强化学习模型研究

为了解决进港航班排序中智能化程度不高的现实问题,提出了进港航班排序强化学习模型。首先确定了进港航班排序强化学习模型的状态、动作、智能体、环境、奖赏函数、约束条件、Q学习等,进港航班排序强化模型中的状态是各进港航班的到达时刻,动作是对航班到达时间的调整,智能体对航班的到达时刻进行调整,环境对动作做出反应,一个新的到达时间和奖赏值传给智能体。奖赏函数考虑了延误时间、经济成本、对后续航班的影响。该模型考虑了航班不能提前降落,分配的到达时间不早于计划的到达时间,进港航班流量不能超过机场的到达容量值等约束条件。使用双流机场进港航班数据对该模型进行了验证。对比分析了先到先服务和强化学习模型的排序、延误时间、延误成本、后续航班延误成本和奖赏值。先到先服务算法的奖赏函数值为3164,强化学习算法的奖赏函数为2880,强化学习模型更优。模型中奖惩函数的评价指标、权重、约束条件可以根据管制工作实际情况进行设置,该模型可以为空中交通管制人员进行进港航班排序提供决策支持。     

强化学习方法在移动机器人导航中的应用

路径规划是智能机器人关键问题之一,它包括全局路径规划和局部路径规划.局部路径规划是路径规划的难点,当环境复杂时,很难得到好的路径规划结果.这里将强化学习方法用于自主机器人的局部路径规划,用以实现在复杂未知环境下的路径规划.为了克服标准Q 学习算法收敛速度慢等缺点,采用多步在策略SARSA(λ)强化学习算法,讨论了该算法在局部路径规划问题上的具体应用.采用CMAC神经网络实现了强化学习系统,完成了基于CMAC神经网络的SARSA(λ)算法.提出了路径规划和沿墙壁行走两个网络的互相转换的方法,成功解决了复杂障碍物环境下的自主机器人的局部路径规划问题.仿真结果表明了该算法的有效性,同传统方法相比该算法有较强的学习能力和适应能力.     

基于启发式强化学习的AGV路径规划

针对传统算法、智能算法与强化学习算法在自动引导小车(automated guided vehicle,AGV)路径规划中收敛速度慢、学习效率低的问题,提出一种启发式强化学习算法,并针对传统Q(λ)算法,设计启发式奖励函数和启发式动作选择策略,以此强化智能体对优质行为的探索,提高算法学习效率.通过仿真对比实验,验证了基于改进Q(λ)启发式强化学习算法在探索次数、规划时间、路径长度与路径转角上都具有一定的优势.     

集装箱码头集卡调度模型与Q学习算法

研究集装箱码头装卸过程中集卡调度问题,建立了集卡调度动态模型,目的是使装卸桥等待时间最小.设计了基于Q学习算法的求解方法,获得在不同状态下的集卡调度策略.提出了应用Q学习算法求解集卡最优调度时系统状态、动作规则、学习步长与折扣因子的选择方法.结果表明,随着集卡数量的增加,Q学习算法获得的结果优于最长等待时间、最远距离、固定分配集卡等调度策略.     

基于概率型支持向量分类机的Q学习

按TD误差标准,把Q学习系统的状态-动作空间粗略地划分为正负2类.为了描述分类的不确定性和避免简单分类导致的学习精度下降问题,利用概率型支持向量分类机(PSVCM)来使得样本的分类同时具有定性的解释和定量的评价.PSVCM的输入为系统的连续状态和离散动作,输出为带有概率值的类别标签.对由PSVCM判定为正类的离散动作按其概率值进行加权求和,即可得到连续动作空间下的Q学习控制策略.小船靠岸问题的仿真结果表明,与基于传统支持向量分类机的Q学习相比,所提方法不仅能够有效解决具有连续状态和连续动作的非线性系统的Q学习控制,而且其控制性能对初始动作的设置不敏感.     

基于改进遗传算法的移动机械臂拣选路径优化

传统移动机械臂路径规划算法没有根据抓取点分布情况对工位点坐标进行优化,效率低,对此,提出了一种基于改进遗传算法的移动机械臂拣选路径优化方法.通过对拣选物品位置的分析,建立单个工位点上移动机械臂分拣路径模型和多工位点的旅行商（TSP）问题模型,运用改进的遗传算法,在工作空间内对各个工位点的位置坐标寻优,规划出移动机械臂抓取的最短路径和多工位点间移动的最短路径.实验结果表明,与传统遗传算法可能,运用改进的等级进化选择算子和最优近邻交叉算子,遗传算法的收敛速度提高了46.15%,路径缩短了45.99%,系统运行时间减少了25.80%,提高了系统效率.     

人工免疫算法路径规划在林火救援中的应用

为解决复杂环境下双机林火救援路径规划问题,提出用人工免疫算法规划三维飞行航迹。借鉴人工免疫算法规划机器人路径的方法,通过考虑飞机飞行特性和双机路径规划的要求,为双机异地出发同时到达规划出三维飞行路线,并对算法的主要影响因素进行了分析和估计,获得规划航迹的最优参数,用于设计安全高效的飞行航迹。研究结果表明,该方法能规划出复杂环境下双机飞行航迹,利用参数优化后的人工免疫算法不但能快速有效地规划三维航迹,而且丰富了航迹规划方法研究。     

需求响应式公交系统路径优化算法

将需求响应式公交系统路径选择问题抽象为在图中寻找覆盖若干条指定边的欧拉圈问题,提出乘客数量不大于公交车容量和乘客数量大于公交车容量两种情况下的公交车运营组织方式,对第一种情况设计了有效的图论算法,对第二种方式则给出转化为动态规划问题的思路。论文引理证明,第一种算法能寻找到覆盖若干条指定边的最小欧拉圈,并通过有关算例进行了说明。     

前N条最短路径问题的算法及应用

现有最短路径问题指的是狭义最短路径问题，针对该问题而设计的算法只能求得最短的一条路径。前N条最短路径拓宽了最短路径问题的内涵（即不仅要求得最短路径，还要求得次短、再次短…第N短路径），是广义最短路径问题，在图论理论基础上分析问题之后，设计了一个递归调用Dijkstra算法的新算法，该算法可以求取前N条最短路径，而且时间、空间复杂度都为多项式阶。该算法已经成功应用于一个交通咨询系统中，自然满足实时应用需要。     

基于改进萤火虫算法的移动机器人路径规划

针对标准萤火虫算法寻优容易陷入局部最优的缺点,通过改变萤火虫算法的搜索策略,对萤火虫算法进行改进,提高萤火虫算法的寻优能力。在移动机器人路径规划问题上采用改进后的萤火虫算法,实现了移动机器人全局路径规划的最优路径,理论与实验结果证明了改进后的萤火虫算法的有效性,此方法能满足移动机器人路径规划的要求。     

基于GA-PSO算法焊接机器人路径规划研究

焊接机器人在制造业中有广泛的应用。在焊接任务中通常有许多焊接接头,合理地规划焊接路径使其穿过这些焊接接头,对焊接效率的提高有积极的影响。传统的手工路径规划技术可以有效地处理少量焊接接头,但当焊接节点数目较大时,很难获得最优路径。传统的手工路径规划方法耗时长、效率低,不能保证最优。遗传粒子群优化算法（GA-PSO）基于遗传算法（GA）和粒子群优化算法（PSO）的优点来解决焊接机器人的路径规划问题。仿真结果表明,该算法具有较强的搜索能力和实用性,适用于焊接机器人路径规划。     

一种基于预测信息的时间依赖网络路径规划算法

对时间依赖路网最短路径规划算法的研究是车辆动态导航技术领域研究的热点之一。针对最小时间规划算法存在的不足,在研究SPFA（ShortestPathFasterAlgorithm）静态规划算法的基础上,结合两种算法的优点,提出了一种改进的基于路况预测信息的最小时间路径规划算法,并通过实例进行了验证。结果表明,新算法能够提供实时、高效、预测性强的规划路径,在城市交通中能较好满足用户需求。     

基于改进A~*算法的仿生机器鱼全局路径规划

针对传统A*算法搜索速度慢和规划路径不够优化的缺点,引入可扩展节点,对A*算法流程进行改进,以减少时间和空间复杂度,提高搜索效率,并对规划路径进行优化处理,以有效的缩短路径。对存在凹形障碍物的地图,采用后退—尝试的方法解决路径规划的失败问题,使之绕过凹形障碍物取向目标点,达到输出最短路径的目标。     

基于GIS地图的移动机器人路径规划

针对移动机器人路径规划实现条件的限制,提出基于GIS（geographicinformationsystem）地图的移动机器人路径规划．该方法应用改进A’算法,较好地实现了移动机器人的最优路径规划．在任意给定的地图中,只要确定了机器人的起点和终点,就可以找到该机器人在实际工作环境中符合需求的路径规划轨迹．应用VC＋＋编程进行实验,证明了该方法的有效性．