基于改进的DQN机器人路径规划

针对深度Q学习算法在机器人路径规划中的过估计问题,提出一种动态融合深度双Q算法(dynamic target doub-le deep Q network,DTDDQN).通过动态融合DDQN和平均DQN的先验知识进行网络参数训练,前期以较大权重的DDQN优化目标对估计网络进行网络训练和先验知识的积累,随着学习的深入,...     

基于平均神经网络参数的DQN算法

在深度强化学习领域,如何有效地探索环境是一个难题.深度Q网络(Deep Q-Network,DQN)使用ε-贪婪策略来探索环境,ε的大小和衰减需要人工进行调节,而调节不当会导致性能变差.这种探索策略不够高效,不能有效解决深度探索问题.针对DQN的ε-贪婪策略探索效率不够高的问题,提出一种基于平均神经网络参数的DQN算法...     

基于DQN算法的无人机校园安全监控路径自动规划模型

在校园安全管理中,传统的定期定点巡逻和摄像头监控难以覆盖整个校园,而无人机监控则可以弥补上述缺点。由于当前的无人机路径规划算法难以保证信息的时效性,因此,研究提出了基于深度Q网络的路径规划算法。实验结果显示,深度Q网络的成功率随着测试次数的增加而升高,最终稳定在0.79左右,高于基于信息年龄的轨迹规划算法和Q学习算法。同时深度Q网络规划的路径拐点数量仅为16个,覆盖率趋近于1,均优于其余算法。在自由空间和建筑密集空间中,深度Q网络的成功率最终分别稳定在0.99和0.86左右,平均步数均未超过100步。上述结果表明,基于深度Q网络的无人机路径规划算法能高效稳定地实现最优路径规划,实现对校园安全的无死角实时监控。     

基于RDC-Q学习算法的移动机器人路径规划

传统Q算法对于机器人回报函数的定义较为宽泛,导致机器人的学习效率不高。为解决该问题,给出一种回报详细分类Q(RDC-Q)学习算法。综合机器人各个传感器的返回值,依据机器人距离障碍物的远近把机器人的状态划分为20个奖励状态和15个惩罚状态,对机器人每个时刻所获得的回报值按其状态的安全等级分类,使机器人趋向于安全等级更高的状态,从而帮助机器人更快更好地学习。通过在一个障碍物密集的环境中进行仿真实验,证明该算法收敛速度相对传统回报Q算法有明显提高。     

基于NN改进PSO算法的机器人路径规划

本文介绍了基于神经网络和微粒群优化算法的移动机器人动态避障路径规划算法.通过神经网络改进的微粒群算法,充分利用了神经网络的融合性和并行性来提高微粒群算法中适应度函数的准确性.通过神经网络描述机器人工作空间的动态环境约束并找到最优的适应度函数,在微粒群算法中使用该函数,求得微粒群算法最优无碰路径.     

基于路径规划和深度强化学习的机器人避障导航研究

针对移动机器人的长距离避障导航问题,提出结合深度强化学习(Deep Reinforcement Learning, DRL)和路径规划(Path Planning, PL)的避障导航算法。该方法通过快速扩展随机树(Rapidly Exploring Random Tree, RRT)算法在长距离的路径上进行规划,根据生成的路径节点,将长距离路径划分为若干短距离,而在短距离的导航问题上利用深度强化学习的算法,训练一个具有环境感知和智能决策能力的端到端避障导航模型。仿真实验表明,相较于仅用DRL的避障导航,该方法使移动机器人的长距离避障导航性能有了大幅度提升,解决了DRL在长距离避障导航任务上的局限性问题。     

改进萤火虫算法求解多机器人路径规划

为解决多机器人在静态环境中的路径规划问题,以路径长度为优化目标模型,并针对此模型设计了多机器人萤火虫算法(MR-FA)。首先,考虑到路径安全性对环境中的障碍物采取扩张操作,设计初始化规则以提高生成初始种群的效率;其次,根据算法的连续性原理及特点,设计个体等长策略将维度不一致的个体转变为等维度个体以便于萤火虫的移动更新,并对移动更新后的不可行解采取路径修正策略;然后对规划出的每个机器人的移动路径进行碰撞检测,同时针对机器人不同的碰撞情况设计相应的避碰策略,即暂停—回退策略(PFS)、局部路径重规划策略(LPRS);最后,为验证MR-FA的有效性,在三组环境中进行仿真实验并与其他三种算法进行对比,综合得出MR-FA在解决多机器人路径规划时更有优势。     

基于PBRS-SAC算法的无人车路径规划研究

针对复杂环境下无人车路径规划问题,在软演员评论家(SAC)算法的框架下进行改进。通过在奖励函数的设计上融合基于势能的回报塑形（PBRS）思想,并加入双连帧等训练技巧,设计了PBRS-SAC算法。之后在Ubuntu操作系统上搭建基于Gazebo的仿真环境,分别模拟静态与动态实验环境进行训练。最后,通过消融实验、敏感性测试实验与鲁棒性分析实验验证该算法的有效性。     

基于深度强化学习的移动机器人动态路径规划算法

为了在复杂舞台环境下使用移动机器人实现物品搬运或者载人演出,提出了一种基于深度强化学习的动态路径规划算法。首先通过构建全局地图获取移动机器人周围的障碍物信息,将演员和舞台道具分别分类成动态障碍物和静态障碍物。然后建立局部地图,通过LSTM网络编码动态障碍物信息,使用社会注意力机制计算每个动态障碍物的重要性来实现更好的避障效果。通过构建新的奖励函数来实现对动静态障碍物的不同躲避情况。最后通过模仿学习和优先级经验回放技术来提高网络的收敛速度,从而实现在舞台复杂环境下的移动机器人的动态路径规划。实验结果表明,该网络的收敛速度明显提高,在不同障碍物环境下都能够表现出好的动态避障效果。     

基于改进蚁群算法的机器人路径规划研究

机器人自主移动导航是近年来研究的热点.针对蚁群优化(ACO)算法存在收敛速度慢以及易陷入局部最优的问题,提出了一种改进的ACO算法来解决机器人路径规划问题.上述算法将改进的人工势场(APF)算法和蚁群算法相结合,采用改进APF算法进行初始地图规划,减少了ACO算法初始规划的盲目性.算法利用A*算法的评估函数以及路径转折...     

基于改进深度强化学习的三维环境路径规划

提出一种改进深度强化学习算法(NDQN),解决传统Q-learning算法处理复杂地形中移动机器人路径规划时面临的维数灾难.提出一种将深度学习融于Q-learning框架中,以网络输出代替Q值表的深度强化学习方法.针对深度Q网络存在严重的过估计问题,利用更正函数对深度Q网络中的评价函数进行改进.将改进深度强化学习算法与...     

基于多层注意力机制—柔性AC算法的机器人路径规划

针对行动者—评论家（AC）算法存在的经验学习样本维度高、策略梯度模型鲁棒性低等问题,依据多代理系统的信息协作优势,构建注意力机制网络并作为代理体,引入多层并行注意力机制网络模型对AC算法进行改进,提出一种基于多层并行注意力机制的柔性AC算法。将其用于解决动态未知环境下的机器人路径规划问题,可增强行动者的策略梯度鲁棒性并降低评论家的回归误差,实现机器人路径规划最优方案的快速收敛。实验结果表明,该算法有效克服机器人路径规划的局部最优,具有计算速度快、稳定收敛的优点。     

基于改进蚁群算法的机器人路径规划问题研究

针对蚁群算法收敛速度慢,容易陷入局部最优的问题,结合A*算法和蚁群算法提出了一种解决机器人路径规划问题的改进蚁群算法。自适应调整启发函数,在路径的后程借鉴启发式A*算法的估价函数,在ACS算法的启发函数中引入方向信息,提高算法的搜索效率,同时动态调整权重系数改变目标点的方向信息在蚂蚁移动过程中的影响,以平衡ACS算法解的多样性和收敛速度慢之间的关系。仿真实验表明,该算法不但可以提高收敛速度,而且在改善解的质量方面也取得了较好的效果。     

基于改进蚁群算法的机器人路径规划算法

针对传统蚁群算法搜索时间长、容易陷入局部最优解等缺点,提出了一种基于组合优化和起始目标导引函数的改进型蚁群算法.为备选结点引入优先级,采用状态转移概率和优先级的组合优化方法平衡各路径信息,避免陷入局部最优.搜索过程引入起始目标导引函数.优先搜索距起点远而距目标点近的结点.仿真结果表明,所提出的改进蚁群算法能够在较短时间内找到全局最优路径,显著提高移动式机器人的路径规划性能.     

基于改进Dijkstra算法的机器人路径规划方法

本文提出一种利用栅格法和改进的Dijkstra算法进行机器人路径规划的方法。该方法利用栅格法对机器人的工作环境进行表示,利用改进的Dijkstra算法进行最短路径的搜索。应用该方法在对环境细化到包含10000个栅格节点的情况下，在主频1．7GHZ的计算机上规划路径的时间最长不超过0．3秒。实践证明该方法具有实时性和路径最优性。     

基于蚁群信息素辅助的Q学习路径规划算法

当Q学习应用于路径规划问题时,由于动作选择的随机性,以及Q表更新幅度的有限性,智能体会反复探索次优状态和路径,导致算法收敛速度减缓.针对该问题,引入蚁群算法的信息素机制,提出一种寻优范围优化方法,减少智能体的无效探索次数.此外,为提升算法初期迭代的目的性,结合当前栅格与终点位置关系的特点以及智能体动作选择的特性,设计Q表的初始化方法;为使算法在运行的前中后期有合适的探索概率,结合信息素浓度,设计动态调整探索因子的方法.最后,在不同规格不同特点的多种环境中,通过仿真实验验证所提出算法的有效性和可行性.     

基于改进蚁群算法的机器人路径规划

提出了一种复杂静态环境下的移动机器人避碰路径规划的改进蚁群算法,基于栅格法的工作空间模型,模拟蚂蚁的觅食行为;针对路径规划的需要,搜索过程采用了蚂蚁回退策略、目标吸引策略、参数自适应调整和路径优化策略;利用蚂蚁回退策略和惩罚函数使得蚂蚁能够顺利跳出陷阱,并且在下一次搜索中不再选择此路径,从而避免了遇到陷阱时形成的路径死锁情况,同时也提高了最优路径的搜索效率;仿真试验结果表明,该算法能迅速规划出最优路径。