基于深度Q网络的人群疏散机器人运动规划算法

针对公共场合密集人群在紧急情况下疏散的危险性和效果不理想的问题，提出一种基于深度Q网络（DQN）的人群疏散机器人的运动规划算法。首先通过在原始的社会力模型中加入人机作用力构建出人机社会力模型，从而利用机器人对行人的作用力来影响人群的运动状态；然后基于DQN设计机器人运动规划算法，将原始行人运动状态的图像输入该网络并输出机器人的运动行为，在这个过程中将设计的奖励函数反馈给网络使机器人能够在"环境-行为-奖励"的闭环过程中自主学习；最后经过多次迭代，机器人能够学习在不同初始位置下的最优运动策略，最大限度地提高总疏散人数。在构建的仿真环境里对算法进行训练和评估。实验结果表明，与无机器人的人群疏散算法相比，基于DQN的人群疏散机器人运动规划算法使机器人在三种不同初始位置下将人群疏散效率分别增加了16.41%、10.69%和21.76%，说明该算法能够明显提高单位时间内人群疏散的数量，具有灵活性和有效性。     

基于双层DQN的多智能体路径规划

目的 随着虚拟现实技术的发展,在虚拟场景中,基于多智能体的逃生路径规划已成为关键技术之一。与传统的火灾演习相比,采用基于虚拟现实的方法完成火灾逃生演练具有诸多优势,如成本低、代价小、可靠性高等,但仍有一定的局限性,为此,提出一种改进的双层深度Q网络（deep Q network,DQN）架构的路径规划算法。方法 基于两个结构相同的双Q网络,优化了经验池的生成方法和探索策略,并在奖励中增加火灾这样的环境因素对智能体的影响。同时,为了提高疏散的安全性和效率,提出了一种基于改进的K-medoids算法的多智能体分组策略方法。结果 相关实验表明提出的改进的双层深度Q网络架构收敛速度更快,学习更加稳定,模型性能得到有效提升。综合考虑火灾场景下智能体的疏散效率和疏散安全性,使用指标平均健康疏散值（average health evacuation value, AHEP）评估疏散效果,相较于传统的路径规划方法A-STAR（a star search algorithm）和DIJKSTRA（Dijkstra’s algorithm）分别提高了84%和104%;与基于火灾场景改进的扩展A-STAR和Dijkstra-ACO（Dijkstra and ant colony optimization）混合算法比较,分别提高了30%和21%;与考虑火灾影响的DQN算法相比,提高了20%,疏散效率和安全性都得到提高,规划的路径疏散效果更好。通过比较不同分组模式下的疏散效果,验证了对多智能体合适分组可以提高智能体疏散效率。结论 提出的算法优于目前大多数常用的方法,显著提高了疏散的效率和安全性。     

双向蚁群算法的智能消防疏散图路径规划

当前我国正处在城市发展高速时期,综合建筑不断涌现,这时可根据火灾实时信息自动调整疏散路径的智能消防疏散图应运而生。路径规划算法是智能消防疏散图的重点研究方向之一。针对智能消防疏散图需结合火场信息动态规划路径等问题,提出了一种改进双向蚁群算法。添加了双向搜索策略,提高了算法全局搜索能力;结合A*算法改进了初始信息素分布,减小了算法初期搜索盲目性;改进了信息素更新策略,提高了算法收敛速度;结合火场信息和转向惩罚系数对算法蒸发系数、启发函数和转移概率进行改进,降低了陷入局部最优风险,提高了算法搜索效率和路径平滑性,并有效避开了火灾影响区域。通过仿真验证了算法有效性。     

基于改进A*算法的分拣搬运机器人路径规划

为了解决分拣搬运机器人在路径规划过程中,遇到目标点众多的情况时存在路径寻优效率低、容易出错等问题。针对A*算法存在多个最小值时,无法实现路径最优化的问题进行研究,提出一种将蚁群算法与A*算法相结合的改进A*算法。首先使用A*算法筛选出一条最优化的路线来分布信息素,从而简化A*算法在路径规划上的运算。其次以筛选出的路线为基础,针对不同情况结合蚁群算法设计了三种通用方案,以此为基础进行具体的路径规划,从而解决A*算法本身存在的容易带入大量重复数据的问题。通过仿真与实际实验验证了本文提出的改进的A*算法能够满足自动分拣搬运的需求,值得推广与使用。     

Bezier曲线与A~*算法融合的移动机器人路径规划

移动机器人路径规划一直是移动机器人领域里的重要技术问题。A*算法在最优路径搜索上有着比较成功的运用,但在栅格环境下的A*算法也存在着折线多、转折角度大等问题。在考虑移动机器人的实际工作环境及相关运动参数后,这些问题都将大大地影响移动机器人的工作效率。在对以上问题进行分析后提出了一种基于Bezier曲线与A*算法融合的方法来实现移动机器人的路径规划,再通过MATLAB、V-REP仿真工具来实现Bezier_A*融合算法与平滑A*算法及A*算法的对比。通过Bezier_A*融合算法使得机器人在工作中的寻优能力、路径规划效率都得到较大的提高。     

基于WGAN-GP的搜索式路径规划算法

为了提升搜索式路径规划算法在C字型障碍中的探索效率,提出了一种基于对抗生成网络的A*算法。首先使用训练更为稳定的梯度惩罚Wasserstein对抗生成网络（WGAN-GP）生成存在可行路径的感兴趣区域;然后使用A*算法优先探索该区域,使得路径规划能够被有效引导;最终形成一条连续的路径。经过实验仿真验证,其相较于传统A*算法节约了31%的规划时间、减少了22.84%的探索空间,提升了路径规划算法的效率。实验结果表明,改进的A*算法具有较高的探索效率,能够更好地应用于机器人路径规划中。     

最短路径理论在紧急通道设计中的应用

基于最短路径理论给出某建筑在火灾、地震等突发性事件发生时的人员疏散紧急通道的最优设计方案。每条路径的路程由一个加权函数所确定,并构造出疏散路径的权值矩阵,然后运用经典的Floyd算法求出建筑中处于不同位置的人员疏散最优路径。以作者实际工作课题为例,给出算法的数值实验。     

路径诱导系统中双向启发式A*算法研究

针对实际城市交通路网最优路径规划中存在的计算效率问题,研究了最优路径算法的快速实现技术,提出了一种双向启发式A*诱导算法。在分析经典Dijkstra算法和A*启发式搜索算法的基础上,利用双向A*算法分解搜索空间,采用完全二叉堆结构来实现计算过程中数据的存取,从而提高了算法的执行效率。实际路网仿真结果证明了该算法的优异性能。     

基于Silverlight网页游戏的寻径优化算法

为了解决A*路径搜索算法在Silverlight网页游戏中的搜索费时和路径曲折等问题,在结合光线跨越算法和引入父结点指针的二叉堆存储开启列表的A*算法的基础上,提出了一种基于Silverlight网页游戏的寻径优化算法。该算法在现有研究的基础上使用光线跨越算法减小A*算法搜索规模,同时将动态关键点技术与光线跨越算法结合来优化算法返回的路径。将该算法在游戏所使用的网格地图中进行实验,实验结果表明,该算法能够有效地根据系统设定的通行条件寻找出一条最优的实际可行的路径,同时缩短寻路的时间消耗和所寻的路径长度,提高游戏的可玩性。     

基于改进A和DWA的无人艇路径规划算法

针对存在动态障碍的复杂海洋环境中无人艇的应用,提出了基于改进A*和DWA的无人艇路径规划算法.在全局路径规划时,基于动态改变步长方法设计了一种改进的快速平滑A*算法,克服了传统A*算法存在的大范围搜索时效率低下、生成路径不平滑等缺点,基于无人艇传感及导航信息,通过在DWA的评价函数中增加路径偏差项,将全局规划与局部规划相结合,实现了动态环境下无人艇的路径规划.仿真实验结果表明,该算法相比传统A*算法,规划的路径平滑,运行效率提升了约30倍,并可以躲避环境中可能存在的动态障碍,确保无人艇安全、高效地到达目标点.     

基于改进深度强化学习的三维环境路径规划

提出一种改进深度强化学习算法(NDQN),解决传统Q-learning算法处理复杂地形中移动机器人路径规划时面临的维数灾难。提出一种将深度学习融于Q-learning框架中,以网络输出代替Q值表的深度强化学习方法。针对深度Q网络存在严重的过估计问题,利用更正函数对深度Q网络中的评价函数进行改进。将改进深度强化学习算法与DQN算法在同样的三维环境下进行仿真实验,从最优路径长度、损失函数值、得到稳定的奖励值、收敛速度等方面进行对比,改进深度强化学习算法比DQN算法得到很大的改善,说明改进的算法比DQN算法寻得了更优的策略。     

基于启发式奖赏塑形方法的智能化攻击路径发现

渗透测试作为一种评估网络系统安全性能的重要手段, 是以攻击者的角度模拟真实的网络攻击, 找出网络系统中的脆弱点。而自动化渗透测试则是利用各种智能化方法实现渗透测试过程的自动化, 从而大幅降低渗透测试的成本。攻击路径发现作为自动化渗透测试中的关键技术, 如何快速有效地在网络系统中实现智能化攻击路径发现, 一直受到学术界的广泛关注。现有的自动化渗透测试方法主要基于强化学习框架实现智能化攻击路径发现, 但还存在奖赏稀疏、学习效率低等问题, 导致算法收敛速度慢, 攻击路径发现难以满足渗透测试的高时效性需求。为此, 提出一种基于势能的启发式奖赏塑形函数的分层强化学习算法(HRL-HRSF), 该算法首先利用渗透测试的特性, 根据网络攻击的先验知识提出了一种基于深度横向渗透的启发式方法, 并利用该启发式方法设计出基于势能的启发式奖赏塑形函数, 以此为智能体前期探索提供正向反馈, 有效缓解了奖赏稀疏的问题;然后将该塑形函数与分层强化学习算法相结合, 不仅能够有效减少环境状态空间与动作空间大小, 还能大幅度提高智能体在攻击路径发现过程中的奖赏反馈, 加快智能体的学习效率。实验结果表明, HRL-HRSF 相较于没有奖赏塑形的分层强化学习算法、DQN 及其改进算法更加快速有效, 并且随着网络规模和主机漏洞数目的增大, HRL-HRSF 均能保持更好地学习效率, 拥有良好的鲁棒性和泛化性。     

基于强化学习的海洋移动观测网络观测路径规划方法

合理有效地对移动海洋环境观测平台进行规划,有利于海洋环境观测网络的设计和海洋环境信息的采集.针对庞大的海洋环境,在有限的观测资源下,使用深度强化学习算法对海洋环境观测网络进行规划.针对强化学习算法求解路径规划问题中的离散和连续动作设计问题,分别使用DQN和DDPG两种算法对该问题进行单平台和多平台实验,实验结果表明,使...     

改进深度强化学习的室内移动机器人路径规划

为了解决传统深度强化学习在室内未知环境下移动机器人路径规划中存在探索能力差和环境状态空间奖励稀疏的问题,提出了一种基于深度图像信息的改进深度强化学习算法。利用Kinect视觉传感器直接获取的深度图像信息和目标位置信息作为网络的输入,以机器人的线速度和角速度作为下一步动作指令的输出。设计了改进的奖惩函数,提高了算法的奖励值,优化了状态空间,在一定程度上缓解了奖励稀疏的问题。仿真结果表明,改进算法提高了机器人的探索能力,优化了路径轨迹,使机器人有效地避开了障碍物,规划出更短的路径,简单环境下比DQN算法的平均路径长度缩短了21.4%,复杂环境下平均路径长度缩短了11.3%。     

基于BIM的地图构建与导航研究

摘要: 为了提高移动机器人在作业过程中获得现场环境地图的效率,提出了利用BIM技术建立导航地图的方式,获取IFC信息映射到二维栅格,从而快速构建地图。对于室内移动机器人在移动过程中能更快更好的到达目标点的问题,首先对传统A*算法做改进,将原有的8邻域搜索扩展为48邻域搜索,增加了搜索方向,优化了搜索角度。同时考虑了机器人的安全性,对规划路径进行了改进,使得规划的路径与障碍物保持了一定距离。其次,为了避开场地出现的动态障碍物,采用将改进的A*算法与动态窗口法融合,在保证全局路径最优的基础上,实现避障效果。通过实验仿真,表明了改进的A*算法比传统A*的算法在运行时间上快了2倍以上,路径转折点的角度差比原来减少了28%以上,路径长度上更短且不再紧贴障碍物。而融合算法比改进的A*算法在路径平滑性上有所提高,能及时避开随机障碍物,更加适用于环境变化的室内场景。     

A hybrid formation path planning based on A* and multi-target improved artificial potential field algorithm in the 2D random environments

Traditional artificial potential field algorithm for multi-robot formation is easy to fall into local minima and the path planning efficiency is low. To this end, we propose a new method of a hybrid formation path planning based on A* and multi-target improved artificial potential field algorithm (A*-MTIAPF) that provides the optimal collision free path and improves the efficiency for multi-robot formation path planning. The A*-MTIAPF algorithm integrates global path planning and local path planning. The novelties include combining A* with the improved artificial potential field algorithm and dividing multiple virtual sub-target points on the global optimal path of A* planning. Firstly, A* algorithm is used to complete the global path planning. Secondly, the improved artificial potential field algorithm which takes multiple sub-target points divided by the global optimal path as virtual target points is used to complete local path planning by switching target points. In addition, we propose a double priority judgment control algorithm (DPJC) to solve the collision problem among multiple robots by setting double priority to determine the movement order of each robot. Then, a new experimental method is designed by using the randomly generated 2D maps to verify the effectiveness of the proposed method. The results show that our method has advantages that it solves the local minimum problem, improves the efficiency of formation path planning and avoids collision among multiple robots over existing methods.