POMDP-APF：一种基于POMDP模型的APF无人机路径规划策略

针对无人机在路径规划过程中会遇到静态或者动态的障碍物,从而导致路径规划失败的问题,提出一种基于部分可观测马尔可夫决策过程（partially observable markov decision process,POMDP）模型的人工势场（artificial potential field,APF）无人机路径规划策略（POMDP-APF）。首先使用传感器获得的障碍物信息结合POMDP模型预测障碍物的未来位置,为无人机的路径规划做准备;其次,提出一种新的基于障碍物的正方体外接球的模型,保障无人机在路径规划过程中的安全性;最后,结合改进的APF算法实现无人机的路径规划。仿真结果表明,POMDP-APF策略在无人机实时路径规划中具有良好的可行性和有效性,使无人机能够有效避开障碍物,同时路径长度以及耗费时间更短。     

完全未知环境下机器人路径规划的RPC算法

提出一种适合存在多种类型障碍的完全未知环境的机器人路径规划方法：RPC算法（全称为实时规划－选择算法）。即将BUG规划算法与所提出的两级路径选择策略相结合实时决策机器人的行为。其中两级路径选择策略模拟人类探索路径的思维模式实时决定机器人绕行障碍的方向,能够减小机器人避障中的盲目性和降低路径冗余度。此算法提高了机器人在未知环境中的智能性,增强了对较复杂环境的适应性。仿真实验表明了该算法的可行性。     

杂合启发式在线POMDP 规划

许多不确定环境下的自主机器人规划任务都可以用部分可观察的马氏决策过程(partially observableMarkov decision process,简称POMDP)建模.尽管研究者们在近似求解技术的设计方面已经取得了显著的进展,开发高效的POMDP 规划算法依然是一个具有挑战性的问题.以前的研究结果表明:在线规划方法能够高效地处理大规模的POMDP 问题,因而是一类具有研究前景的近似求解方法.这归因于它们采取的是“按需”作决策而不是预前对整个状态空间作决策的方式.旨在通过设计一个新颖的杂合启发式函数来进一步加速POMDP 在线规划过程,该函数能够充分利用现有算法里一些被忽略掉的启发式信息.实现了一个新的杂合启发式在线规划(hybrid heuristiconline planning,简称HHOP)算法.在一组POMDP 基准问题上,HHOP 有明显优于现有在线启发式搜索算法的实验性能.     

一种动态不确定性环境中的持续规划系统

规划是人工智能研究的一个重要方向,具有极其广泛的应用背景．近年来,研究重点已经转移到动态不确定性环境中的规划问题．该文将部分可观察马尔可夫决策过程(POMDP)和过程性推理系统(PRS)的优点相结合,提出一种对动态不确定环境具有更全面适应能力的持续规划系统——POMDPRS．该系统利用PRS的持续规划机制,交叉地进行规划与执行,在一定条件下提高了动态环境中POMDP决策的效率;另一方面,用POMDP的概率分布信念模型和极大效用原理替代PRS的一阶逻辑信念表示和计划选择机制,大大增强了处理环境不确定性的能力．     

预测行人运动的服务机器人POMDP 导航

为提高室内动态环境下服务机器人对行人的自然避让能力,对人的运动轨迹模式进行建模,在此基础 上引入了将行人运动长、短期预测结合起来的方法．为适应传感器噪声及网络延迟等因素所造成的感知—控制回路 中的多源不确定性,将人与机器人的相对位置关系建模为部分可观的马尔可夫状态．采用部分可观的马尔可夫决策 过程（POMDP）进行多源不确定性下的概率决策,协调控制机器人全局路径规划、反应式运动及速度控制等行为模 块．实验结果验证,它能够实现提前避碰的安全导航,因避免反复的曲折与徘徊运动而提高了机器人导航效率．     

基于采样的POMDP近似算法

部分可观察马尔科夫决策过程（POMDP）是一种描述机器人在动态不确定环境下行动选择的问题模型。对于具有稀疏转移矩阵的POMDP问题模型,该文提出了一种求解该问题模型的快速近似算法。该算法首先利用QMDP算法产生的策略进行信念空间采样,并通过点迭代算法快速生成POMDP值函数,从而产生近似的最优行动选择策略。在相同的POMDP试验模型上,执行该算法产生的策略得到的回报值与执行其他近似算法产生的策略得到的回报值相当,但该算法计算速度快,它产生的策略表示向量集合小于现有其他近似算法产生的集合。因此,它比这些近似算法更适应于大规模的稀疏状态转移矩阵POMDP模型求解计算。     

复杂环境下改进APF的机器人路径规划

针对移动机器人在有大型障碍物和运动空间相对狭窄的复杂环境中,人工势场法（APF）容易出现反复震荡、路径规划时间较长以及大型障碍物附近避障困难的问题,提出了在结合边缘探测法的APF路径规划基础上,加入自适应动态步长调整算法来克服APF的上述缺陷,实现移动机器人在复杂环境下的平滑路径规划,在确保路径近似最优的同时提高APF算法的收敛速度和路经规划的避障性能。实验结果证明了上述方法的有效性。     

基于混合策略的轮式机器入路径规划方法

快速扩展随机树方法（R RT）是解决具有非完整性约束的轮式机器人路径规划问题的一种有效途径。R RT能够在规划过程中引入机器人动力学约束,但是当环境中存在大量障碍物时,R RT算法的路径搜索效率将会降低。另一方面,R RT算法不具有最优性,限制了其在轮式机器人路径规划中的应用。针对经典R RT算法的不足,提出一种混合的路径规划策略,首先通过路径导引点扩展多树R RT结构,利用多树R RT的局部探索与合并特性快速寻找可通行的区域范围,利用启发式搜索算法在可通行区域内快速寻找动力学可行的机器人运动轨迹。仿真与实车实验表明,该方法能够快速有效地解决复杂障碍物环境下的机器人路径规划问题。     

足球机器人路径规划的PSO方法

研究足球机器人在已知静态环境下路径规划问题,在避障环境下寻求最优路径,提出了一种基于粒子群优化算法的足球机器人路径规划方法。为适应PSO算法的自身特点和提高算法搜索的效率,在传统栅格法的基础上引入实际坐标系法,对环境进行建模;为了更好地评价粒子（即解）的性能,在进行碰撞判定的基础之上,引入罚函数方法,克服了传统适应度函数难以更好地表达粒子性能的缺点。进行仿真的结果表明,该算法在足球机器人路径规划方面具有可行性、有效性和鲁棒性。     

基于改进概率栅格分解的路径规划算法

栅格分解法是目前研究最广泛的路径规划方法之一,但随着机器人自由度增加会出现“维数灾难”问题,不太适合于解决高自由度机器人在复杂环境中的路径规划。该文提出了基于改进概率栅格分解的路径规划算法,将随机采样应用到栅格分解算法中,虽然不能保证算法的最优性,却极大地提高了算法的效率,使其适合于解决高自由度机器人在复杂环境下的路径规划问题。仿真试验表明该算法可以在较短时间内获得可通行的路径。     

Planning for robotic exploration based on forward simulation

We address the problem of controlling a mobile robot to explore a partially known environment. The robot’s objective is the maximization of the amount of information collected about the environment. We formulate the problem as a partially observable Markov decision process (POMDP) with an information-theoretic objective function, and solve it applying forward simulation algorithms with an open-loop approximation. We present a new sample-based approximation for mutual information useful in mobile robotics. The approximation can be seamlessly integrated with forward simulation planning algorithms. We investigate the usefulness of POMDP based planning for exploration, and to alleviate some of its weaknesses propose a combination with frontier based exploration. Experimental results in simulated and real environments show that, depending on the environment, applying POMDP based planning for exploration can improve performance over frontier exploration.     

基于激光雷达的机器人改进人工势场路径规划研究

人工势场法路径规划需要建立在已知环境下障碍物分布位置的基础之上,而激光雷达传感器可以用于未知环境下障碍物分布位置的探测和获取,因此可以将两者结合,从而解决移动机器人未知环境下路径规划问题。该课题建立在人工势场法理论基础之上,在Matlab中构建路径规划仿真图形用户界面,利用机载激光雷达传感器探测获取障碍物的位置分布信息,通过串口将数据传输至Matlab软件中并显示。在Matlab软件下编写人工势场路径规划的实现算法,进行仿真实验。实验结果表明,传统人工势场法路径规划存在的两个问题,分析原因后给出一种改进的人工势场法,并在之前的图形用户界面下继续进行仿真实验。仿真结果表明：改进的人工势场法有效地实现了路径优化的目标。     

Potential-based reward shaping for finite horizon online POMDP planning

In this paper, we address the problem of suboptimal behavior during online partially observable Markov decision process (POMDP) planning caused by time constraints on planning. Taking inspiration from the related field of reinforcement learning (RL), our solution is to shape the agent’s reward function in order to lead the agent to large future rewards without having to spend as much time explicitly estimating cumulative future rewards, enabling the agent to save time to improve the breadth planning and build higher quality plans. Specifically, we extend potential-based reward shaping (PBRS) from RL to online POMDP planning. In our extension, information about belief states is added to the function optimized by the agent during planning. This information provides hints of where the agent might find high future rewards beyond its planning horizon, and thus achieve greater cumulative rewards. We develop novel potential functions measuring information useful to agent metareasoning in POMDPs (reflecting on agent knowledge and/or histories of experience with the environment), theoretically prove several important properties and benefits of using PBRS for online POMDP planning, and empirically demonstrate these results in a range of classic benchmark POMDP planning problems.     

移动机器人动态人工势场路径规划方法研究

针对传统人工势场法在多障碍物环境中进行路径规划存在局部极小值,以及动态环境中移动机器人无法实时路径规划等问题,提出一种动态模糊控制的改进人工势场法,通过在势场力函数中引入速度矢量项,并采用模糊控制方法实时调节斥力场系数,从而实现在动态多障碍物的环境下机器人快速、实时、自适应的路径规划.仿真结果表明,该方法有效可行,在典型位置关系及特殊运动状态下均可获得良好的路径规划性能.

Abstract：

For traditional artificial potential field (APF) method,the local minima problem exists and can not satisfy the requirement of real-time for path planning of mobile robots in the multi-obstacle dynamic environment. A new APF method based on dynamic fuzzy control is proposed in this paper. The potential field force function is modified by introducing the velocity vector. The coefficients of potential field of repulsive force are adjusted by fuzzy control method. A fast real-time self-adaptive path planning method with dynamic multi-obstacle is realized. The simulation results show that the method is effective and feasible, and can get much better performance of path planning in typical location relationship and special motion relationship.     

非完整移动机器人的人工势场法路径规划

基于人工势场的移动机器人路径规划方法在最近20多年里受到了广泛关注.然而研究者主要将目光集中于解决其各种理论问题,在研究中大都将机器人看作无约束的质点或刚体,通常无法直接应用于受到非完整约束限制的轮式移动机器人.针对人工势场法在轮式移动机器人上的实现问题,本文对两种已有实现方法进行了理论分析,指出其存在目标不可达的隐患和无法在不同环境下兼顾路径规划性能的问题,并提出一种基于模糊规则的新方法,通过在不同的情况下调整控制方式和参数解决前述问题.仿真研究表明,该方法在保证目标可达的前提下能够在多种环境中获得更好的总体规划性能.     

APF-guided adaptive immune network algorithm for robot path planning

Inspired by the mechanism of Jerne’s idiotypic network hypothesis, a new adaptive immune network algorithm (AINA) is presented through the stimulation and suppression between the antigen and antibody by taking the environment and robot behavior as antigen and antibody respectively. A guiding weight is defined based on the artificial potential field (APF) method, and the guiding weight is combined with antibody vitality to construct a new antibody selection operator, which improves the searching efficiency. In addition, an updating operator of antibody vi-tality is provided based on the Baldwin effect, which results in a positive feedback mechanism of search and accelerates the convergence of the immune network. The simulation and experimental results show that the proposed algorithm is characterized by high searching speed, good convergence performance and strong planning ability, which solves the path planning well in complicated environments.     

改进人工势场法在机器人路径规划中的应用

为解决传统人工势场法用于机器人路径规划时会出现规划失败的问题,分析了由于局部极小点问题而导致规划失败的原因。在已改进人工势场函数的基础上,提出了通过增加虚拟目标点和原目标点共同对机器人产生引力的方法来解决传统人工势场法中出现的局部极小点问题。在Mobotsim中对算法的仿真结果表明了该方法的可行性和有效性。     

面向未知环境及动态障碍的人工势场路径规划算法

实际战场环境错综复杂,很多隐蔽、动态的障碍无法通过高空手段预先探测得知,因而对智能体执行任务的安全性产生威胁.针对未知且障碍形态多样的战场环境,以躲避动、静障碍,追踪目标为研究对象,提出一种面向未知环境及动态障碍的改进人工势场(Artificial Potential Field,APF)路径规划算法.在该算法中,智能...