一种动态不确定性环境中的持续规划系统

规划是人工智能研究的一个重要方向,具有极其广泛的应用背景．近年来,研究重点已经转移到动态不确定性环境中的规划问题．该文将部分可观察马尔可夫决策过程(POMDP)和过程性推理系统(PRS)的优点相结合,提出一种对动态不确定环境具有更全面适应能力的持续规划系统——POMDPRS．该系统利用PRS的持续规划机制,交叉地进行规划与执行,在一定条件下提高了动态环境中POMDP决策的效率;另一方面,用POMDP的概率分布信念模型和极大效用原理替代PRS的一阶逻辑信念表示和计划选择机制,大大增强了处理环境不确定性的能力．     

基于改进概率栅格分解的路径规划算法

栅格分解法是目前研究最广泛的路径规划方法之一，但随着机器人自由度增加会出现“维数灾难”问题，不太适合于解决高自由度机器人在复杂环境中的路径规划。该文提出了基于改进概率栅格分解的路径规划算法，将随机采样应用到栅格分解算法中，虽然不能保证算法的最优性，却极大地提高了算法的效率，使其适合于解决高自由度机器人在复杂环境下的路径规划问题。仿真试验表明该算法可以在较短时间内获得可通行的路径。     

自治水下机器人的自主启发式生物启发神经网络路径规划算法

针对复杂海流环境下自治水下机器人(autonomous underwater vehicle, AUV)的路径规划问题,本文在栅格地图的基础上给出了一种基于离散的生物启发神经网络(Glasius bio-inspired neural networks, GBNN)模型的新型自主启发式路径规划和安全避障算法,并考虑海流对路径规划的影响.首先建立GBNN模型,利用此模型表示AUV的工作环境,神经网络中的每一个神经元与栅格地图中的位置单元一一对应;其次,根据神经网络中神经元的活性输出值分布情况并结合方向信度算法实现自主规划AUV的运动路径;最后根据矢量合成算法确定AUV实际的航行方向.障碍物环境和海流环境下仿真实验结果表明了生物启发模型在AUV水下环境中路径规划的有效性.     

基于生物启发模型的AUV三维自主路径规划与安全避障算法

针对自治水下机器人(AUV)的路径规划问题,在三维栅格地图的基础上,给出一种基于生物启发模型的三维路径规划和安全避障算法. 首先建立三维生物启发神经网络模型,利用此模型表示AUV的三维工作环境,神经网络中的每一个神经元与栅格地图中的位置单元一一对应;然后,根据神经网络中神经元的活性输出值分布情况自主规划AUV的运动路径.静态环境与动态环境下仿真实验结果表明了生物启发模型在AUV三维水下环境中路径规划和安全避障上的有效性.     

一种适应动态不确定环境的规划系统POMDPRS的形式描述

规划是人工智能研究的一个重要方向,具有极其广泛的应用背景.POMDPRS是一种结合了PRS的持续规划机制、POMDP的概率分布信念模型和极大效用原理的持续规划系统.它具有较强的对动态不确定性环境的适应能力.本文试图在形式语义层面上对POMDPRS进行描述并举例将其与PRS和POMDP比较,进一步说明其优势.     

基于K-Means与SVM结合的栅格分区路径规划方法

智能清洁机器人全局路径规划中,利用栅格法对清洁机器人的工作环境进行建模。分别介绍了K-Means聚类算法和支持向量机(SVM)算法,使用K-Means聚类算法与支持向量机(SVM)相结合的方法,以不同的约束条件进行聚类,在含有复杂障碍物的栅格地图时能有效减少分区,利用蚁群算法对分区后的栅格地图路径规划仿真,有效地提高了蚁群算法在栅格地图路径规划中的整体效率。     

基于栅格法的移动机器人运动规划研究

研究移动机器人运动规划问题.为实现机器人独立自主地完成任务行为,提出了一种利用栅格法对移动机器人运动进行规划,算法将运动规划分解为路径规划和运动控制两部分.在路径规划时,对栅格环境设定机器人的假想窗口栅格,并根据假想窗口和环境信息的可信度,设定实现环境信息优化的路径规划策略.根据机器人的运动学模型推导出机器人的运动控制律,以实现问题的求解.最后对运动规划方法进行了仿真验证,仿真结果证明了控制律的有效性.     

多机器人覆盖技术研究进展

系统地总结了当前覆盖问题的定义、分类和应用前景.对多机器人覆盖中关于通信、环境地图、路径规划算法及效果评价等方面的研究进展情况进行了阐述.分析并指出若干多机器人覆盖研究中的重点和难点问题:体系结构、通信技术、协商协作、地图表示、路径规划及效果评价,并对未来的研究发展方向进行了探讨.     

杂合启发式在线POMDP 规划

许多不确定环境下的自主机器人规划任务都可以用部分可观察的马氏决策过程(partially observableMarkov decision process,简称POMDP)建模.尽管研究者们在近似求解技术的设计方面已经取得了显著的进展,开发高效的POMDP 规划算法依然是一个具有挑战性的问题.以前的研究结果表明:在线规划方法能够高效地处理大规模的POMDP 问题,因而是一类具有研究前景的近似求解方法.这归因于它们采取的是“按需”作决策而不是预前对整个状态空间作决策的方式.旨在通过设计一个新颖的杂合启发式函数来进一步加速POMDP 在线规划过程,该函数能够充分利用现有算法里一些被忽略掉的启发式信息.实现了一个新的杂合启发式在线规划(hybrid heuristiconline planning,简称HHOP)算法.在一组POMDP 基准问题上,HHOP 有明显优于现有在线启发式搜索算法的实验性能.     

自动驾驶安全挑战：行为决策与运动规划

在自动驾驶技术发展中，安全性一直作为首要因素被业界重视.行为决策与运动规划系统作为该技术的关键环节，对智慧属性具有更高要求，需要不断地随着环境变化做出当前的最优策略与行为，确保车辆行驶过程中的安全.文中分别对行为决策和运动规划系统进行深层次阐述，首先，介绍行为决策中基于规则的决策算法、基于监督学习的决策算法、基于强化学习的决策算法的算法理论及其在实车中的应用.然后，介绍运动规划中基于采样的规划算法、基于图搜索的规划算法、基于数值优化的规划算法和基于交互性的规划算法，并对算法的设计展开讨论，从安全角度分析行为决策和运动规划，对比各类方法的优缺点.最后，展望自动驾驶领域未来的安全研究方向及挑战.     

A Modified Memory-Based Reinforcement Learning Method for Solving POMDP Problems

Partially observable Markov decision processes (POMDP) provide a mathematical framework for agent planning under stochastic and partially observable environments. The classic Bayesian optimal solution can be obtained by transforming the problem into Markov decision process (MDP) using belief states. However, because the belief state space is continuous and multi-dimensional, the problem is highly intractable. Many practical heuristic based methods are proposed, but most of them require a complete POMDP model of the environment, which is not always practical. This article introduces a modified memory-based reinforcement learning algorithm called modified U-Tree that is capable of learning from raw sensor experiences with minimum prior knowledge. This article describes an enhancement of the original U-Tree’s state generation process to make the generated model more compact, and also proposes a modification of the statistical test for reward estimation, which allows the algorithm to be benchmarked against some traditional model-based algorithms with a set of well known POMDP problems.     

基于观测的POMDP 优化算法及其仿真

在分析马尔可夫决策过程（Markov Decision Process, MDP）性能灵敏度的基础上,讨论了部分可观 测马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP）的性能优化问题．给出了POMDP 性能灵敏度分析公式,并以此为基础提出了两种基于观测的POMDP 优化算法：策略梯度优化算法和策略迭 代优化算法．最后以准许控制问题为仿真实例,验证了这两个算法的有效性．     

Geometric and Bayesian models for safe navigation in dynamic environments

Autonomous navigation in open and dynamic environments is an important challenge, requiring to solve several difficult research problems located on the cutting edge of the state of the art. Basically, these problems may be classified into three main categories: (a) SLAM in dynamic environments; (b) detection, characterization, and behavior prediction of the potential moving obstacles; and (c) online motion planning and safe navigation decision based on world state predictions. This paper addresses some aspects of these problems and presents our latest approaches and results. The solutions we have implemented are mainly based on the followings paradigms: multiscale world representation of static obstacles based on the wavelet occupancy grid; adaptative clustering for moving obstacle detection inspired on Kohonen networks and the growing neural gas algorithm; and characterization and motion prediction of the observed moving entities using Hidden Markov Models coupled with a novel algorithm for structure and parameter learning.     

Motion strategies for exploration and map building under uncertainty with multiple heterogeneous robots

In this paper, we present a multi-robot exploration strategy for map building. We consider an indoor structured environment and a team of robots with different sensing and motion capabilities. We combine geometric and probabilistic reasoning to propose a solution to our problem. We formalize the proposed solution using stochastic dynamic programming (SDP) in states with imperfect information. Our modeling can be considered as a partially observable Markov decision process (POMDP), which is optimized using SDP. We apply the dynamic programming technique in a reduced search space that allows us to incrementally explore the environment. We propose realistic sensor models and provide a method to compute the probability of the next observation given the current state of the team of robots based on a Bayesian approach. We also propose a probabilistic motion model, which allows us to take into account errors (noise) on the velocities applied to each robot. This modeling also allows us to simulate imperfect robot motions, and to estimate the probability of reaching the next state given the current state. We have implemented all our algorithms and simulations results are presented.     

Planning for robotic exploration based on forward simulation

We address the problem of controlling a mobile robot to explore a partially known environment. The robot’s objective is the maximization of the amount of information collected about the environment. We formulate the problem as a partially observable Markov decision process (POMDP) with an information-theoretic objective function, and solve it applying forward simulation algorithms with an open-loop approximation. We present a new sample-based approximation for mutual information useful in mobile robotics. The approximation can be seamlessly integrated with forward simulation planning algorithms. We investigate the usefulness of POMDP based planning for exploration, and to alleviate some of its weaknesses propose a combination with frontier based exploration. Experimental results in simulated and real environments show that, depending on the environment, applying POMDP based planning for exploration can improve performance over frontier exploration.     

口语对话系统的POMDP模型及求解

许多口语对话系统已进入实用阶段，但一直没有很好的对话管理模型，把对话管理看做随机优化问题，用马尔科夫决策过程（MDP）来建模是最近出现的方向，但是对话状态的不确定性使MDP不能很好地反映对话模型，提出了一种新的基于部分可观察MDP（POMDP）的口语对话系统模型，用部分可观察特性来处理不确定问题，由于精确求解算法的局限性，考察了许多启发式近似算法在该模型中的话用性，并改进了部分算法，如对于格点近似算法，提出了两种基于模拟点的格点选择方法。     

基于16方向24邻域改进蚁群算法的移动机器人路径规划

为了提高蚁群算法的路径寻优效果和搜索效率,提出一种改进的蚁群算法,用于移动机器人在栅格环境下的路径规划.在标准蚁群算法中,蚂蚁的搜索方式一般是4方向4邻域或者8方向8邻域,在此基础上提出一种16方向24邻域的蚂蚁搜索方式,给出蚂蚁的移动规则;针对启发信息,结合向量夹角的思想设计2种启发信息的计算方法,通过实验分析两种计算方法的使用特点;在转移概率部分引入转移概率控制参数,通过调整转移概率控制参数可以调控算法的搜索范围.最后,在不同规模的栅格地图环境下,通过实验仿真验证所提算法的有效性.     

基于无线传感器网络的未知环境下移动机器人实时路径规划*

利用无线传感器网络技术、多传感器信息融合技术、基于占用网格的概率地图构建和基于群集智能的微粒群仿生学算法,采用三层控制结构的规划策略,提出了一种新的在未知环境下移动机器人在线实时路径规划方法。最后设计并构造出了实际的无线传感器网络,验证了算法的有效性、准确性和实时性。     

基于QMix的车辆云计算资源动态分配方法

城市交通智能化和通信技术的进步会产生大量基于车辆的应用,但目前车辆有限的计算资源无法满足车辆应用的计算需求与延迟性约束。车辆云（VC）可以高效地调度资源,从而显著降低任务请求的延迟与传输成本。针对VC环境下任务卸载与计算资源分配问题,提出一个考虑异质车辆和异质任务的计计资源分配算法。对到达的任务构建M/M/1队列模型与计算模型,并定义一个效用函数以最大化系统整体效用。针对环境中车辆地理分布的高度动态系统变化,提出基于双时间尺度的二次资源分配机制（SRA）,使用两个不同时间尺度的资源分配决策动作,对其分别构建部分可观测马尔可夫决策过程。两个决策动作通过执行各自的策略获得的奖励进行连接,将问题建模为两层计算资源分配问题。在此基础上提出基于二次资源分配机制的多智能体算法SRA-QMix求解最优策略。仿真结果表明,与深度确定性策略梯度算法对比,该算法的整体效用值和任务完成率分别提高了70%、6%,对于QMix和MADDPG算法分别应用SRA后的任务完成率分别提高了13%与15%,可适用于动态的计算资源分配环境。     

Reasoning and predicting POMDP planning complexity via covering numbers

Partially observable Markov decision processes (POMDPs) provide a rich mathematical framework for planning tasks in partially observable stochastic environments. The notion of the covering number, a metric of capturing the search space size of a POMDP planning problem, has been proposed as a complexity measure of approximate POMDP planning. Existing theoretical results are based on POMDPs with finite and discrete state spaces and measured in the l ₁-metric space. When considering heuristics, they are assumed to be always admissible. This paper extends the theoretical results on the covering numbers of different search spaces, including the newly defined space reachable under inadmissible heuristics, to the l _n-metric spaces. We provide a simple but scalable algorithm for estimating covering numbers. Experimentally, we provide estimated covering numbers of the search spaces reachable by following different policies on several benchmark problems, and analyze their abilities to predict the runtime of POMDP planning algorithms.