一种约简动作变元的命题规划编码方式

基于动作的编码方式是2006年国际规划竞赛中著名的最优规划系统SATPLAN2006采用的一种基于约简状态变元的命题规划编码方式.依据基于动作的编码方式,提出一种基于约简动作变元的自动命题规划编码方式:基于命题的编码方式.首先分析构造新编码方式的理论依据,提出基于命题的编码方式的编码组成,证明其有效性,并描述某些公理的具体实现细节,最后分析其与已有几种编码方式的不同之处.在SATPLAN2006中实现了基于命题的编码方式,利用国际规划竞赛选用的标准测试问题予以测试,并分析其与基于动作的编码方式等两种极端编码方式的求解特性.实验结果表明:对于顺序规划问题域,基于命题的编码方式更有效,而对于并发规划问题域,基于动作的编码方式更有效.     

基于强化学习的挖掘机时间最优轨迹规划

针对挖掘机的自主作业场景,提出基于强化学习的时间最优轨迹规划方法.首先,搭建仿真环境用于产生数据,以动臂、斗杆和铲斗关节的角度、角速度为状态观测变量,以各关节的角加速度值为动作信息,通过状态观测信息实现仿真环境与自主学习算法的交互;然后,设计以动臂、斗杆和铲斗关节运动是否超出允许范围、完成任务 总时间和目标相对距离为奖励函数对策略网络参数进行训练;最后,利用改进的近端策略优化算法(proximal policy optimization, PPO)实现挖掘机的时间最优轨迹规划.与此同时,与不同连续动作空间的强化学习算法进行对比,实验结果表明:所提出优化算法效率更高,收敛速度更快,作业轨迹更平滑,可有效避免各关节受到较大冲击,有助于挖掘机高效、平稳地作业.     

一种求解最小权值强规划的方法

以规划领域中的不确定状态转移系统作为研究对象,给出最小权值强规划解的概念,提出一种求最小权值强规划解的方法.该方法可以求解与动作代价相关的数值规划问题,在不确定状态转移系统的执行动作上增加权值来表示动作的代价,在此基础上设计求解最小权值强规划解的算法.实验结果表明,该算法能有效求解最小权值强规划解,且比用反向搜索方法求...     

一致性规划中互斥常量合成方法研究

为压缩一致性规划的状态空间,并加快一致性规划的求解速度,将常量引入到一致性规划中,定义一致性规划中的常量,形成新的知识表示"多值一致性规划任务",定义多值一致性规划动作模型,提出一致性规划常量合成方法,给出一致性规划常量合成算法.该方法利用常量的特性在所有初始世界状态和所有实例动作中猜测、验证常量.理论分析和实验结果表明该算法能合成正确的一致性规划常量,生成多值一致性规划任务.为说明一致性规划常量的应用效果,把生成的多值一致性规划任务与规划解重用启发式结合求一致性规划解,并与规划系统CFF进行对比实验.实验结果表明求解质量和效率较高.     

多障碍物环境下挖掘机的连续避障轨迹规划

针对多障碍物环境下,挖掘机在挖掘过程中,铲斗碰到障碍物无法进行适应性调整的问题,利用三次多项式和积分法规划挖掘轨迹,采用盲人摸路算法对挖掘过程中挖掘机与障碍物发生碰撞后进行及时有效的调整,运用原像规划算法判断避障方向。为了方便进行避障算法验证,利用Matlab图形用户界面（GUI）设计了一个能够实现参数设置、结果展示等功能的可视化界面。仿真实验表明,该避障算法能够在复杂环境中,多次平滑绕开障碍物来完成连续避障任务。     

基于多值表示的并行规划方法

Fast Downward规划系统是第四届国际规划竞赛的冠军.以高效的串行规划系统Fast Downward为基础,设计并实现了并行规划系统Parallel Downward.首先提出4个并行规划的相关定义;之后提出多值规划任务下动作互斥的定义、充要条件,并实现了动作互斥判断算法;在此基础上设计了候选并行动作集的生成算法;然后为提高系统求解质量重新设计了新的搜索控制策略;最后,给出剪枝策略来抑制并行规划状态空间的指数级膨胀.通过对国际规划竞赛测试问题的实验,Parallel Downward表现出良好的规划效率和规划质量,相比Sapa规划系统Parallel Downward具有较好的可扩展性.     

分层法求最小权值强规划解

在不确定规划领域中,以往对强规划解的研究侧重于解本身,很少考虑不确定转移系统执行动作所需的代价;而已有的研究最小权值强规划解的算法效率不高。针对这一问题,引入模型检测的强规划分层方法,设计了一种快速求解最小权值强规划解的算法。该算法首先将不确定规划问题中的状态进行强规划分层,然后利用分层信息反向搜索最小权值强规划解;且在搜索的过程中,根据算法策略,实时更新所需搜索层数的上界和下界,从而避免了大量的无用搜索,提高了搜索效率。实验表明:所设计的算法能快速求解出最小权值强规划解,求解效率比已有的直接求解最小权值强规划解的算法高;且分层数和动作数越大,优势越明显。     

并行概率规划综述*

自动规划是人工智能的重要分支。它针对特定领域的特定问题,生成一个由可应用动作构成的规划。经典规划中的动作效果是确定的,且在每个时间步内只能执行一个动作。但在实际问题中,动作的效果往往是不确定性的,且动作的执行具有并发性。因此,并行概率规划(Parallel and Probabilistic Planning, PPP) 被提出,并在近两次国际规划比赛中有了专门的PPP比赛。PPP的应用前景正在引起规划研究学术圈的关注。有鉴于此,本文对其进行综述。具体内容包括定义PPP领域、问题和规划解,介绍其描述语言、基准领域及规划器,并对其中两个有代表性的规划器进行实际测试。实验表明在求解效率方面测试结果与比赛结果基本一致,但部分规划器的求解规模与竞赛不完全一致。这可能是比赛中的某些未开源代码或手工干预得到的。     

一种基于规划合并的作战方案优化方法

高效的作战方案是对敌实施有效打击的保证.运用Agent技术,提出一种规划合并机制,并将其运用于作战方案的优化.通过资源共享,将其它规划产生的可共享资源取代本规划中某些动作的输出,从而删除本规划中的冗余动作,提高规划执行效率,降低执行成本.最后给出规划合并的算法,采用倒序处理动作的方式,使得在实现目标的前提下,最大程度地删除规划中的冗余动作.     

成像卫星任务规划可视化仿真系统实现技术

对成像卫星任务规划的方案进行可视化仿真分析,是确保成像卫星任务规划的可靠性和高效益的有效途径。本文在分析成像卫星任务规划的可视化仿真特性、建模特性、数据处理技术等的基础上,设计了一种适合于成像卫星任务规划的可视化仿真系统。该系统基于GIS设计了任务规划二维规划视图,在STK基础上构建了任务规划三维视景仿真分析环境。同时,建立了资源库,对仿真的场景、模型资源进行有效管理。该系统已成功应用于某卫星任务规划系统,提高了成像卫星任务规划的效率。     

基于多智能体强化学习的微装配任务规划方法

现有装配任务规划方式多为人工规划，存在低效、高成本、易误操作等问题，为此分析了微装配操作的任务特点，以及对微装配中多操作臂协作与竞争关系进行了详细分析，并提出多智能体强化学习中符合微装配任务特点的动作空间、状态空间以及奖励函数的构建方法；利用CoppeliaSim仿真软件构建合理的仿真模型，对已有设备进行物理建模，构建了基于多智能体深度确定性策略梯度算法的学习模型并进行训练，在仿真环境中对设计的状态、动作空间以及奖励函数进行了逐项实验验证，最终获得了稳定的路径以及完整的任务实施方案；仿真结果表明，提出的环境构建方法，更契合直角坐标运动为主要框架的微装配任务，能够克服现有规划方法的不足，能够实现可实际工程化的多臂协同操作，提高任务的效率以及规划的自动化程度。     

基于Q学习的水下滑翔机路径规划方法

针对水下滑翔机路径规划问题，提出了一种基于Q学习的水下滑翔机路径规划方法。考虑到水下滑翔机在执行一些特定任务时会提前给定俯仰角及深度参数，且航向角选择范围通常是几个离散角度值，本文针对典型的几种俯仰角情况分别设计了航向动作选择集，这避免了Q学习方法“维数爆炸”问题。根据水下滑翔机航程最短的目标和障碍物外部约束条件，设计了奖励函数与动作选择策略。相较于传统路径规划方法，本文提出的方法不需要提前知道环境信息，而是在学习过程中根据环境的反馈选择最优动作，因此该方法在不同的环境条件下有优良的迁移能力。仿真结果表明，该方法能在未知环境中为水下滑翔机规划出规避障碍且航程短的路径。     

A distributed task planning system for computer-integrated manufacturing systems

A formal mathematical framework for a distributed task planning method suitable for computerintegrated manufacturing systems is proposed. All pertinent algorithms are derived. A detailed timing analysis associated with primitive actions and activities (complex tasks) execution is presented. A formal language is designed for event tracking and error specification. Based on the derived language, an error recovery mechanism (automaton) is proposed. A case study demonstrates the applicability of the presented method with and without error occurrences.Dr Kokinaki is currently Science and Engineering Research Centre, De Montfort University, UK.     

Sensor Fusion and Planning with Perception–Action Network

Robot intelligence requires a real-time connection between sensing and action. A new computation principle of robotics that efficiently implements such a connection is utmost important for the new generation of robotics. In this paper, a perception–action network is presented as a means of efficiently integrating sensing, knowledge, and action for sensor fusion and planning. The network consists of a number of heterogeneous computational units, representing feature transformation and decision-making for action, which are interconnected as a dynamic system. New input stimuli to the network invoke the evolution of network states to a new equilibrium, through which a real-time integration of sensing, knowledge, and action can be accomplished. The network provides a formal, yet general and efficient, method of achieving sensor fusion and planning. This is because the uncertainties of signals, propagated in the network, can be controlled by modifying sensing parameters and robot actions. Algorithms for sensor planning based on the proposed network are established and applied to robot self-localization. Simulation and experimental results are shown.     

High-efficient view planning for surface inspection based on parallel deep reinforcement learning

Machine vision, especially deep learning methods, has become a hot topic for product surface inspection. In practice, capturing high quality images is a base for defect detection. It turns out to be challenging for complex products as image quality suffers from occlusion, illumination, and other issues. Multiple images from different viewpoints are often required in this scenario to cover all the important areas of the products. Reducing the viewpoints while ensuring the coverage is the key to make the inspection system more efficient in production. This paper proposes a high-efficient view planning method based on deep reinforcement learning to solve this problem. First, visibility estimation method is developed so that the visible areas can be quickly identified for a given viewpoint. Then, a new reward function is designed, and the Asynchronous Advantage Actor-Critic method is applied to solve the view planning problem. The effectiveness and efficiency of the proposed method is verified with a set of experiments. The proposed method could also be potentially applied to other similar vision-based tasks.     

GP——基于规划图的遗传规划算法

图规划是智能规划领域近年来出现的一种新的规划方法,对智能规划的发展有着重要的影响.图规划的规划产生过程分为两个主要步骤,首先用动作的前提条件和效果产生一个谓词和动作交错出现的图--规划图,然后在规划图中抽取规划解.而第二步往往更为困难和耗时.文章依据遗传算法对规划图提出一种新的解抽取方法,以一种简明、直观的形式给出染色体的编码方式,并在此基础上定义了各种遗传操作算子,将遗传算法引入图规划算法,充分利用遗传算法的并行全局搜索能力实现规划解的搜索.实验表明,在求解大规模的规划问题时,文中的遗传规划算法在求解速度和找到的规划解的质量两方面均显示出优越性.     

知识引导遗传算法实现机器人路径规划

针对传统遗传算法求解机器人路径规划问题存在的收敛速度较慢的缺陷,设计一种知识引导遗传算法,在染色体的编码、初始种群的产生、各种遗传算子和优化算子中加入相关的领域知识.综合考虑机器人路径的长度、安全度和平滑度等性能指标,在对机器人进行路径规划的同时,利用删除、简化、修正和平滑4种优化算子进行路径优化操作.仿真结果表明,所提方法能够有效提高遗传算法求解实际路径规划问题的能力和效率.     

Dyna-Q-based vector direction for path planning problem of autonomous mobile robots in unknown environments

Reinforcement learning (RL) is a popular method for solving the path planning problem of autonomous mobile robots in unknown environments. However, the primary difficulty faced by learning robots using the RL method is that they learn too slowly in obstacle-dense environments. To more efficiently solve the path planning problem of autonomous mobile robots in such environments, this paper presents a novel approach in which the robot’s learning process is divided into two phases. The first one is to accelerate the learning process for obtaining an optimal policy by developing the well-known Dyna-Q algorithm that trains the robot in learning actions for avoiding obstacles when following the vector direction. In this phase, the robot’s position is represented as a uniform grid. At each time step, the robot performs an action to move to one of its eight adjacent cells, so the path obtained from the optimal policy may be longer than the true shortest path. The second one is to train the robot in learning a collision-free smooth path for decreasing the number of the heading changes of the robot. The simulation results show that the proposed approach is efficient for the path planning problem of autonomous mobile robots in unknown environments with dense obstacles.