一种基于深度强化学习的无人小车双层路径规划方法

随着智能无人小车的广泛应用，智能化导航、路径规划和避障技术成为了重要的研究内容。文中提出了基于无模型的DDPG和SAC深度强化学习算法，利用环境信息循迹至目标点，躲避静态与动态的障碍物并且使其普适于不同环境。通过全局规划和局部避障相结合的方式，该方法以更好的全局性与鲁棒性解决路径规划问题，以更好的动态性与泛化性解决避障问题，并缩短了迭代时间；在网络训练阶段结合PID和A^*等传统算法，提高了所提方法的收敛速度和稳定性。最后，在机器人操作系统ROS和仿真程序gazebo中设计了导航和避障等多种实验场景，仿真实验结果验证了所提出的兼顾问题全局性和动态性的方法具有可靠性，生成的路径和时间效率有所优化。     

基于自适应动态窗口改进细菌算法与移动机器人路径规划

针对移动机器人在复杂环境下的路径规划问题,提出一种新的自适应动态窗口改进细菌算法,并将新算法应用于移动机器人路径规划。改进细菌算法继承了细菌算法与动态窗口算法（dynamic window algorithm, DWA）在避障时的优点,能较好实现复杂环境中移动机器人静态和动态避障。该改进算法主要分三步完成移动机器人路径规划。首先,利用改进细菌趋化算法在静态环境中得到初始参考规划路径。接着,基于参考路径,机器人通过自身携带的传感器感知动态障碍物进行动态避障并利用自适应DWA完成局部动态避障路径规划。最后,根据移动机器人局部动态避障完成情况选择算法执行步骤,如果移动机器人能达到最终目标点,结束该算法,否则移动机器人再重回初始路径,直至到达最终目标点。仿真比较实验证明,改进算法无论在收敛速度还是路径规划精确度方面都有明显提升。     

基于深度强化学习的密集动态环境导航避障

导航和避障是移动机器人自主智能中一项基础且重要的任务，其目的是引导机器人到达相应的位置。随着移动机器人的广泛使用，移动机器人常需要在大量移动障碍物的环境中导航和避障。提出了一种基于深度强化学习的导航避障算法，通过基于残差卷积和注意力机制的深度Q网络与势能奖励函数相结合，提高了在密集动态环境中导航避障的性能。仿真实验证明，当环境中动态障碍物密度大于0.4 ppm时，导航成功率大于60%。     

基于环形邻域拓扑的自适应速度PSO算法

为克服全局粒子群优化算法易陷入局部最优的缺点,基于全局自适应速度粒子群优化（SAVPSO）算法,给出一种基于环形邻域拓扑的局部SAVPSO算法来求解约束优化问题,同时采用动态目标方法（DOM）来有效处理约束条件,并以13个经典的测试函数为例对算法的性能进行仿真实验研究。测试结果表明,与全局SAVPSO算法相比,该算法具有较强的全局寻优能力,可以较好地避免陷入局部最优;另外,粒子的邻域大小及实现形式对算法的性能均有一定的影响。     

具有动态自适应学习机制的教与学优化算法

为了克服教与学优化（TLBO）算法容易出现早熟和解精度低的问题,提出了一种动态自适应学习的改进教与学优化（DSLTLBO）算法。在DSLTLBO算法的“教”阶段,引入一个自适应变化的因子,使当前个体在早期主要向最优个体学习,后期能够较好地维持自身状态,种群多样性得以保持。在算法的后期,教师个体通过执行动态随机搜索算法,提高最优个体勘探新解的能力。在10个经典的Benchmark函数上的实验表明,该算法具有较好的收敛速度和解精度,较标准TLBO有较大能力提升,适合于求解较高维度的优化问题。     

改进TD3算法在四旋翼无人机避障中的应用

为了提高无人机（Unmanned Aerial Vehicle,UAV）系统的智能避障性能,提出了一种基于双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient,TD3）的改进算法（Improved Twin Delayed Deep Deterministic Policy Gradient,I-TD3）。该算法通过设置两个经验缓存池分离成功飞行经验和失败飞行经验,并根据两个经验缓存池的不同使用目的分别结合优先经验回放（Prioritized Experience Replay）方法和经验回放（Experience Replay）方法,提高有效经验的采样效率,缓解因无效经验过高导致的训练效率低问题。改进奖励函数,解决因奖励设置不合理导致的训练效果差问题。在AirSim平台上实现仿真实验,结果表明在四旋翼无人机的避障问题上,I-TD3算法的避障效果优于TD3算法和深度确定性策略梯度（Deep Deterministic Policy Gradient,DDPG）算法。     

动态环境下基于动态区域剔除的双目视觉SLAM算法

现有的同步定位与地图创建（SLAM）算法在动态环境中的定位与建图精度通常会大幅度下降,为此提出了一种基于动态区域剔除的双目视觉SLAM算法．首先,基于立体视觉几何约束方法判别场景中动态的稀疏特征点,接下来根据场景深度和颜色信息进行场景区域分割;然后利用动态点与场景分割结果标记出场景中的动态区域,进而剔除现有双目ORB-SLAM算法中动态区域内的特征点,消除场景中的动态目标对SLAM精度的影响;最后进行实验验证,本文算法在KITTI数据集上的动态区域分割查全率达到92.31%．在室外动态环境下,视觉导盲仪测试中动态区域分割查全率达到93.62%,较改进前的双目ORB-SLAM算法的直线行走定位精度提高82.75%,环境建图效果也明显改善,算法的平均处理速度达到4.6帧/秒．实验结果表明本文算法能够显著提高双目视觉SLAM算法在动态场景中的定位与建图精度,且能够满足视觉导盲的实时性要求．     

层级语义融合的场景文本检测

目的 场景文本检测是场景理解和文字识别领域的重要任务之一,尽管基于深度学习的算法显著提升了检测精度,但现有的方法由于对文字局部语义和文字实例间的全局语义的提取能力不足,导致缺乏文字多层语义的建模,从而检测精度不理想。针对此问题,提出了一种层级语义融合的场景文本检测算法。方法 该方法包括基于文本片段的局部语义理解模块和基于文本实例的全局语义理解模块,以分别引导网络关注文字局部和文字实例间的多层级语义信息。首先,基于文本片段的局部语义理解模块根据相对位置将文本划分为多个片段,在细粒度优化目标的监督下增强网络对局部语义的感知能力。然后,基于文本实例的全局语义理解模块利用文本片段粗分割结果过滤背景区域并提取可靠的文字区域特征,进而通过注意力机制自适应地捕获任意形状文本的全局语义信息并得到最终分割结果。此外,为了降低边界区域的预测噪声对层级语义信息聚合的干扰,提出边界感知损失函数以降低边界区域特征的歧义性。结果 算法在3个常用的场景文字检测数据集上实验并与其他算法进行了比较,所提方法在性能上获得了显著提升,在Totoal-Text数据集上,F值为87.0%,相比其他模型提升了1.0%;在MSRA-TD500（MSRA text detection 500 database）数据集上,F值为88.2%,相比其他模型提升了1.0%;在ICDAR 2015（International Conference on Document Analysis and Recognition）数据集上,F值为87.0%。结论 提出的模型通过分别构建不同层级下的语义上下文和对歧义特征额外的惩罚解决了层级语义提取不充分的问题,获得了更高的检测精度。     

基于CAS理论的改进PSO算法

针对粒子群优化（PSO）算法易陷入局部最优,发生早熟这一问题,借鉴复杂适应系统（CAS）理论,将混沌和自适应引入到基本PSO中,形成一种双重自适应PSO算法（DAPSO）。该算法在初始化种群时,采用Logisitic方程产生混沌序列;在迭代过程中,通过非线性动态调整策略调整粒子个体学习因子和社会学习因子的大小,采用（0,1）随机均匀分布代替惯性权重递减的方法对[w]进行自适应取值来更新粒子的速度和位移,最终实现算法求解全局最优的目标。最后运用六个高维单模态和多模态Benchmark测试函数对该算法进行仿真,并与PSO,2PSO,KPSO算法进行对比。对比结果表明,该算法在求解全局最优解时,效果明显优于其他粒子群算法,在精确性和寻优效率上较其他算法表现尤为突出。     

基于内容自适应的唐墓室壁画修复算法

为了解决基于样本图像修复算法时间复杂度高的缺点,结合唐墓室壁画的特点,提出了一种基于内容自适应的唐墓室壁画修复算法。该算法通过分析图像局部梯度变化将受损区域分为平坦区域和纹理区域,对于纹理区域采用改进的基于样本图像修复算法进行修复,而对平坦区域采用改进的基于快速行进算法（FMM）进行填充,最后提出自适应修补算法。实验结果表明,该算法在保证图像修复质量的同时提高了算法的效率。     

基于声纳环传感器的机器人避障研究

任何一种移动机器人要实现未知环境自主导航都必须有效而可靠地感知环境信息,而超声波传感器在检测障碍物距离信息方面应用十分广泛。介绍了旅行家II号声纳环传感系统的设计与实现原理,并对声纳的精度进行了测试。在此基础上,提出了移动机器人一种简单避障策略,并运用2种基本避障实验:静态避障和动态避障,验证了该避障策略的正确性和有效性。     

进化操作行为学习模型及在移动机器人避障上的应用

针对移动机器人避障上存在的自适应能力较差的问题,结合遗传算法(GA)的进化思想,以自适应启发评价(AHC)学习和操作条件反射(OC)理论为基础,提出了一种基于进化操作行为学习模型(EOBLM)的移动机器人学习避障行为的方法。该方法是一种改进的AHC学习模式,评价单元采用多层前向神经网络来实现,利用TD算法和梯度下降法进行权值更新,这一阶段学习用来生成取向性信息,作为内在动机决定进化的方向;动作选择单元主要用来优化操作行为以实现状态到动作的最佳映射。优化过程分两个阶段来完成,第一阶段通过操作条件反射学习算法得到的信息熵作为个体适应度,执行GA学习算法搜索最优个体;第二阶段由OC学习算法选择最优个体内的最优操作行为,并得到新的信息熵值。通过移动机器人避障仿真实验,结果表明所设计的EOBLM能使机器人通过不断与外界未知环境进行交互主动学会避障的能力,与传统的AHC方法相比其自学习自适应的能力得到加强。     

动态环境中服务机器人的改进型地图学习规划

针对室内服务机器人进行服务工作时需要躲避碰撞和抵达目标点的功能需求,本文提出了一种改进型地图学习路径规划算法.在地图学习规划算法的基础上,该算法首先约定了移动机器人的非完整性,使规划具有更高的可行性.然后改进了障碍物的影响方式,令已探测到的障碍物仅对已知区域产生作用,从而减少未知区域对路径选择的影响.接着,优化了地图学习算法中的随机选点策略,即若目标点出现在探测范围内时则令目标点作为初始选取点,解决了地图学习规划在临近目标点时收敛性不佳问题.并设计自适应速度移动策略以进一步提高算法的收敛性能和机器人的规划效率.最后,仿真及实验结果表明改进型地图学习路径规划算法相比于传统地图学习算法具有更好的规划效率和目标收敛能力.     

An Adaptive Obstacle Avoidance Algorithm for Unmanned Surface Vehicle in Complicated Marine Environments

Unmanned surface vehicles (USVs) are important autonomous marine robots that have been studied and gradually applied into practice. However, the autonomous navigation of USVs, especially the issue of obstacle avoidance in complicated marine environment, is still a fundamental problem. After studying the characteristics of the complicated marine environment, we propose a novel adaptive obstacle avoidance algorithm for USVs, based on the Sarsa on-policy reinforcement learning algorithm. The proposed algorithm is composed of local avoidance module and adaptive learning module, which are organized by the "divide and conquer" strategy-based architecture. The course angle compensation strategy is proposed to offset the disturbances from sea wind and currents. In the design of payoff value function of the learning strategy, the course deviation angle and its tendency are introduced into action rewards and penalty policies. The validity of the proposed algorithm is verified by comparative experiments of simulations and sea trials in three sea-state marine environments. The results show that the algorithm can enhance the autonomous navigation capacity of USVs in complicated marine environments.      

改进人工势场的手术机器人位姿规划

运动避障与路径规划是手术机器人自动化手术中重要的技术环节,为机器人手术提供了良好的术中安全性及准确性.本研究针对上述两关键技术,提出改进人工势场的手术机器人位姿规划算法,首先,通过对引力函数进行改进,在不求取运动学逆解的情况下,能够准确驱动机械臂到达指定位姿;接着,利用快速凸包算法将障碍物凸体化,通过Gilbert Johnson Keerthi (GJK)算法计算障碍物与机械臂连杆等效圆柱面之间的最近距离,使避障距离更加准确;然后,通过自适应步长,使机械臂运动更加平稳快速;最后,引入动态引力常数,使机械臂具有逃离局部极小值的能力.实验结果表明,本研究能够让机器人在避障情况下平稳快速到达规划位姿,并在陷入局部极小值时逃逸,为未来医疗机器人在自动化手术方面提供了新思路.     

Reactive navigation of underwater mobile robot using ANFIS approach in a manifold manner

Learning and self-adaptation ability is highly required to be integrated in path planning algorithm for underwater robot during navigation through an unspecified underwater environment. High frequency oscillations during underwater motion are responsible for nonlinearities in dynamic behavior of underwater robot as well as uncertainties in hydrodynamic coefficients. Reactive behaviors of underwater robot are designed considering the position and orientation of both target and nearest obstacle from robot’s current position. Human like reasoning power and approximation based learning skill of neural based adaptive fuzzy inference system (ANFIS) has been found to be effective for underwater multivariable motion control. More than one ANFIS models are used here for achieving goal and obstacle avoidance while avoiding local minima situation in both horizontal and vertical plane of three dimensional workspace. An error gradient approach based on input-output training patterns for learning purpose has been promoted to spawn trajectory of underwater robot optimizing path length as well as time taken. The simulation and experimental results endorse sturdiness and viability of the proposed method in comparison with other navigational methodologies to negotiate with hectic conditions during motion of underwater mobile robot.     

An online collision-free trajectory generation algorithm for human–robot collaboration

The premise of human–robot collaboration is that robots have adaptive trajectory planning strategies in hybrid work cell. The aim of this paper is to propose a new online collision avoidance trajectory planning algorithm for moderate dynamic environments to insure human safety when sharing collaborative tasks. The algorithm contains two parts: trajectory generation and local optimization. Firstly, based on empirical Dirichlet Process Gaussian Mixture Model (DPGMM) distribution learning, a neural network trajectory planner called Collaborative Waypoint Planning network (CWP-net) is proposed to generate all key waypoints required for dynamic obstacle avoidance in joint space according to environmental inputs. These points are used to generate quintic spline smooth motion trajectories with velocity and acceleration constraints. Secondly, we present an improved Stochastic Trajectory Optimization for Motion Planning (STOMP) algorithm which locally optimizes the generated trajectories of CWP-net by constraining the trajectory optimization range and direction through the DPGMM model. Simulations and real experiments from an industrial use case of human–robot collaboration in the field of aircraft assembly testing show that the proposed algorithm can smoothly adjust the nominal path online and effectively avoid collisions during the collaboration.     

基于深度强化学习的移动机器人动态路径规划算法

为了在复杂舞台环境下使用移动机器人实现物品搬运或者载人演出,提出了一种基于深度强化学习的动态路径规划算法。首先通过构建全局地图获取移动机器人周围的障碍物信息,将演员和舞台道具分别分类成动态障碍物和静态障碍物。然后建立局部地图,通过LSTM网络编码动态障碍物信息,使用社会注意力机制计算每个动态障碍物的重要性来实现更好的避障效果。通过构建新的奖励函数来实现对动静态障碍物的不同躲避情况。最后通过模仿学习和优先级经验回放技术来提高网络的收敛速度,从而实现在舞台复杂环境下的移动机器人的动态路径规划。实验结果表明,该网络的收敛速度明显提高,在不同障碍物环境下都能够表现出好的动态避障效果。     

动态环境下机器人多目标路径规划蚂蚁算法

研究了一种新颖的动态复杂不确定环境下的机器人多目标路径规划蚂蚁算法。该方法首先根据蚂蚁觅食行为对多个目标点的组合进行优化,规划出一条最优的全局导航路径。在此基础上,机器人按照规划好的目标点访问顺序根据多蚂蚁协作局部路径算法完成局部路径的搜索。机器人每前进一步都实时地进行动态障碍物运动轨迹预测以及碰撞预测,并重新进行避碰局部路径规划。仿真结果表明,即使在障碍物非常复杂的地理环境,用该算法也能使机器人沿一条全局优化的路径安全避碰的遍历各个目标点,效果十分令人满意。     

Reinforcement learning-based dynamic obstacle avoidance and integration of path planning

Deep reinforcement learning has the advantage of being able to encode fairly complex behaviors by collecting and learning empirical information. In the current study, we have proposed a framework for reinforcement learning in decentralized collision avoidance where each agent independently makes its decision without communication with others. In an environment exposed to various kinds of dynamic obstacles with irregular movements, mobile robot agents could learn how to avoid obstacles and reach a target point efficiently. Moreover, a path planner was integrated with the reinforcement learning-based obstacle avoidance to solve the problem of not finding a path in a specific situation, thereby imposing path efficiency. The robots were trained about the policy of obstacle avoidance in environments where dynamic characteristics were considered with soft actor critic algorithm. The trained policy was implemented in the robot operating system (ROS), tested in virtual and real environments for the differential drive wheel robot to prove the effectiveness of the proposed method. Videos are available at https://youtu.be/xxzoh1XbAl0.