Reinforcement learning algorithms for robotic navigation in dynamic environments

The purpose of this study was to examine improvements to reinforcement learning (RL) algorithms in order to successfully interact within dynamic environments. The scope of the research was that of RL algorithms as applied to robotic navigation. Proposed improvements include: addition of a forgetting mechanism, use of feature based state inputs, and hierarchical structuring of an RL agent. Simulations were performed to evaluate the individual merits and flaws of each proposal, to compare proposed methods to prior established methods, and to compare proposed methods to theoretically optimal solutions. Incorporation of a forgetting mechanism did considerably improve the learning times of RL agents in a dynamic environment. However, direct implementation of a feature-based RL agent did not result in any performance enhancements, as pure feature-based navigation results in a lack of positional awareness, and the inability of the agent to determine the location of the goal state. Inclusion of a hierarchical structure in an RL agent resulted in significantly improved performance, specifically when one layer of the hierarchy included a feature-based agent for obstacle avoidance, and a standard RL agent for global navigation. In summary, the inclusion of a forgetting mechanism, and the use of a hierarchically structured RL agent offer substantially increased performance when compared to traditional RL agents navigating in a dynamic environment.     

地外风化层采样机械臂自主避障控制方法

由于地外天体风化层环境的不确定性,执行浅层钻取采样任务时易受到潜在障碍物的干扰,而对于采样时感知环境并进行机构姿态调整的研究相对较少。为提高采样成功率、改善作业时末端机构受力情况,提出了一种应用于地外风化层采样任务的机械臂自主避障控制方法。设计了能够辅助旋转避障与平移探进的三自由度机械臂,并进行了运动学分析。通过搭载三维力传感器获取采样器受力信息,结合导纳控制与旋转避让进行障碍规避。为验证方法可行性,进行了多组仿真实验和实物实验。实验结果表明,所提出的方法能够有效帮助采样器避让障碍物体,显著减小了作业阻力,X、X三方向最大受力的改善分别达到46.7%、57.0%、64.9%,改善了常规柔顺方法应用于浅层钻取时易受干扰的不足。     

基于Agent的递阶强化学习模型与体系结构

通过引入频率最大Q值启发式学习算法,对一种递阶强化学习方法进行改进,解决在庞大状态空间和动态变化环境中对Agent进行最优行为策略学习的问题。引入属性维护算子以及承诺和规划意识属性,对经典信念、愿望、意图模型进行扩展,给出意识属性的理性维护过程,增强Agent的自适应性并使Agent具有在动态环境中进行在线学习的能力。根据意识模型提出一种具有主动性、适应性、反应性、社会性的Agent体系结构,并根据该体系结构开发出一种路径规划Agent。通过对行驶环境的组态设定,模拟车辆复杂的行驶状态,并通过对行驶状态的不断学习,最终获得最优路径,证明体系结构的可行性和有效性。     

A lane based obstacle avoidance method for mobile robot navigation

This paper presents a new local obstacle avoidance method for indoor mobile robots. The method uses a new directional approach called the Lane Method. The Lane Method is combined with a velocity space method i.e., the Curvature-Velocity Method to form the Lane-Curvature Method(LCM). The Lane Method divides the work area into lanes, and then chooses the best lane to follow to optimize travel along a desired goal heading. A local heading is then calculated for entering and following the best lane, and CVM uses this local heading to determine the optimal translational and rotational velocities, considering some physical limitations and environmental constraint. By combining both the directional and velocity space methods, LCM yields safe collision-free motion as well as smooth motion taking the physical limitations of the robot motion into account.     

简易避障机器人的设计

针对矿井中的各种灾害,设计了一种适合矿井救援的简易避障机器人。该设计以AT89C51单片机作为智能机器人的检测和控制核心,采用红外光电传感器实现机器人避障。在硬件设计的基础上。通过软件编程,实现了对智能机器人行进、绕障、停止的控制和检测数据的存储、显示。本设计制作的简易避障机器人工作性能稳定。工艺简单,易于控制。且实验现场运行效果良好。     

基于BP神经网络机器人实时避障算法

针对二维静态环境下智能机器人避障及路径规划问题,提出了基于BP神经网络的机器人实时避障算法。首先,用多个扇区表示机器人周围的环境,利用激光雷达探测每个扇区内障碍物的距离信息,以每个扇区内障碍物的距离信息为输入,利用BP神经网络计算该扇区被选择为避障方向的得分;然后,利用各扇区中点坐标与当前时刻距障碍物最近扇区中点坐标之间的欧氏距离,计算机器人在当前位姿条件下各扇区被选中作为避障方向的条件概率;最后,将使得得分与条件概率之积最大的扇区作为机器人的避障方向。实验结果表明:所提算法的收敛时间比栅格方法降低了50%以上,机器人的避障轨迹与人工势场方法相比更短,能较好地应用于复杂多障碍物场景。     

超声波测距仪在移动机器人避障中的应用

移动机器人通过各种传感器系统感知外界环境和自身状态,在复杂的环境中自主移动并完成相应的任务,超声波传感器以其独有的特征而被青睐.本文利用两个超声波传感器对障碍物进行定位,从而使机器人顺利到达结构化环境中的目标.     

基于深度学习的电力企业智能招聘系统的设计与实现

电力企业智能招聘系统对电力企业招贤纳才,提高电力企业市场竞争力具有至关重要的作用.本文将卷积神经网络作用于智能招聘系统原始图像,采用K均值聚类算法对图像进行识别,同时对招聘系统的用户管理模块、信息检索模块、求职管理模块以及安全验证模块进行了设计与实现.将深度学习的经典算法卷积神经网络应用于智能招聘系统中使得智能招聘系统...     

具有越障和避障功能的小型移动机器人设计

针对在复杂环境下对移动机器人的运动要求,采用行星轮传动机构设计一种具有越障和避障功能的移动机器人,对越障和避障过程进行性能分析,确定机器人的最大越障高度和最大转向半径。     

基于模糊神经网络控制的AGV避障路径规划仿真

自动导引车(AGV)作为一种现代化物流设备,在许多领域得到了越来越广泛的应用。AGV在行进过程中的主要任务是避障及路径规划。针对AGV的避障路径规划问题,定义了AGV的行驶环境,提出了AGV避障路径规划的模糊神经网络控制方法,设计了模糊神经网络控制器,并用Matlab进行了仿真。仿真结果表明该模糊神经网络控制器满足控制要求,该研究为进一步精确控制AGV奠定了基础。