两栖六足仿生机器人的水陆运动控制研究

两栖六足机器人不仅需应对崎岖地形对陆地爬行提出的挑战,还要解决机器人在水下灵活运动的控制问题。因此,本文首先提出了基于深度强化学习的崎岖地形运动控制方法。通过MuJoCo为机器人执行爬行任务构建交互环境,并采用近端策略优化(PPO)算法训练智能体使其获取适应于不同崎岖程度地形的控制策略。仿真数据表明,陆地控制策略可使机器人在平坦、轻度崎岖、重度崎岖3类地形上快速、稳定地完成前进任务。针对水下运动控制问题,本文通过分析机器人动力学模型将其分解为：采用视线法与PID控制器解决平面轨迹跟踪和深度控制问题。水下实验表明,机器人可在平面快速跟踪Sigmoid曲线且轨迹偏差不超过0.11 m。深度控制实验中,机器人可平稳到达指定深度且控制精度在0.02 m以内。     

基于碳化硼外壳的辐射检测机器人的设计

针对机器人在未知危险辐射环境的辐射检测方面,提出设计一种带有智能导航功能的仿生六足机器人模型,机器人上带有RPLIDAR A1激光雷达,STM32驱动板,OPENMV摄像头,树莓派3B+主控板,温度湿度传感器等各种传感器。通过SLAM技术及ROS机器人操作系统对地形进行扫描,以STM32控制地仿生六足为基座,使其可在大多地形中进行工作;以碳化硼外壳进行外壳涂抹,减少辐射对电子元件的影响;以及树莓派远程控制及OPENMV摄像头进行有效结合的设计。实验结果证明,设计的仿生六足辐射检测机器人有在辐射地形中有效地进行工作,减少辐射检测人员受辐射影响的意义。     

基于个体-协同触发强化学习的多机器人行为决策方法

为了提高多机器人行为最优决策控制中强化学习的效率和收敛速度,研究了多机器人的分布式马尔科夫建模与控制策略。根据机器人有限感知能力设计了个体-协同感知触发函数,机器人个体从环境观测结果计算个体-协同触发响应概率,定义一次触发过程后开始计算联合策略,减少机器人间通讯量和计算资源。引入双学习率改进Q学习算法,并将该算法应用于机器人行为决策。仿真实验结果表明,当机器人群组数量在20左右时,本文算法的协同效率较高,单位时步比为1.085 0。同时距离调节参数η对机器人协同搜索效率有影响,当η=0.008时,所需的移动时步比和平均移动距离都能达到最小值。通过双学习率的引入,该算法较基于环境模型的强化学习算法具有更高的学习效率和适用性,平均性能提升35%,对于提高多机器人自主协同能力具有较高的理论意义及应用价值。     

基于递阶强化学习的自主机器人路径规划智能体

递阶强化学习是解决状态空间庞大的复杂系统智能体决策的有效方法.通过引入启发式算法思想,对一种递阶强化学习方法进行改进,使得智能体在学习过程中融入了历史信息,提高了学习效率,解决了在庞大状态空间和动态变化环境中对智能体进行最优行为策略学习的问题.以扩展的信念、愿望和意图意识模型为基础.提出了一种具有主动性、自治性、反应性、社会性的自主机器人路径规划智能体体系结构,通过仿真实验,证明了路径规划智能体的可行性和有效性.     

多移动机器人协同模式及其倾翻稳定性研究

针对山地果园单个移动机器人爬坡能力不足及稳定性差等问题,提出了一种多移动机器人协同操作的方法。在原有六足机器人结构的基础上增加了用于多机协同操作的连接件,得到了用于多机协同操作的机器人单体。将3个六足机器人单体通过协同操作得到了3种典型协同模式：串行模式、并行模式、三角模式。最后采用稳定锥法对足式移动机器人系统的单体模式及3种典型协同模式在6种典型地形情况下的静态、动态稳定性分别进行了分析。理论分析及仿真实验结果表明：3种典型协同模式间可进行两两切换;在6种典型地形情况下,通过多机协同操作及协同模式切换的方式可提高足式机器人系统的稳定性。     

非完整约束大负重比六足机器人多机动态协同编队避障控制策略

在多机器人编队任务的现实环境中,不可避免会遇到队形变换的动态编队问题。为提高非结构环境多机器人编队的动态协同避障能力,以大负重比六足机器人的多机器人系统为例,利用非完整约束移动机器人轨迹跟踪的领航者-跟随者编队思想,提出多领航机器人分群一致性编队控制的动态队形变换避障策略。基于代数图论数学基础,设计大负重比六足机器人多机通信拓扑图与拓扑图分析矩阵,建立多领航者分群一致性编队系统的全局动态关系与一致性数学模型,提出多领航机器人分群一致性编队控制的动态队形变换避障策略,基于MATLAB软件实施仿真实验,仿真结果显示虚拟领航机器人发布控制指令使多机系统完成队形变换并顺利通过障碍物环境,验证多机动态协同编队避障控制策略的有效性和泛化能力。所提出的大负重比六足机器人多机动态协同编队避障控制策略,有助于提高非结构环境多机器人系统的地形通过能力。     

基于强化学习的无人机全自主电力巡检

针对无人机在电力巡检中的全自主性进行研究,提出全自主电力巡检系统,该系统由无人机智能体、充电桩和待巡检目标构成。借助无线充电技术和强化学习决策算法使无人机拥有全自主执行任务的能力,并在设计的仿真环境中进行了验证,训练后的无人机智能体可以自主路径规划进行电力巡检和自主决策到附近的无线充电桩充电,无需人工介入可完成所有巡检任务。由于传统的近端策略优化算法在本系统中奖励低的问题,因此提出一种基于动作掩码的近端策略优化算法来训练无人机智能体,仿真实验结果表明,动作掩码机制使奖励提高了39%,能耗降低了15.34%。     

基于增强学习的六足机器人自由步态规划

为解决六足机器人步态规划问题,实现特定地形上机器人自由步态的优化学习,基于机器人单足步距的离散化处理,融合CPG模型的时间节拍原理与反射模型的空间规则约束机制,构建六足机器人离散化步态模型。通过机器人稳定性分析与步态规划策略研究,将复杂的步态规划问题转化为以振荡周期为时间间隔的位置状态间的排序问题,从新的视角提出了一种六足机器人自由步态规划的基本框架与方法。在此基础上,模仿生物步态的学习行为,基于步态序列的离散化处理,构建了基于增强学习的步态模型,并以机器人平均稳定裕量为优化目标,通过制定步态离散单元间动态转换概率的调整策略,提出了基于增强学习的自由步态规划方法。样机试验显示,自由步态规划方法与基于增强学习的自由步态规划方法均可规划出相对符合生物步态行为特征的稳定自由步态,且后者可利用步态历史信息实现特定地形上自由步态的优化学习。     

非结构环境下六足机器人仿真研究

为了研究六足机器人在不同地形环境下的运动性能,利用CREO三维建模软件生成了一款六足机器人三维实体模型,并导入ADAMS虚拟样机软件获取样机动力学模型.通过建立平地、沟壑以及梅花桩地形虚拟环境对其进行直线行走仿真分析与非结构路面行走步态仿真分析,获取六足机器人在不同运动形式下质心位移、足端受力、各关节转矩等参数随时间的变化曲线,验证了六足机器人结构设计的合理性以及运动的可能性,为六足机器人实物样机的研制提供了理论依据.     

基于Q学习的智能车间自适应调度方法

为降低智能车间中动态不确定因素对生产性能的影响，提出一种基于Q学习的智能车间自适应调度方法。该方法设计基于强化学习的智能车间自适应调度框架，采用Q学习算法，通过智能体—环境交互试错机制，自主训练调度模型，并根据生产车间环境变化动态更新调度模型，以支持能够指导车间运行的最优决策轨迹的生成。所提方法在MiniFab半导体生产线模型上进行了验证，结果证明该方法能够有效应对智能车间生产环境变化，在生产全过程中能对调度决策进行实时调整，优化车间综合性能指标，同时显著降低时间与人力成本。