多智能体强化学习的机械臂运动控制决策研究

针对传统运动控算法存在环境适应性较差,效率低的问题。可以利用强化学习在环境中不断去探索试错,并通过奖励函数对神经网络参数进行调节的方法对机械臂的运动进行控制。但是在现实中无法提供机械臂试错的环境,采用Unity引擎平台来构建机械臂的数字孪生仿真环境,设置观察状态变量和设置奖励函数机制,并提出在该模型环境中对PPO(proximal policy optimization)与多智能体（agents）结合的M-PPO算法来加快训练速度,实现通过强化学习算法对机械臂进行智能运动控制,完成机械臂执行末端有效避障快速到达目标物体位置,并通过该算法与M-SAC（多智能体与Soft Actor-Critic结合）和PPO算法的实验结果进行分析,验证M-PPO算法在不同环境下机械臂运动控制决策调试上的有效性与先进性。实现孪生体自主规划决策,反向控制物理体同步运动的目的。     

改进RRT-人工势场法的机械臂堆垛运动方法

快速拓展随机树算法(RRT)在机械臂路径规划中存在随机性强、搜索效率低、规划路径长等问题,不能在货柜堆垛场景中取得相对最优的光滑路径。对此,该文提出了一种改进RRT-人工势场法混合算法进行货柜堆垛机械臂运动规划。首先,对传统快速拓展随机树算法进行改进,在传统快速拓展随机树算法的全局搜索的基础上引入目标搜索,增强了随机树的搜索效率,并使用改进后的算法进行全局路径规划;其次,对人工势场法进行改进,通过使用斥力势场范围大小作为阈值修正引力函数,使用机械臂末端执行器至末位置点影响修正斥力函数,并使用改进的人工势场法对局部路径进行优化;再次,使用三次非均匀B样条曲线对路径进行平滑处理,并将处理后的光滑路径作为机械臂末端执行器运动的最终路径。最后,在Python模拟场景中对改进算法进行可行性分析,并在ROS系统对机械臂堆垛运动进行应用仿真,验证了该方法的有效性和可行性。     

基于神经网络机械臂自适应控制的研究与实现

提出了一种基于神经网络的机械臂自适应控制方法,该方法主要利用DIRECT模型,采用八叉树算法构建基于空间的神经网络,避免建立复杂的机械臂运动学模型,通过随机映射的方法建立机械臂与运动空间的关系,实现了自适应轨迹规划.仿真实验结果表明,所提出的机械臂自适应控制方法更容易实现.     

隘路环境下排爆机械臂Multi-RRT路径规划算法

排爆机械臂通常工作在类似隘路的环境中,传统的基于采样的路径规划方法在隘路环境下计算效率较低;提出一种采样增强的Multi-RRT路径规划方法,该方法分为两个部分:第一部分为区域随机桥采样法,该方法以采样特征决定局部C空间(configuration space)随机桥测试的参数并采集有限隘路样本;第二部分为Multi-RRT算法,以起始点、目标点和随机桥采样所得点为树根,多树多方向协调生长规划路径;仿真实验结果表明该方法提高了快速扩展随机树算法的计算效率,有效地解决了隘路环境下排爆机械臂的路径规划问题,适用于多维高自由度机器人系统的路径规划。     

基于泛函梯度优化的运动规划算法

针对高自由度的机械臂的灵活性和自主性问题,提出一种快速且高效的机械臂运动规划算法。通过动态运动基元(DMPs)模型对运动轨迹进行编码提取特征,作为运动轨迹先验知识,基于现在物理环境和目标任务设计无碰撞及高能效的目标泛函,通过对目标泛函进行梯度下降得出在该环境下的最优轨迹。为验证算法的有效性,通过机器人实验平台(v-rep)模拟机械臂的日常操作任务。实验结果表明,在整个工作空间内,机械臂通过少量的迭代(少于6次),便可生成无碰撞的运动轨迹,可降低能耗20%以上。     

基于ROS六轴机械臂运动规划研究

使用机器人操作系统（Robot Operating System, ROS）作为仿真平台，基于六自由度机械臂，对其工作效率及安全性的运动规划问题展开研究。通过SolidWorks建立机械臂模型，并通过SW2URDF插件将模型转换为XML格式的URDF机器人描述文件。利用ROS Moveit！中内置机械臂设置助手Moveit! Setup Assistant生成运动规划相关文件，通过Moveit!下C++接口对机械臂进行轨迹规划，在可视化三维平台Rviz中对笛卡尔空间直线与圆弧插补进行仿真。使用快速扩张随机树和渐进最优快速随机搜索树路径规划算法，实现高维空间的无碰撞路径规划，并通过仿真结果得出RRT-star算法收敛速度更快、搜索成功率更高的结论，保证机械臂的正常作业。     

电能表检验台体串联机械臂时间最优轨迹规划

时间最优轨迹规划有助于缩短机械臂运动时间,提高工作效率,在机械臂实际应用场景中起着至关重要的作用。针对串联机械臂点到点运动的时间最优轨迹规划问题,提出一种基于改进多种群遗传算法的最优轨迹规划方法。通过五次多项式插值对机械臂运动路径进行拟合,利用改进的多种群遗传算法对机械臂运动时间进行优化,改进之处包括：设计含有惩罚项的适应度函数,降低不满足运动学约束条件的个体被选择的概率;引入贪婪选择策略,按照比例保留父代种群优秀个体,替换子代种群较差个体;自适应调整交叉和变异概率,加快算法收敛速度。以ER-4iA机械臂为实验对象,通过仿真实验验证所提算法的可行性,并将所提算法与蚁群算法、粒子群算法、标准遗传算法和标准多种群遗传算法进行比较,结果表明所提算法具有更优的性能。     

冗余自由度协作机器人运动规划研究

针对传统快速探索随机树(Rapidly Exploring Random Tree,RRT)路径规划算法在新枝点扩展上缺乏目标性和时间复杂度高的问题,以具有偏置构型的7自由度冗余机器人Rethink Sawyer为研究对象,利用引力势函数,对新枝点的扩展进行调节,提出了具有导向性的变步长双向RRT扩展算法完成协作机器人运动规划.采用阻尼最小二乘Newton-Raphson方法对Sawyer机器人逆运动学进行数值求解.通过机械臂运动学模型和运动规划算法仿真、ROS平台的运动规划实验,验证了改进RRT算法进行路径规划的正确性,在操作过程中有效地避免了与约束框架碰撞,降低了机械臂运动规划的时间复杂度.     

一种改进的复杂场景运动目标检测算法

提出了一种复杂场景视频序列中运动目标精确检测及提取的改进算法,该算法首先采用混合高斯模型(简称GMM)对背景及前景建模快速地实现前景运动区域提取,然后结合目标帧间相关性和随机噪声帧间无关的特点采用时间滤波(Tem-poral Filter)法和数学形态学进行后处理.实验结果表明本文所采用的改进算法能准确的提取运动目标滤除动态噪声,提高了检测鲁棒性,对复杂干扰场景下的实时运动目标检测得到了较令人满意的效果.     

基于深度强化学习与旋量法的机械臂路径规划EI北大核心CSCD

深度强化学习在机械臂路径规划的应用中仍面临样本需求量大和获取成本高的问题.针对这些问题,本文基于数据增强的思路,提出了深度强化学习与旋量法的融合算法.本算法通过旋量法将与环境交互所得的自然轨迹进行有效复制,使深度强化学习样本利用率和算法训练效率得到提高;复制轨迹的同时对被控物体、障碍物等环境元素进行同步复制,以此提高机械臂在非结构环境中的泛化性能.最后,在具备物理模拟引擎的Mujoco仿真平台中,通过Fetch机械臂和UR5机械臂在非结构化环境下进行实验对比分析,结果表明了本文算法对于提升深度强化学习样本利用率和机械臂模型泛化性能的可行性及有效性.     

基于深度强化学习的二连杆机械臂运动控制方法

针对二连杆机械臂的运动控制问题,提出了一种基于深度强化学习的控制方法。首先,搭建机械臂仿真环境,包括二连杆机械臂、目标物与障碍物;然后,根据环境模型的目标设置、状态变量和奖罚机制来建立三种深度强化学习模型进行训练,最后实现二连杆机械臂的运动控制。对比分析所提出的三种模型后,选择深度确定性策略梯度（DDPG）算法进行进一步研究来改进其适用性,从而缩短机械臂模型的调试时间,顺利避开障碍物到达目标。实验结果表明,所提深度强化学习方法能够有效控制二连杆机械臂的运动,改进后的DDPG算法控制模型的收敛速度提升了两倍并且收敛后的稳定性增强。相较于传统控制方法,所提深度强化学习控制方法效率更高,适用性更强。     

码垛机器人运动学分析及仿真研究

针对当前码垛机器人实际运动规划难度较大的问题,以某真实生产线上六自由度码垛机器人为研究对象,采用D-H法建立机械臂数学模型,对机械臂的正运动学、逆运动学进行分析,确定码垛机器人的工作空间。使用Robot Studio软件对末端机械爪、托盘、物料、传送链等进行建模,完成虚拟场景空间布局,通过编程实现码垛机器人的运动仿真。经综合调试,系统工作稳定、可靠,对现阶段码垛机器人的设计与仿真有一定借鉴意义。     

基于机器视觉的目标定位与机器人规划系统研究

为完成机械臂在非特定复杂背景环境下的自主抓取,通过设计RGB-D相机对场景内的物体进行实时检测,采用基于深度学习的目标检测定位方法,并对相机-机械臂-目标物体的三维标定模型进行研究。将物体的三维坐标信息通过ROS话题机制发送给机械臂,并通过moveIT编程规划抓取规划。 通过设计一套基于ROS的视觉检测和机械臂抓取系统,将计算机视觉检测技术以及机械臂运动规划抓取应用在机器人操作系统ROS平台上。实验结果表明,该系统可以实时高效地操作机器人来完成指定的控制作业,提高了系统对环境的适应能力,该系统具有抓取准确、物体识别准确率高的特点,解决了传统机械臂操控中的不足。     

Robust tracking with adaptive appearance learning and occlusion detection

It is still challenging to design a robust and efficient tracking algorithm in complex scenes. We propose a new object tracking algorithm with adaptive appearance learning and occlusion detection in an efficient self-tuning particle filter framework. The appearance of an object is modeled with a set of weighted and ordered submanifolds, which can guarantee the adaptability when there is fast illumination or pose change. To overcome the occlusion problem, we use the reconstruction error data of the appearance model to extract occlusion region by graph cuts. And the tracking result is improved with feedback of occlusion detection. The motion model is also integrated with adaptability to overcome the abrupt motion problem. To improve the efficiency of particle filter, the number of samples is tuned with respect to the scene conditions. Experimental results demonstrate that our algorithm can achieve great robustness, high accuracy and good efficiency in challenging scenes.     

基于情景萤火虫算法的机器人路径规划

针对传统非结构环境下路径规划时机器人运动状态振荡和适应性差等问题,提出了一种基于情景萤火虫算法（SGSO）的机器人路径规划策略。该算法基于混沌系统的规律性、随机性和历遍性以实现初始化,并利用黄金比分割法进行后期优化,以提高种群的多样性,抑制算法的早熟和局部收敛;同时,引入关于萤火虫"天敌"的情景理解,改进萤火虫种群的选择机制,解决萤火虫在非结构环境下寻迹过程中的搁浅现象,增强了算法的适应性和鲁棒性。四个测试函数的仿真实验结果表明,所提算法的求解精度、收敛效率优于基本萤火虫种群优化（GSO）算法;将该算法应用于非结构环境下移动机器人的路径规划中,检测结果表明,基于SGSO的规划路径更短,且转角处更光滑,有效避免了机器人大角度转向对动力系统造成的额外负荷,验证了所提算法的可行性和有效性。     

机械手三维操作空间建立与路径规划

针对传统路径规划算法在机械手路径规划中未考虑机械臂干涉、搜索效率低、路径不合理等问题,在建立了机械手空间模型,采用二次投影法分析和计算机械手操作空间的基础上,将障碍模型和操作空间栅格化,并提出了改进的遗传算法。在遗传算法的设计中,使用实数编码和三维坐标编码相结合的编码方式将栅格进行编码,改进交叉算子,定义最小基因交叉片段数量比,提高了搜索效率,简化了计算过程。通过Matlab建立了机械手仿真模型,验证了算法的有效性,且在实验条件和实验对象等各项参数相同的情况下,相对于传统路径规划算法,搜索效率,最优路径比等得到明显提升。     

工业机器人运动规划研究进展

由于工业机器人构型空间和工作环境的复杂性,传统运动规划算法难以在有限时间内进行路径求解,如何提高算法的规划效率与最优性成为研究热点。本文跟踪目前工业机器人运动规划算法的发展现状,针对主流随机采样算法的原理与发展脉络进行了细致分析与总结。在此基础上,详细阐述了基于强化学习的随机采样算法,该方法引入了规划学习机制,在保证求解速度的同时,还能不断提高求解质量。同时对当前运动规划算法存在的一些不足提出了建议与展望。