一种非结构环境下目标识别和3D位姿估计方法

为提高非结构环境下目标识别准确率和位姿估计精度,提出一种利用Kinect V2 RGB-D传感器并基于目标的CAD模型进行不同类型目标自动识别和3D位姿估计的新方法.利用虚拟相机获取目标CAD模型的深度图像,并将目标的模型转化为点云图,采用体素栅格滤波减少场景点云中的点数;利用点对特征描述子(PPF)作为CAD模型的全局描述子,并将相似的PPF划分成一组放进一个hash表,用于识别和定位目标,所有目标的hash表组成了3D模型数据库;利用基于投票策略的方法对不同类型目标进行检测识别和3D位姿估计,并采用位姿聚类的方法和ICP配准进行位姿修正,再通过奇异值滤波剔除误匹配位姿,从而提高位姿估计精度.在虚拟机器人实验平台仿真环境中分析了3种管接头的识别率和位姿估计误差,结果表明:3种管接头平均识别率96%,位置误差4 mm,姿态误差2°,能够满足机械臂抓取要求.将提出的方法与两种主流位姿估计方法进行了对比实验,结果表明,提出的方法无论是识别率还是F1分数都要优于其他两种方法.     

堆叠散乱目标的6D位姿估计和无序分拣

针对目标散乱堆叠场景下的机器人分拣问题,建立一种从目标筛选、识别到6D位姿估计的无序分拣系统。利用局部凸性连接方法将Kinect V2相机采集的堆叠散乱目标点云数据分割成单独的点云子集,定义抓取分数从中筛选出最上层未被遮挡的目标作为待抓取目标,保证机器人分拣目标时能从上至下进行抓取;针对不同种类目标的分拣需求,基于匹配相似度函数对三维目标进行识别并定位抓取点;融合截断最小二乘-半定松弛算法和最近点迭代算法,建立目标6D位姿估计模型,保证目标点云和模型点云重合率低情况下的精确配准。在自采数据上进行目标6D位姿估计实验以及机器人无序分拣实验,结果表明：提出的6D位姿估计方法相较于流行的几种方法,可以更快速、精确地获取目标的6D位姿,均方根距离误差<3.3 mm,均方根角度误差<5.6°;视觉处理时间远小于机械臂运动的时间,在实际场景中实现了机器人实时抓取的全过程。     

基于平面运动约束的移动机器人位姿估计

针对大部分基于单目相机的位姿估计方法只适用于平面场景的问题,提出了一种同时适用于 平面场景和立体场景的单目位姿估计方法．首先,将所有图像与参考帧进行特征匹配;然后,提取每 帧图像中都出现的特征点的像素坐标,并结合地平面约束和相机内参矩阵构建出观测矩阵;其次, 对观测矩阵进行奇异值分解得到各帧图像的位姿估计,并利用约束矩阵解决奇异值分解不唯一问 题;最后,利用光束平差法优化图像位姿,得到机器人位姿的最优估计．实验结果表明：该方法能准 确对移动机器人进行位姿估计．     

水轮机修复专用机器人的位姿控制方法

为实现水轮机修复专用机器人的位姿控制，依据神经网络可以逼近任何非线性函数这一特性，采用融合遗传算法的神经网络建立机器人逆运动学模型，针对机器人的结构特点，改进了神经网络的输出训练样本，设计了用遗传算法学习神经网络权系数的软件实现方法，并提出了应用轨迹插补算法取得轨迹中间点位姿．运行结果表明，该方法可大大提高机器人的位姿控制准确度，并能快速地实现位姿控制．     

双目视觉在类人机器人测距中的应用

为实现类人机器人对复杂目标高精度识别并测量出目标实际距离,提出一种双目目标识别与测距方法. 首先利用棋盘标定法对摄像机进行标定并捕获图像;然后利用局部二值模式算子（LBP）和优化后支持向量机（SVM）对目标进行识别;在识别的基础上,再采用尺度不变特征变换（SIFT）算法对特征点进行匹配并根据三角测距原理计算出目标实际距离. 实验结果表明该方法不但减少了人为参数指定,并且提高了特征点匹配效率,测距精度能够达到94%以上,满足类人机器人高精度测距和实时性要求.     

移动机器人室内场景主动识别的强化学习方法

为了在传统场景分类器基础上进一步提高场景识别准确率,提出了一种采用Q学习(Q-learning)实现室内场景主动识别的算法.该算法采用极限学习机(Extreme Learning Machine,ELM)与反向传播梯度下降相结合的方式近似Q-learning值函数的神经网络.算法基于Q-learning动态地学习场景识别率最高的机器人朝向角,使机器人能够自主获取多次更为可靠的传感器信息并将对应识别结果融合,进而提高场景识别准确率.将算法应用在移动机器人场景识别中进行实验,结果表明该算法可以有效提高场景识别准确率.     

基于BP网络的人脸朝向识别方法

为了使仿人机器人的视觉系统能够识别出人脸,利用BP神经网络的理论知识,研究人脸识别技术,对图像中人脸朝向判别进行实验研究。实验采用Matlab工具箱进行BP网络设计,实现对人脸角度方向的判别。讨论了输入和目标向量设计BP神经网络结构的设计,以及网络参数和训练参数的设定等问题。实验结果表明,BP神经网络可以根据输入图像的二值化信息,以一定的准确率判别该图像的人脸朝向。     

基于机器人运动参数与特征向量的标记点匹配方法

为提高移动摄影测量中相机定向方法的速度和柔性,提出一种基于机器人运动参数的相机定向方法.首先对机器人进行手眼标定,得出相机与机器人工具之间的相对位姿.然后利用手眼关系与机器人运动参数,将相机位姿统一到机器人基坐标系中,实现相机的自动定向.为消除极线约束匹配产生的歧义,本文提出一种基于特征向量的歧义匹配校正方法.实验表明,本文方法具有匹配率高、准确性高、速度快、柔性高的特点,适合智能制造中的在线精密测量.     

基于深度神经网络的井下无人机视觉位姿估计

无人机将在未来少人或无人采矿中发挥重要作用,而位姿估计则是实现井下无人机自主巡检的关键.针对井下巷道照度分布不均匀和动态复杂环境的特点,提出采用慕尼黑工业大学深度图像(TUM RGB-D)数据集对深度神经网络模型进行预训练的方法,提取巷道特征路标点.为实现具有真实尺度信息的位姿估计,首先利用机载相机三维深度数据流恢复网络特征点深度,然后建立帧间匹配巷道路标点最小二乘模型,最后采用奇异值分解的方法获得无人机位姿.开发了手持移动传感器数据采集系统,完成传感器相对位置标定,采集真实巷道环境数据并进行实验.实验结果表明,相比ORB-SLAM2位姿估计结果,提出的无人机位姿估计方法针对巷道复杂环境数据其定位精度可提高71%以上,定位误差约为13 cm.     

Eye-to-Hand机器人系统的平面工件识别研究

针对Eye-to-Hand类型机器人,利用灰度阈值实现工件的存在判定,然后采取基于彩色图像H阈值的图像分割方法实现工件的轮廓识别,在此基础上给出机器人手眼标定和确定工件质心的方法以获取工件的平面位姿信息。实验结果表明本方法能够很好地满足Eye-to-Hand类型机器人视觉应用中对获取的目标工件位姿信息所需的精度。     

基于机器视觉的卸砖机器人定位系统

砖厂在卸砖环节中一直无法实现自动化的主要原因是砖块在烧制过程中位姿会发生改变,导致传统自动化装备无法对砖块进行准确夹取,工业机器人与机器视觉技术的结合能很好地解决自动化卸砖问题。在研制智能、自动化卸砖机器人的过程中,根据实际生产需求,采用基于目标特征点的单目测距方法进行图像特征点坐标转换,并结合数字图像处理技术,实现了砖垛的识别和位姿获取。实验结果表明:该方法能够准确快速地识别砖垛,并获得砖垛的位姿信息,从而引导卸砖机器人对砖垛进行智能抓取。     

基于循环神经网络的双目视觉物体6D位姿估计

针对当前物体6D位姿估计任务准确率较低的问题，提出双目数据集制作方法及物体6D位姿估计网络Binocular-RNN.将YCB-Video Dataset中已有图像作为双目相机左摄像头捕获内容，利用Open GL将YCB-Video Dataset中相应三维物体模型进行导入，输入各物体相关参数，由虚拟双目相机右摄像头捕获合成图片.利用单目预测网络分别对双目数据集中左、右图像的几何特征进行提取.经过循环神经网络对几何特征进行融合，并预测物体6D位姿.以模型点平均距离(ADD)、平均最近点距离(ADDS)、平移误差和角度误差作为评价指标,对Binocular-RNN与其他位姿估计方法进行对比.结果表明，在利用单一物体对网络进行训练时，Binocular-RNN的ADD或ADDS指标得分分别为PoseCNN、GDR-Net的2.66、1.15倍.利用基于物理的实时渲染（Real+PBR）方式训练的Binocular-RNN的性能超过基于深度神经网络的迭代6D姿态匹配的方法 (DeepIM).     

全自主足球机器人快速目标识别与定位方法

为使机器人视觉系统能够快速、稳定地进行目标识别和定位，采用多阚值粗分割和区域细分割相结合的彩色图像分割算法，以提高特征提取的鲁棒性．在基于区域分割的算法中采用快速游程连通性分析算法，保证了目标识别的实时性．对已识别的目标，利用摄像机针孔模型完成单眼的实时定位．该系统能满足全自主足球机器人对目标识别与定位实时性和鲁棒性的要求，已成功地应用于HIT-Ⅱ型自主足球机器人中．     

基于CBL的双目视觉自主机器人定位

在需要机器人做出快速反应的环境中,为了解决通过廉价传感器(彩色视觉)实现自主机器人的定位,提出了基于约束路标(CBL)的双目视觉自主机器人定位方法．在CBL的路标测量类型中增加了直线的斜率,同时双目视觉的协作为定位提供了更多信息,提高了机器人位姿估计的准确度．实验结果表明了该方法的可行性和有效性．     

输电线巡检机器人自主抓线的控制

针对一种双臂巡检机器人越障过程中脱线手臂的自主抓线问题,提出了一种自主抓线控制方法。首先,基于输电导线纹理特征和积分投影方法估计导线的位姿(偏距、偏角)。然后,基于输电导线的位姿偏差设计自主抓线的仿人智能控制器,利用偏角、偏距和线宽的估计值并结合机器人的倾角信息对机器人进行自主抓线控制。实验表明,该方法能在不同光照和背景下有效估计输电导线的位姿,可靠控制脱线手臂自动落线。     

基于于滚动时域优化的移动舞台机器人位姿估计

为了解决舞台文化发展背景下移动舞台机器人的位姿估计问题,提出了一种基于滚动时域优化的移动舞台机器人位姿估计算法。结合移动舞台机器人的运动学模型和预设的参考位姿,采用ＰＤ控制实现了机器人对参考位姿的跟踪,建立了移动舞台机器人闭环误差系统模型。在此基础上,采用滚动时域估计算法实时估计机器人的跟踪误差,该算法在一个固定时域窗口内利用误差系统参数和测量数据进行迭代估计,结合参考位姿实现了对移动舞台机器人位姿的实时估计。以移动舞台机器人进行曲线运动为测试场景,仿真验证了该算法的有效性。     

基于视觉反馈的机械臂预测控制

针对基于视觉的机器人目标抓取问题,构建一个基于图像的单目视觉伺服系统．预先建立基 于图像雅克比矩阵的模型,在明确考虑目标可见性约束及机器人执行器约束的前提下,将预测控制 算法引入到机械臂的视觉伺服控制中,基于视觉特征的运动预测设计一个简化的多变量机械臂视 觉伺服控制器,用以实现对机械臂末端位姿的控制．借助ＮＡＯ 机器人平台,利用机器人自带的 Ｎａｏｍａｒｋ标签进行物体的快速识别,并应用上述基于视觉反馈的机械臂预测控制方法实现ＮＡＯ 机器人手臂控制．实验结果验证了方法的可行性,算法简单易于实现,且控制精度令人满意．     

基于空间动力学优化的机床结构件质量匹配设计

提出基于整机空间动力学预测模型、以移动结构件质量为设计变量的多目标匹配设计方法. 基于机床移动件的工作行程构建整机工作空间,运用正交试验法进行空间位姿试验设计,建立整机空间固有频率预测模型;在工作空间内对机床进行动力学性能的灵敏度分析,识别动力学的最优位姿和最差位姿;以最差位姿机床固有频率为优化目标,采用多目标质量匹配法对移动部件的质量进行最佳分布设计;重新计算优化后机床的固有频率,通过频率响应分析,比较优化前、后机床在最差和最优位姿下的动力学性能. 结果表明,经过多目标质量匹配优化后,机床的固有频率得到了提高,刀尖节点的最大频响振幅明显降低,机床的整机动力学性能有了较大程度的改善.     

轮腿式全地形移动机器人位姿闭环控制

轮腿机器人在越障及振动时,不可避免地会出现位姿(质心位置和俯仰、侧倾姿态)的变化。为实现对其位姿的控制,将汽车的多连杆悬挂系统应用到轮腿机器人设计当中,设计了一款新型轮腿式全地形移动机器人,降低复杂地面对轮腿机器人姿态的影响,保证轮腿机器人在复杂环境下自身姿态的稳定性。首先,建立了轮腿机器人的单腿运动学模型,并搭建了单腿试验台架,验证了模型的正确性。接着,针对轮腿机器人的位姿问题分别建立俯仰和侧倾模型,并对轮腿机器人的位姿进行解耦运算,在满足轮腿机器人各质心位置分量(x、y、z)不变的情况下实现其姿态的闭环控制。然后,采用比例控制(P控制)在Simulink中搭建轮腿机器人位姿控制策略。最后,在Adams中创建轮腿机器人虚拟样机,并建立适用于大外倾角的PAC轮胎模型,利用Simulink与Adams联合仿真验证轮腿机器人在立体坡面上的位姿控制效果,仿真结果表明,本文控制算法对轮腿机器人的质心位置和姿态均有很好的跟踪效果,可将质心位置误差、姿态误差分别控制在4.3%和5%以内,验证了本文控制算法的有效性。     

面向移动机器人的室外环境多层次地图构建

为充分利用环境的先验知识,使移动机器人在大规模室外环境中实现自主导航和定位,离线建立一种基于环境先验知识的多层次地图,它由拓扑地图、全局度量简图、语义地图和局部度量地图组成;提出基于节点附近物体共视关系的节点识别方法、基于线段的道路感知方法和基于消失点的导航控制方法;利用不同层次的地图实现路径规划、节点识别和相对位姿估计等,在室外环境试验中,机器人在大规模室外环境中实现自主导航并运动至目的地,验证了方法的有效性。