感认知增强的智能机械手系统

为了提高服务机器人的系统服务能力和智能化程度,提出一种面向机械手等器件的感认知增强模型.通过融合来自不同传感通道的感知能力和认知能力,增强机械手的感知和认知.基于此模型,以视觉、触觉为例,在视觉系统上用尺度不变特征变换算法实现目标物体的识别,并对目标物体进行定位;在触觉系统上对触觉传感器采集的数据用主成分分析算法降维,并用支持向量机算法获得分类模型;在认知系统上,机械手在抓取物体时根据物体信息自适应地规划路径并决策物体的抓取模式.通过在多类物体混杂环境中的抓取和分拣实验,验证了该感认知增强机械手系统的可用性.     

受脑启发的机器人认知抓取决策模型

为了让机器人获得更加通用的能力,抓取是机器人必要掌握的技能.针对目前大多数机器人抓取决策方法存在物品特征理解浅显,缺乏抓取先验知识,导致任务兼容性较差的问题,同时受大脑中分区分块功能结构的启发,提出了将物品感知、先验知识和抓取任务融合的认知决策模型.该模型包含卷积感知网络、记忆图网络和贝叶斯决策网络三部分,分别实现了物品能供性(affordance)提取、抓取先验知识推理和联想,以及信息融合编码决策,三部分之间的信息流以语义向量的形式传递.利用UMD part affordance数据集、该文构建的抓取常识图和决策数据集对3个网络分别进行训练,认知决策模型的测试准确率达到99.8％,并且抓取位置可视化结果展示了决策的正确性.该模型还能判断物品是否属于当前任务场景,以决策是否抓取以及选择什么部位抓取物品,有助于提高机器人实际场景的应用能力.     

基于空间约束的自适应单目3D物体检测算法

引入无须先验模版匹配的3D目标检测算法,通过简化消失点（VP）计算和改进角点提取等步骤,提出一种自适应的单目3D物体检测算法. 针对复杂场景下VP 计算易受干扰的问题,根据室内场景中世界坐标系、相机以及目标物体之间的空间关系,建立目标、相机偏航角与VP之间的约束模型,提出一种基于空间约束的 M 估计子抽样一致性（MSAC）消失点计算方法;为了提高3D框的估计精度,在VP透视关系的基础上,提出一种自适应估计3D框角点的方法,通过建立目标3D轮廓线与2D框的空间约束关系,实现目标物体的3D框快速检测. 相关数据集的实验结果表明,所提方法相比于其他算法不仅在室内场景下具有估计精度高、实时性好的优势,而且在室外场景实验下也具有更好的精度和鲁棒性.     

气动柔性五指机械手运动空间与抓取实验研究

设计了一种气动柔性五指机械手,采用单驱动型和多驱动型单向弯曲柔性关节作为单自由度手指关节,可完成多自由度抓、握、捏等人手灵活动作;搭建机械手运动学实验平台和抓取实验系统,利用3D运动捕捉系统,得到了机械手各手指运动空间,机械手可稳定抓取日常生活中不同外形和质量的物体,验证了其有类似人手的抓取能力。实验结果表明：机械手各手指基本完成了设计要求,实现各自抓取功能,具有良好的柔顺性和适应性。     

堆叠散乱目标的6D位姿估计和无序分拣

针对目标散乱堆叠场景下的机器人分拣问题,建立一种从目标筛选、识别到6D位姿估计的无序分拣系统。利用局部凸性连接方法将Kinect V2相机采集的堆叠散乱目标点云数据分割成单独的点云子集,定义抓取分数从中筛选出最上层未被遮挡的目标作为待抓取目标,保证机器人分拣目标时能从上至下进行抓取;针对不同种类目标的分拣需求,基于匹配相似度函数对三维目标进行识别并定位抓取点;融合截断最小二乘-半定松弛算法和最近点迭代算法,建立目标6D位姿估计模型,保证目标点云和模型点云重合率低情况下的精确配准。在自采数据上进行目标6D位姿估计实验以及机器人无序分拣实验,结果表明：提出的6D位姿估计方法相较于流行的几种方法,可以更快速、精确地获取目标的6D位姿,均方根距离误差<3.3 mm,均方根角度误差<5.6°;视觉处理时间远小于机械臂运动的时间,在实际场景中实现了机器人实时抓取的全过程。     

基于三维点云的机械臂抓取位姿检测方法

针对机械臂抓取检测中对物体抓取位姿检测精度低的问题,提出一种基于三维点云的机械臂抓取位姿检测方法。首先设计基于注意力机制的端到端抓取位姿检测网络SE-PointNetGPD(简称SEPN-GPD),其次针对pointnet网络在利用共享权重的多层感知器MLP处理3D点云数据时信息冗余的问题,引入通道注意力机制SENet模块,通过自适应地调整各个特征区域权重的方式,提升网络特征提取能力从而提高抓取位姿检测的准确性和可靠性,然后在YCB和BigBIRD公开数据集上进行验证。实验结果表明：SEPN-GPD抓取位姿检测方法的分类精度分别为86.2%和85.14%,且网络具有较好的模型泛化能力和较高的鲁棒性与稳定性,优于当前主流的PointNetGPD和GPD等抓取位姿检测方法。     

基于RTM的自主服务机器人智能化分散控制

为提高智能服务机器人的服务质量及智能化水平,基于机器人技术中间件(robot technology middleware,RTM),对室内环境下的机器人定点物体传送任务及其相关技术进行了深入研究.首先,为了提高系统的稳定性及开发效率,建立功能模块集,并结合模糊树图与DS(Dempster-Shafer)证据理论实现模块的粒度划分;对于机器人定点物体传送过程中所面临的即时定位与地图创建问题,采用Rao-Blackwellized粒子滤波算法完成底层栅格地图的创建,进而构造动态精简式混合地图,并利用记忆循迹规则实现机器人定点导航;通过改进的显著性区域提取算法实现对空间物体坐标的提取,并利用智能机械臂平台完成对物体的抓取及传送任务.以机器人移动平台和UR5机械臂为基础对设计系统进行实际测试,结果验证了所提分散控制方法的有效性和可行性.     

五自由度机械臂系统设计与控制方式研究

针对机械臂在智能制造领域越来越大的需求，本文主要对五自由度机械臂系统进行设计，设计制作了一款具有人机交互功能的机械臂。通过对系统总体方案的设计，建立机械臂模型，选取关节连接件、电机、主控芯片和电源等部件，编写角度控制、姿态解算和用于解决冲击问题的比例-积分-微分(process identification, PID)控制程序，并结合模拟数字转换器(analog-to-digital converter, ADC)角度反馈，实现机械臂误差补偿，确定PID参数，通过拟合控制函数提高控制精度。同时，开发了实现人机交互的上位控制系统，并对泡沫块、小木块和方块纸3种不同物体在不同的位置分别进行抓取实验。实验结果表明，3种物体抓取成功率分别为100%,96%和98%,实验过程稳定可靠，满足设计系统可行性要求。该研究扩大了机械臂在工业领域的应用范围，对改善传统工业结构具有重要意义。     

配置机械手的轮式移动机器人目标物体跟踪与抓取

针对配置机械手的室内轮式移动机器人目标物体识别、跟踪和抓取问题,采用一种目标物体识别和机器人定位的方法,利用一种基于模糊控制的轮式移动机器人视觉伺服跟踪控制的方法。针对机器人目标识别跟踪及抓取过程中受环境条件变化的影响,采用HSI颜色模型和基于阈值的区域分割的图像处理方法可以完成目标颜色物体的快速准确识别。基于云台摄像机角度信息的机器人小车目标定位方法和模糊控制理论,设计了模糊跟踪控制器,使机器人输出合适的线速度和角速度,能够实现机器人目标跟踪,使移动机器人趋近目标物体位置,并完成机械手目标物体抓取任务。仿真和实时实验结果表明：所设计的系统具有良好的目标物体识别、跟踪和准确抓取目标的能力。     

立体对图像的视差与景深关系

3D显示器的再现立体景深与立体对图像的视差有关,视差的大小取决于拍摄设备的原理正确性。由双镜头3D拍摄设备获得左右格式的立体对图像,根据图像同名点检测视差信息,再由检测出的视差数值来计算景深。视差采用灰度极值法,提取立体对图像的特征行像素灰度值波形图,通过灰度波形的极值判别同名点并检测前景与背景标志物体的视差数值。实验表明行像素灰度极值法有助于快速计算3D图像的同名点视差信息。     

基于SIFT特征的单训练样本人脸识别

针对RoboCup竞赛家庭组比赛对人脸识别的要求,研究了单训练样本的人脸识别问题。设计了一种基于尺度不变特征变换的单训练样本人脸识别系统。将人脸区域划分为4×4的均匀网格,然后在每个区域选取最具有判别能力的少量特征,再将这些特征与测试人脸对应网格的特征进行匹配;采用加权和形式评价测试人脸和每个训练人脸的匹配程度,选择阈值进行识别决策。使用ORL人脸数据库对设计的识别系统进行了测试,结果表明,设计的系统可以达到100%的识别精度和70%的检出率,可以达到比赛的要求。     

一种非结构环境下目标识别和3D位姿估计方法

为提高非结构环境下目标识别准确率和位姿估计精度,提出一种利用Kinect V2 RGB-D传感器并基于目标的CAD模型进行不同类型目标自动识别和3D位姿估计的新方法.利用虚拟相机获取目标CAD模型的深度图像,并将目标的模型转化为点云图,采用体素栅格滤波减少场景点云中的点数;利用点对特征描述子(PPF)作为CAD模型的全局描述子,并将相似的PPF划分成一组放进一个hash表,用于识别和定位目标,所有目标的hash表组成了3D模型数据库;利用基于投票策略的方法对不同类型目标进行检测识别和3D位姿估计,并采用位姿聚类的方法和ICP配准进行位姿修正,再通过奇异值滤波剔除误匹配位姿,从而提高位姿估计精度.在虚拟机器人实验平台仿真环境中分析了3种管接头的识别率和位姿估计误差,结果表明:3种管接头平均识别率96%,位置误差4 mm,姿态误差2°,能够满足机械臂抓取要求.将提出的方法与两种主流位姿估计方法进行了对比实验,结果表明,提出的方法无论是识别率还是F1分数都要优于其他两种方法.     

一种灵活的柱面反投影算法

传统柱面图像反投影算法依赖于圆柱模型以及标定的精度,且物距发生变化时模型将会失效,需要重新进行标定,过程繁琐,场景适应性不足.为此,提出一种灵活的柱面图像反投影算法.根据透视投影原理,像素当量随距离远近呈二次曲线分布,因此可以通过拟合二次曲线表征其成像特性,对竖直方向和水平方向分别进行处理,进而实现柱面图像反投影变换.当目标物体相对相机发生前后方向和左右方向位移时,通过修正二次曲线的系数适应其成像特性的改变,无需再次标定.实验结果表明,该算法精度与传统方法相当,且在左右移动、一定缩放范围内保持精度不变.本文算法仅需一次标定即可满足目标物体小范围内移动时的图像变换需求,提高了场景适应性.     

基于场景知识的移动目标检测

依据背景差法中背景建模的思想,从提取场景知识的角度出发,建立待检测场景的场景知识库,从而提出一种基于场景知识的移动目标检测算法。使用改进的均值漂移算法对待检测场景进行分割,并提取分割后各个区域的底层视觉特征建立场景知识库;从新的场景帧图像中获取各区域的知识特征向量,然后根据和原场景知识库中各特征向量的匹配结果检测出移动目标信息。仿真结果表明,该方法能有效地检测出场景中原有目标和新进入场景目标的移动信息,并在一定程度上改善了目标阴影、形变等噪声对检测结果的干扰。     

3D混杂场景中机械臂自主分拣小目标的方法

为解决机械臂在大小目标共存的3D混杂场景中无法利用3D视觉传感器直接感知分布于操作视场范围内的小目标这一难题,提出一种基于"固定安装的全局Kinect深度相机"与"安装在机械臂末端执行器上的移动相机(手眼相机)"相结合的视觉系统混合配置方法.固定的全局Kinect深度相机用于感知并获取视场范围内的大目标点云,进而识别估计其位姿,然后借助路径规划技术引导机械臂到达大目标的上方,启动手眼相机近距离获取小目标的图像;离线阶段获取小目标的CAD模型,虚拟2D相机在以目标中心为球心的虚拟球表面的不同位姿和不同半径处拍摄目标的一系列二维视图,并且储存在目标的3D形状模板数据库中;在线阶段从真实手眼相机拍摄的场景图像中基于图像金字塔分层逐一搜索匹配,找到与目标模板相匹配的所有实例并计算其二维位姿,经过一系列转换后得到在相机坐标系下的初始三维位姿,应用非线性最小二乘法对其进行位姿修正.由ABB机械臂和微软Kinect V2传感器以及维视图像公司的工业相机进行位姿估计精度实验和混杂目标分拣实验,利用棋盘标定板来测定目标真实的位姿.实验结果表明,位置精度0.48 mm,姿态精度0.62°,平均识别时间1.85 s,识别率达到98%,远高于传统的基于特征和基于描述符的位姿估计方法,从而证明了提出方法的有效性和可行性.     

基于灰度相似性的激光点云与全景影像配准

针对传感器参数未知、环境结构特征不明显、影像数据较少等情况,提出基于灰度相似性的车载3D激光点云与全景影像自动化配准方法.基于全景拼接算法和柱面投影原理,分别将多张单幅图片拼接为全景影像,并将3D激光点云转换为2D深度图.基于灰度相似性原理,将全景影像和2D深度图在水平方向和垂直方向等间隔细分成区域对,沿水平方向和垂直方向移动全景影像,计算每次移动后各细分区域对之间像素灰度值之和的比值,并求解其均方差,将均方差最小时的区域移动值作为最终匹配偏移量.根据偏移量计算得到全景影像相对3D激光点云的水平旋转角度和垂直平移距离.实测结果表明,本研究所提算法对场景的适应性较好,平均配准误差为2个像素,而对比方法无法实现有效配准.     

面向瞬态成像仿真的遮挡目标逆向重构方法

由于瞬态成像硬件系统存在结构复杂、价格昂贵以及性能评估困难等问题,提出了一种新的逆向重构算法,并利用软件仿真的方法建立了瞬态成像链路．该方法首先根据仿真场景简化像素累积函数,并引入检测概率的方法获得三维空间中目标体素的采样; 然后利用射线追踪的方法计算目标的全局检测概率,通过阈值分割得到目标的三维点云信息;最后融合点云进行三维场景渲染．实验结果表明,这种方法能够仿真遮挡目标三维场景的瞬态成像过程,并且逆向重构算法增强了遮挡目标重构的效果．     

基于点云数据三维重建方法的研究

由于三维激光扫描仪采集的点云数据是离散的,这些离散的点云数据由于分辨率有限,缺少灵活性,导致无法满足对实际场景重建出具有几何精确性的模型。为解决上述问题,用Delaunay三角化方法构造网格逼近物体的i维表面模型,把离散的点云数据连续化生成表面模型来模拟场景,实验证明该方法有效。     

基于散乱点云的快速体积计算法

三维可视化体积计算基本上都是先由散乱点云构建出表面网格模型,然后基于网格模型计算体积,存在计算量大、速度慢的缺点.针对此问题提出一种快速体积计算法,首先使用改进的增量式Delaunay三角剖分对散乱点云进行四面体剖分;然后利用K近邻计算散乱点的拟合曲面和最小生成树,得到各点的法向量;由各点法向量剔除体外四面体;最后计算各四面体体积之和从而得到总体积.实验表明,该算法不仅保证了计算准确度,而且较传统算法大大提高了效率.