基于Adept机器人的视觉伺服控制系统

机器人视觉伺服控制在理论和应用等方面还有许多问题需要研究,例如特征选择、系统标定和伺服控制算法等.针对Adept机器人,提出了一种简单快速的不需要精确标定摄像机内外部参数的摄像机标定方法,完成了从被观测物体表面所在的视觉平面坐标系到机器人基坐标系的坐标变换.使用图像的全局特征,即图像矩特征进行伺服跟踪;利用所推导的图像雅可比矩阵,设计了由图像反馈与目标运动自适应补偿组成的视觉伺服控制器.将算法对静态目标的定位实验进行了验证,然后又将其应用到移动目标的跟踪上,通过调节和优选控制参数,实现了稳定的伺服跟踪和抓取.实验结果表明采用图像矩作为图像特征能够避免复杂的特征匹配过程,并且能够获得较好的跟踪精度.     

眼在手上机器人手眼无标定三维视觉跟踪

在未标定手眼关系及摄像机模型的情况下,建立了机器人三维视觉跟踪问题非线性视 觉映射关系模型,并据此设计了基于人工神经网络的视觉跟踪控制器.仿真结果表明该算法能 完全消除稳态跟踪误差,具有很强的环境适应性和容错能力,算法简单,易于实时实现.     

基于立体视觉的机器人手眼无标定三维视觉跟踪

本文在未标定手眼关系及摄像机模型的情况下,建立了机器人立体视觉跟踪问题非线性视觉 映射关系模型,并据此设计了基于人工神经网络的视觉跟踪控制器．仿真结果表明该算法能 完全消除稳态跟踪误差,具有很强的环境适应性和容错能力,算法简单,易于实时实现．     

基于图像矩与神经网络的机器人四自由度视觉伺服

针对传统的视觉伺服方法中图像几何特征的标记、提取与匹配过程复杂且通用性差等问题,本文提出了一种基于图像矩的机器人四自由度(4DOF)视觉伺服方法.首先建立了眼在手系统中图像矩与机器人位姿之间的非线性增量变换关系,为利用图像矩进行机器人视觉伺服控制提供了理论基础,然后在未对摄像机与手眼关系进行标定的情况下,利用反向传播(BP)神经网络的非线性映射特性设计了基于图像矩的机器人视觉伺服控制方案,最后用训练好的神经刚络进行了视觉伺服跟踪控制.实验结果表明基于本文算法可实现0.5 mm的位置与0.5°的姿态跟踪精度,验证了算法的的有效性与较好的伺服性能.     

基于深度学习的双阈值图像局部分块视觉跟踪

现有的图像跟踪方法直接对图像像素级特征展开建模,未考虑图像内部深层视觉特征信息,导致其难以准确描述轮廓信息,致使跟踪效果较差.为解决上述问题,基于深度学习设计了新的双阈值图像局部分块视觉跟踪方法.以深度卷积神经网络为基础构建PigNet网络,检测图像分辨率与位置信息.然后通过PLSA算法估计分割区域类别,筛选出候选区域,并获得双阈值空间信息.继而利用EM算法在贝叶斯算法基础上更新高斯模型参数,获得最优模型参数和最大后验概率,从而实现视觉跟踪.实验结果表明,上述方法在双阈值图像局部分块视觉跟踪方面误差更小,证明新方法的实用性能较强.     

基于雅可比预测的机器人无模型视觉伺服定位控制

针对未知相机标定及目标3D几何模型,研究机器人无模型视觉伺服定位方法.引入状态空间,建立机器人“视觉空间-运动空间”雅可比非线性映射的状态方程和观测方程,提出神经网络联合卡尔曼滤波雅可比预测算法,网络在线动态补偿系统近似误差与参数估计误差,实现最小均方差条件下的雅可比预测;以李雅普诺夫稳定性准则构建雅可比预测的无模型图像视觉伺服控制方案,避免了相机标定和目标建模.“眼在手”六自由度机器人定位比较实验表明,图像空间特征轨迹平滑稳定在相机视场中,笛卡尔空间机器人末端运动平稳,无震荡回退,定位精度在10个像素范围内.     

基于单目视觉的移动机器人测距方法

本文针对多机器人编队过程中的跟踪控制,提出了一种跟踪机器人采用单目视觉技术获取前方被跟踪机器人距离信息的方法.该方法首先对跟踪机器人摄像机进行内参数标定,并在目标机器人背部设置视觉标记.然后系统获取目标机器人的含有视觉标记的单帧图像,预处理此图像,并识别出图像中的视觉标记所在的目标区域,用Hu氏不变矩计算该区域形心.最后推导出单目测距算法,利用图像信息和其它参数可以计算出两机器人之间的距离.实验结果表明,所设计的单目测距系统能得到准确的距离,为跟踪控制提供了重要的反馈信息.     

足球机器人视觉系统光强自适应算法研究

研究足球机器人比赛问题,比赛环境的光强度变化严重影响足球机器人视觉系统的识别性能.为提高机器人视觉识别率,提出了一种基于HSI颜色空间模型的光强自适应算法.算法将比赛场地划分为若干区域,利用HSI颜色空间模型可以分离环境光强度信息的特点,在比赛中动态更新所有划分区域的HSI颜色空间,提高了机器人视觉系统对光强变化的自适应能力,实现了机器人对比赛场地信息的精确辨识.因此用算法优化机器人视觉识别系统进行仿真.结果表明,在实际比赛中,算法能够有效降低环境光强度变化,大大提高了对足球机器人视觉辨识性能.     

CS模型下的IMM算法在目标跟踪中的应用

针对视觉伺服机器人对机动目标的跟踪问题,将当前统计模型（CS）引入IMM算法,与匀速模型（CV）组成模型集。在Matlab上对当前统计IMM算法和基本IMM算法进行仿真比较,结果表明当前统计IMMS算法跟踪机动目标的性能好于基本IMM算法,具有很好的收敛性和稳定性,提高了视觉伺服机器人对目标跟踪的准确性和快速性。     

基于生物视觉的目标识别与跟踪

在对视觉系统中各层的生物原型进行分析抽象和简化的基础上,提出了基于生物视觉的目标识别与跟踪模型.该模型采用CNN来模拟内视网膜激发模块,用在高分辨率下具有旋转、缩放、平移(RST)不变性的HU矩实现测量空间到特征空间的转化,最后采用BP神经网络来实现目标分类、质心(COG)算法实现目标跟踪.经过大量真实图像的试验,证明了图像分辨率达到1024* 024时,目标识别率达到95％以上,同时具有良好的跟踪效果,该模型中的算法具有良好的鲁棒性.     

基于结构光的机器人弧焊混合视觉伺服控制

A novel hybrid visual servoing control method based on structured light vision is proposed for robotic arc welding with a general six degrees of freedom robot. It consists of a position control inner-loop in Cartesian space and two outer-loops. One is position-based visual control in Cartesian space for moving in the direction of weld seam, i.e., weld seam tracking, another is image-based visual control in image space for adjustment to eliminate the errors in the process of tracking. A new Jacobian matrix from image space of the feature point on structured light stripe to Cartesian space is provided for differential movement of the end-effector. The control system model is simplified and its stability is discussed. An experiment of arc welding protected by gas CO_2 for verifying is well conducted.     

Visual servoing tracking control of uncalibrated manipulators with a moving feature point

The paper is concerned with the problem of uncalibrated visual servoing robots tracking a dynamic feature point along with the desired trajectory. A nonlinear observer and a nonlinear controller are proposed, which allow the considered uncalibrated visual servoing robotic system to fulfil the desired tracking task. Based on this novel control method, a dynamic feature point with unknown motion parameters can be tracked effectively along with the desired trajectory, even with multiple uncertainties existing in the camera, the kinematics and the manipulator dynamics. By the Lyapunov theory, asymptotic convergence of the image errors to zero with the proposed control scheme is rigorously proven. Simulations have been conducted to verify the performance of the proposed control scheme. The results demonstrated good convergence of the image errors.     

机器人视觉跟踪轨迹的分级规划方法

针对跟踪轨迹规划对于确保得到连续光滑的跟踪运动的重要性，提出了两级视觉跟踪轨迹规划方法。第一阶段在图像平面上规划运动轨迹，在图像平面上得到的离散规划点映射到机器人关节空间。第二阶段在机器人关节空间中用三次样条函数来连接这些离散点。为了满足实时控制的要求，在图像处理过程中采用窗口技术并抽取边缘特征。建立用于跟踪两维平面运动物体(如随运输带运动的物体)的机器人视觉跟踪控制系统。实验结果表明，跟踪误差渐近地减小到允许的数值范围，所提出的跟踪轨迹规划方法是有效的。     

结合颜色属性的分层结构直方图

目的 为克服单一颜色特征易受光照变化影响,以及图像的空间结构特征对目标形变较为敏感等问题,提出一种结合颜色属性的分层结构直方图。方法 首先,鉴于使用像素灰度值对图像进行分层易受光照变化影响,本文基于颜色属性对图像进行分层,即将输入的彩色图像从RGB空间映射到颜色属性空间,得到11种概率分层图;之后,将图像中的每一个像素仅投影到其概率值最大的分层中,使得各分层之间像素的交集为空,并集为整幅图像;对处理后的每一个分层,通过定义的结构图元来统计像素分布情况,得到每一分层的空间分布信息;最后,将每一分层的像素空间分布信息串联作为输入图像的分层结构直方图,以此来表征图像。结果 为证明本文特征的有效性,将该特征用于图像匹配和视觉跟踪,与参考特征相比,利用本文特征进行图像匹配时,峰值旁瓣比均值提升1.347 9;将本文特征用于视觉跟踪时,采用粒子滤波作为跟踪框架,成功率相对上升4%,精度相对上升4.6%。结论 该特征将图像的颜色特征与空间结构信息相结合,有效解决了单一特征分辨性较差的问题,与参考特征相比,该特征具有更强的分辨性和鲁棒性,因此本文特征可以更好地应用于图像处理应用中。     

直推式遥感图像场景零样本分类算法

针对遥感图像场景零样本分类算法中的空间类结构不一致以及域偏移问题,提出基于Sammon嵌入和谱聚类方法结合的直推式遥感图像场景零样本分类算法。首先,基于Sammon嵌入算法修正语义特征空间类原型表示,使其与视觉特征空间类原型结构对齐;其次,借助结构迁移方法得到视觉特征空间测试类原型表示;最后,针对域偏移问题,采用谱聚类方法修正视觉特征空间测试类原型,以适应测试类样本分布特点,提高场景零样本分类准确度。在两个遥感场景集（UCM和AID）上分别获得52.89%和55.93%的最高总体分类准确度,均显著优于对比方法。实验结果表明,通过显著降低视觉特征空间和语义特征空间的场景类别结构不一致性,同时减轻了域偏移问题,可实现语义特征空间类结构知识到视觉特征空间的有效迁移,大幅提升遥感场景零样本分类的准确度。     

An automated vision based on-line novel percept detection method for a mobile robot

It is generally agreed that learning, either supervised or unsupervised, can provide the best possible specification of known classes and offer inference for outlier detection by a dissimilarity threshold from the nominal feature space. Novel percept detection can take a step further by investigating whether these outliers form new dense clusters in both the feature space and the image space. By defining a novel percept to be a pattern group that has not been seen before in the feature space and the image space, in this paper, a non-conventional approach is proposed for multiple-novel-percept detection problem in robotic applications. Based on a computer vision system inspired loosely by neurobiological evidence, our approach can work in near real time for highly sparse high-dimensional feature vectors extracted from image patches while maintaining robustness to image transformations. Experiments conducted in an indoor environment and an outdoor environment demonstrate the efficacy of our method.     

基于立体视觉的串联机器人跟踪检测系统

建立一种六自由度串联机器人视觉跟踪检测系统框架,包括图像采集、摄像机标定、机器臂跟踪检测、机器臂位姿建模与计算等。提出利用CamShift算法对机器人进行在线粗跟踪,搜寻和画定出机器臂操作器在当前窗口的区域位置。对跟踪到的机器臂按照SURF算法进行特征提取与立体匹配。该方法被用于对串联机器人位姿检测进行实验。实验结果表明,2种算法的结合适用于六自由度串联机器人在空间复杂运动的跟踪检测。     

基于自抗扰控制器的机器人无标定手眼协调

研究机器人无标定手眼协调问题.分析了图像空间到机器人操作空间之间的非线性映 射关系,并把非线性的映射关系看成是系统的未建模动态.基于自抗扰控制器思想,通过对系统 未建模动态和外扰的补偿,完成了不依赖于任务的无标定手眼协调控制器的设计,实现了广泛意 义的机器人无标定手眼协调控制.仿真和实验结果表明了该方法的有效性.     

机器人柔性视觉检测系统现场标定技术

针对江淮车身厂的轿车车身提出了一种基于工业机器人的柔性视觉检测系统．通过控制机器人在空间的位姿变换,立体视觉传感器能够依次到达空间指定测量位置采集空间特征点的图像信息,并通过计算图像数据获得该点的三维坐标数据．利用双经纬仪和精密靶标对机器人视觉测量系统进行整体标定,同时完成了测试试验数据的采集及计算,取得了较好的测量效果．该系统柔性好、测量无死角,能适应生产线多车型检测的需要．