基于图像雅可比矩阵的智能机器人视觉跟踪

根据智能机器人视觉伺服的要求,建立了固定眼结构的MOTOMAN-SV3XL型工业机器人无标定视觉伺服系统.研究了目前在机器人视觉伺服研究领域中使用最为广泛的一类方法,即基于图像雅可比矩阵的方法.针对图像雅可比矩阵的特点,设计了一种基于简化Sage-Husa自适应滤波的图像雅可比矩阵在线估计算法,并将其应用于机器人视觉反馈控制任务中,实现了对二维平面上运动目标的跟踪,实验结果表明了该算法的有效性.     

一种适用于局部特征的混合视觉伺服方法

提出一种基于图像矩的混合视觉伺服方法,有效解决了因匹配的局部特征改变而引起的雅可比矩阵结构改变及奇异等难点．该方法首先估计得到单应性矩阵,然后通过反向映射计算未匹配点的像素坐标,采用图像矩和单应性矩阵分解得到的姿态分别控制平动和转动自由度,采用特征的雅可比矩阵不存在奇异情况．从理论上证明了所采用控制策略的稳定性和对摄像机标定误差的鲁棒性,仿真实验结果表明该方法适用于局部特征．     

基于Adept机器人的视觉伺服控制系统

机器人视觉伺服控制在理论和应用等方面还有许多问题需要研究,例如特征选择、系统标定和伺服控制算法等.针对Adept机器人,提出了一种简单快速的不需要精确标定摄像机内外部参数的摄像机标定方法,完成了从被观测物体表面所在的视觉平面坐标系到机器人基坐标系的坐标变换.使用图像的全局特征,即图像矩特征进行伺服跟踪;利用所推导的图像雅可比矩阵,设计了由图像反馈与目标运动自适应补偿组成的视觉伺服控制器.将算法对静态目标的定位实验进行了验证,然后又将其应用到移动目标的跟踪上,通过调节和优选控制参数,实现了稳定的伺服跟踪和抓取.实验结果表明采用图像矩作为图像特征能够避免复杂的特征匹配过程,并且能够获得较好的跟踪精度.     

图像雅可比矩阵伪逆估计在视觉伺服中的应用

在一般无标定视觉伺服算法的基础上,提出了一种基于递推最小二乘法估计图像雅可比矩阵伪逆的无标定视觉伺服算法．这种方法无需计算雅可比矩阵伪逆．针对固定目标,文中给出了比例控制算法的稳定性条件．针对运动目标,推导了基于图像雅可比矩阵伪逆估计的伪高斯—牛顿视觉伺服算法和信任区视觉伺服算法．最后,仿真验证了三种视觉伺服算法的有效性．     

一种适用于局部特征的混合视觉伺服方法

提出一种基于图像矩的混合视觉伺服方法,有效解决了因匹配的局部特征改变而引起的雅可比矩阵结构改变及奇异等难点．该方法首先估计得到单应性矩阵,然后通过反向映射计算未匹配点的像素坐标,采用图像矩和单应性矩阵分解得到的姿态分别控制平动和转动自由度,采用特征的雅可比矩阵不存在奇异情况．从理论上证明了所采用控制策略的稳定性和对摄像机标定误差的鲁棒性,仿真实验结果表明该方法适用于局部特征．

     

基于图像雅可比矩阵的无标定二维运动跟踪

研究无标定视觉导引机械臂完成二维平面运动目标精确跟踪的问题.系统的视觉部分采用固定全局视觉与手上局部视觉相结合的方式,拓展了系统的观察能力,使系统能同时实现大范围的运动跟踪和精确的小范围跟踪.根据两种视觉的特点,在全局视觉反馈中使用最优反馈控制,而在手上视觉反馈中使用PI控制.通过分析图像雅可比矩阵的解析表达式以及跟踪过程中的变化规律,提出一种利用机器人已完成的跟踪运动在线辨识雅可比矩阵的方法,避免了传统估计方法引入冗余试探运动对系统动态性能的影响.仿真和实验检验了本方法的性能.     

基于神经网络的机器人视觉伺服控制

视觉伺服可以应用于机器人初始定位自动导引、自动避障、轨线跟踪和运动目标跟踪等控制系统中。传统的视觉伺服系统在运行时包括工作空间定位和动力学逆运算两个过程,需要实时计算视觉雅可比矩阵和机器人逆雅可比矩阵,计算量大,系统结构复杂。本文分析了基于图像的机器人视觉伺服的基本原理,使用BP神经网络来确定达到指定位姿所需要的关节角度,将视觉信息直接融入伺服过程,在保证伺服精度的情况下大大简化了控制算法。文中针对Puma560工业机器人的模型进行了仿真实验,结果验证了该方法的有效性。     

基于无极卡尔曼滤波算法的雅可比矩阵估计

在基于图像的机器人视觉伺服中,采用在线估计图像雅可比的方法,不需事先知道系统的精确模型,可以避免复杂的系统标定过程。为了有效改善图像雅可比矩阵的在线估计精度,进而提高机器人的跟踪精度,针对机器人跟踪运动目标的应用背景,提出了利用无极卡尔曼滤波算法在线估计总雅可比矩阵。在二自由度的机器人视觉伺服仿真平台上,分别用卡尔曼滤波器（KF）、粒子滤波器（PF）和无极卡尔曼滤波器（UKF）三种算法进行总雅可比矩阵的在线估计。实验结果证明,使用UKF算法的跟踪精度优于其他两种算法,时间耗费仅次于KF算法。     

带时延补偿的视觉跟踪控制

在实际的视觉伺服系统中, 由于摄像机到图像处理设备的传输延迟和图像处理本身占用的时间, 视觉信息的获取会产生时延. 对此, 给出了一个带有时延补偿的视觉跟踪控制方法. 通过实时拟合图像雅可比矩阵, 实现了对机械手末端执行器图像特征信息的实时预测, 从而减小了估计误差. 在此基础上, 设计了一个带有时延补偿的控制方案. 通过对运动目标进行跟踪的仿真实验, 验证了本文时延补偿方法的有效性.     

基于雅可比预测的机器人无模型视觉伺服定位控制

针对未知相机标定及目标3D几何模型,研究机器人无模型视觉伺服定位方法.引入状态空间,建立机器人“视觉空间-运动空间”雅可比非线性映射的状态方程和观测方程,提出神经网络联合卡尔曼滤波雅可比预测算法,网络在线动态补偿系统近似误差与参数估计误差,实现最小均方差条件下的雅可比预测;以李雅普诺夫稳定性准则构建雅可比预测的无模型图像视觉伺服控制方案,避免了相机标定和目标建模.“眼在手”六自由度机器人定位比较实验表明,图像空间特征轨迹平滑稳定在相机视场中,笛卡尔空间机器人末端运动平稳,无震荡回退,定位精度在10个像素范围内.     

基于视觉传达的多帧图像特征目标跟踪仿真

针对当前方法提取的多帧图像目标特征精度较差,导致多帧图像特征目标跟踪准确率较低、跟踪时间较长的问题,提出了基于视觉传达的多帧图像特征目标跟踪方法。采用稀疏表示方法采集多帧图像目标特征,利用高斯分布构建图像运动模型,小波分析多帧图像灰度及细节特征,根据灰度投影法提取多帧图像目标特征,并匹配多帧图像特征点,获取多帧图像轮廓轨迹追踪目标,运用图像运动目标状态模型,求解前景轮廓的目标函数权重,实现多帧图像特征目标跟踪。实验结果表明,所提方法提取的多帧图像目标特征精度较好,能够有效降低多帧图像特征目标跟踪时间,提高多帧图像特征目标跟踪准确率。     

基于视觉传达的后继帧视频图像目标跟踪仿真

现阶段所采用的跟踪方法对后继帧视频图像目标跟踪存在跟踪效果不理想、跟踪效率较低等问题。提出基于视觉传达的后继帧视频图像目标跟踪方法。利用图像差分方法获取视频图像运动目标可能出现的区域,并对这个区域视频图像目标进行运动估计,采用形态学方法来降低聚类区域的数量,得到后继帧视频图像目标区域;采用均值漂移法估计后继帧视图像核概率密度,对后继帧视频图像进行分割处理,找出后继帧视频图像目标区域最显著的特征,通过迭代运算找到目标位置,实现目标跟踪。实验结果表明,所提算法具有较好的后继帧视频图像跟踪效果、并且跟踪效率较高,具有一定的应用价值。     

Robust segment-based object tracking using generalized hyperplane approximation

Tracking based on gradient descent algorithm using image gradient is one of the popular object tracking method. However, it easily fails to track when illumination changes. Although several illumination invariant features have been proposed, applying the invariant feature to the gradient descent method is not easy because the invariant feature is represented as a non-linear function of image pixel values and its Jacobian cannot be calculated in a closed-form. To make it possible, we introduce the generalized hyperplane approximation technique and apply it to histogram of oriented gradient (HOG) feature, one of the well-known illumination invariant feature. In addition, we achieve partial occlusion invariance using image segments. The hyperplanes are calculated from training segment images obtained by perturbing the motion parameter around the target region. Then, it is used to map the difference in non-linear feature of image onto the increment of alignment parameters. This process is mathematically same to the gradient descent method. The information from each segment is integrated by a simple weighted linear combination with confidence weights of segments. Compared to the previous tracking algorithms, our method shows very fast and stable tracking results in experiments on several practical image sequences.     

基于Gaussian-Hermite矩的旋转运动模糊不变量

目的 模糊图像的分析与识别是图像分析与识别领域的重要方向。有些图像形成过程中成像系统与物体之间存在相对旋转运动,如因导弹高速自旋转造成的制导图像的旋转运动模糊。大多数对于这类图像的识别都需要先对模糊图像进行“去模糊”的预处理,且该类方法存在计算时间复杂度较高及不适定的问题。对此,提出一种直接提取旋转运动模糊图像中的不变特征,用于旋转运动模糊图像目标检索和识别。方法 本文以旋转运动模糊的退化模型为出发点,提出了旋转运动模糊Gaussian-Hermite (GH)矩,构造了一组由5个对旋转变换和旋转运动模糊保持不变性的GH矩不变量组成的特征向量(rotational motion blur Gaussian-Hermite moment invariants,RMB_GHMI-5),可从旋转变换和旋转运动模糊的图像中直接进行目标检索和识别,无需前置复杂的“去模糊”预处理过程。结果 在USC-SIPI (University of Southern California — Signal and Image Processing Institute)数据集上进行不变性实验,对原图进行不同程度的旋转变换叠加旋转运动模糊处理,证明RMB_GHMI-5对于旋转变换和旋转运动模糊具有良好的稳定性和不变性。在两个数据集上与同类4种方法进行图像检索实验比较,在80%召回率下,本文方法维数更少,相比性能第2的特征向量,在Flavia数据集中,高斯噪声、椒盐噪声、泊松噪声和乘性噪声干扰下的准确率分别提高25.89%、39.95%、22.79%和35.80%;在Butterfly Image数据集中,高斯噪声、椒盐噪声、泊松噪声和乘性噪声干扰下的准确率分别提高4.79、7.63%、5.65%和18.31%。同时,在上述8个测试数据集中进行对比实验以验证融合算法的有效性,结果表明本文提出的GH矩和几何矩相融合算法显著改善了图像检索效果。结论 本文提出的RMB_GHMI-5特征向量在旋转变换和旋转运动模糊下具有良好的不变性与稳定性,在图像检索抗噪性能方面表现优异。相比同类方法,本文方法更具实际应用价值。     

基于图像误差的机器人运动目标自适应跟踪

讨论了机械手运动目标跟踪问题，直接利用图像误差达到注视目的。利用手部摄像机于期望位置获取待跟踪物体图像，以此作为期望图像，而后可以对同为运动物体进行注视跟踪，使实时采样图像收敛于期望图像。     

Fuzzy membership function based neural networks with applicationsto the visual servoing of robot manipulators

It is shown that there exists a nonlinear mapping which transforms image features and their changes to the desired camera motion without measuring of the relative distance between the camera and the object. This nonlinear mapping can eliminate several difficulties occurring in computing the inverse of the feature Jacobian as in the usual feature-based visual feedback control methods. Instead of analytically deriving the closed form of this mapping, a fuzzy membership function (FMF) based neural network incorporating a fuzzy-neural interpolating network is proposed to approximate the nonlinear mapping, where the structure of the FMF network is similar to that of radial basis function neural network which is known to be very effective in the function approximation. Several FMF networks are trained to be capable of tracking a moving object in the whole workspace along the line of sight. For an effective implementation of the proposed FMF network, an image feature selection process is investigated, and the required fuzzy membership functions are designed. Finally, several numerical examples are presented to show the validity of the proposed visual servoing method     

基于特征空间切分建模的变形手势跟踪算法

为解决人机交互中手势形变和无规律运动带来的跟踪难题,提出了一种基于特征空间切分建模的非参数核密度估计算法来实现手势跟踪.首先,在检测模块中利用AdaBoost分类器检测图像中手势的存在,将检测到的手势位置信息传送给跟踪模块,该模块精确提取手势目标从而对其颜色建模.然后,利用目标的颜色模型对各帧图像进行后验概率密度估算,获取运动目标的概率密度图像,将其分解成手势运动区和同色干扰区.最后,对同色干扰区采用混合高斯建模来削弱同色目标的干扰.当目标丢失时启动再检测模块,并利用贝叶斯分类器与方差分类器实现手势目标重检.实验结果表明,该算法通过对特征空间切分建模以及不同分类器的级联解决了变形手势跟踪的同色干扰与再检测难题.该算法提高了跟踪的准确率（>81.5%）,适合于非刚性物体做无规则运动的复杂场景.     

结合颜色属性的分层结构直方图

目的 为克服单一颜色特征易受光照变化影响,以及图像的空间结构特征对目标形变较为敏感等问题,提出一种结合颜色属性的分层结构直方图。方法 首先,鉴于使用像素灰度值对图像进行分层易受光照变化影响,本文基于颜色属性对图像进行分层,即将输入的彩色图像从RGB空间映射到颜色属性空间,得到11种概率分层图;之后,将图像中的每一个像素仅投影到其概率值最大的分层中,使得各分层之间像素的交集为空,并集为整幅图像;对处理后的每一个分层,通过定义的结构图元来统计像素分布情况,得到每一分层的空间分布信息;最后,将每一分层的像素空间分布信息串联作为输入图像的分层结构直方图,以此来表征图像。结果 为证明本文特征的有效性,将该特征用于图像匹配和视觉跟踪,与参考特征相比,利用本文特征进行图像匹配时,峰值旁瓣比均值提升1.347 9;将本文特征用于视觉跟踪时,采用粒子滤波作为跟踪框架,成功率相对上升4%,精度相对上升4.6%。结论 该特征将图像的颜色特征与空间结构信息相结合,有效解决了单一特征分辨性较差的问题,与参考特征相比,该特征具有更强的分辨性和鲁棒性,因此本文特征可以更好地应用于图像处理应用中。