基于点线特征的解耦视觉伺服控制方法

针对机器人的自动对准问题,提出一种基于点线特征的解耦视觉伺服控制方法。所提方法以点和直线作为图像特征,并利用图像特征的交互矩阵解耦姿态控制和位置控制,实现六自由度对准。首先利用直线及其交互矩阵设计姿态控制律,以消除旋转偏差;然后利用点及其交互矩阵设计位置控制律,以消除位置偏差;最后实现机器人末端目标的自动对准。在对准控制过程中,基于执行的相机运动量以及相机运动前后特征的变化量,可实现对深度的在线估计。另外,还设计了监督器对相机的运动速度进行调节,从而确保特征一直处于相机视野当中。在Eye-in-Hand机器人平台上,分别用所提方法和传统的基于图像的视觉伺服方法实现了机器人的六自由度对准。所提方法经过16步实现了机器人的自动对准,对准结束时机器人末端位姿的最大平移误差为3.26 mm,最大旋转误差为0.72°。相较于对比方法,该方法的控制过程更加高效,控制误差收敛更快,对准误差更小。实验结果表明,所提方法可以实现快速高精度的自动对准,能够提高机器人操作的自主性和智能化水平,有望应用于目标跟踪、拾取和定位、自动化装配、焊接、服务机器人等领域。     

旋翼飞行机械臂系统的混合视觉伺服控制

旋翼飞行机械臂是一种具有强耦合特性的机器人系统,借助视觉进行自主作业还存在诸多问题,如实时深度估计、目标极易丢失以及目标笛卡尔空间模型重建等.本文针对传统的基于图像与基于位置的视觉伺服的缺陷以及系统自身欠驱动等问题,建立了运动学模型和提出了基于力平衡原理的动力学联合建模,并通过欧几里得单应性矩阵分解设计出旋翼飞行机械臂系统的混合视觉伺服控制方法,在图像空间控制平移、笛卡尔空间控制旋转,减弱了平移与旋转之间的相互影响实现解耦效果,改善了系统对非结构因素的抗扰性能和全局稳定性.通过仿真和实验检验了系统鲁棒性和算法优越性.     

基于雅可比预测的机器人无模型视觉伺服定位控制

针对未知相机标定及目标3D几何模型,研究机器人无模型视觉伺服定位方法.引入状态空间,建立机器人“视觉空间-运动空间”雅可比非线性映射的状态方程和观测方程,提出神经网络联合卡尔曼滤波雅可比预测算法,网络在线动态补偿系统近似误差与参数估计误差,实现最小均方差条件下的雅可比预测;以李雅普诺夫稳定性准则构建雅可比预测的无模型图像视觉伺服控制方案,避免了相机标定和目标建模.“眼在手”六自由度机器人定位比较实验表明,图像空间特征轨迹平滑稳定在相机视场中,笛卡尔空间机器人末端运动平稳,无震荡回退,定位精度在10个像素范围内.     

基于特征点密度峰值的视觉伺服目标选择方法

为避免机器人视觉伺服过程中因无法进行目标选择而导致视觉伺服失败的问题,提出一种基于特征点密度峰值的视觉伺服目标选择方法.采用(oriented fast and rotated brief,ORB)特征点检测与匹配算法识别视场中所有的目标物体,利用PROSAC算法剔除误匹配点,通过引入特征点密度峰值聚类算法分离图像中不同目标物体的特征点,提出基于位置优先决策方法选择最佳视觉伺服目标.实验结果表明,通过该方法机器人能够在多个相同目标物体中选择一个最佳视觉伺服目标,有效解决了移动机器人视觉伺服中出现的目标选择问题.     

焊接机器人曲线焊缝的自动跟踪控制

为实现焊接机器人对曲线焊缝的自动跟踪,提出一种简便的位姿实时调整策略和协调视觉跟踪与机器人运动的视觉伺服控制方法。建立了曲线焊缝视觉跟踪过程中焊接机器人期望位姿的数学模型;设计了一种上下层结构的模糊视觉伺服控制器,通过建立焊缝特征点像素坐标偏差与末端轴旋转角度之间的关系模型,动态确定模糊论域的大小,在机器人期望位姿的基础上仅仅通过调整末端轴的旋转量来保证图像特征点始终存在于相机视场内。通过模拟焊接机器人自动跟踪曲线焊缝的实验,验证了所提策略与方法的有效性。     

架空输电线路巡线机器人越障视觉伺服控制

为解决巡线机器人越障问题，设计了基于图像的越障视觉伺服控制方案．采用傅里叶描述子构造了具有平移、旋转、尺度缩放及起始点不变性的轮廓形状特征向量，实现了驱动轮的识别；进而抽取图像特征和估计驱动轮—相线在图像空间中的相对位姿，并设计了带有死区的比例控制律来实现驱动轮—相线“对中”视觉伺服控制．模拟线路实验结果表明，该方案能可靠地完成巡线机器人驱动轮—相线“对中”控制任务．     

面向旋翼无人机目标追踪的解耦视觉伺服方法

传统的机器人PID控制方法因结构简单在复杂环境中的鲁棒性与稳定性较差,而传统视觉伺服控制系统的闭环反馈机制影响强耦合系统的控制效果。针对传统机器人PID控制与视觉伺服在旋翼无人机追踪问题中的不足,提出一种解耦的视觉伺服追踪方法。利用费尔曼链码的目标特征提取算法提取目标的特征点,建立特征点误差与速度之间的视觉伺服模型,通过姿态调节去除俯仰角与滚转角的影响,采用动力学扩展方法将运动参数从4个自由度扩展为6个自由度,设置在线速度空间与角速度空间上独立的伺服增益。在仿真条件与实物条件下进行旋翼无人机追踪实验,结果表明,相比传统的视觉伺服与PID方法,该方法目标丢失概率更小,追踪效果更好。     

一种输电线巡检机器人的自动抓线视觉伺服控制

为了保证轮臂复合式巡检机器人自动越障时行走轮能够可靠抓线,提出一种基于图像的视觉伺服抓线控制方法.在图像空间定义输电线的偏距和偏角来表征图像特征的变化,并设计出位姿解耦伺服控制律.由于视觉雅可比矩阵与机器人状态有关且可能发生奇异,采用模糊方法进行机器人控制.通过实验确定模糊集合的论域,设计了两层模糊控制器并编制了自动抓线程序.进行了上百次实验,其抓线控制的偏距和偏角误差分别在25像素和2以内,能够可靠抓线,实际越障中只需小于40s的时间即可完成抓线.结果表明该方法具有准确、可靠、效率高的特点,能够满足准确、快速、可靠抓线的任务要求.     

基于图像视觉伺服的二维运动优化控制

基于图像的视觉伺服方法,图像的变化直接解释为摄像机的运动,而不是直接对机械手末端实现笛卡尔速度控制,导致机械手的运动轨迹迂回,产生摄像机回退现象.针对这一问题,提出了将旋转和平移分离并先实现旋转的视觉伺服方案.该方案计算量小,系统响应时间短,解决了图像旋转和平移间的干扰,克服了传统基于图像视觉伺服产生的摄像机回退现象,实现了时间和路径的最优控制.并用传统IBVS的控制律和摄像机成像模型解释了回退现象的产生原因.二维运动仿真说明了提出方案的有效性.     

基于视觉伺服的输电线巡检机器人抓线控制

巡检机器人在自动越障时，需要完成机器人手臂的准确抓线控制。结合输电线的几何特征和摄像机成像原理，提出了一种基于单摄像机的立体视觉方法来确定输电线的位置和姿态。结合该定位方法及视觉伺服理论建立机械手抓线伺服控制模型。在自行研制的巡检机器人进行了视觉伺服抓线实验。实验结果验证了该方法的有效性。     

Learning Generative Models of Scene Features

We present a method for learning a set of generative models which are suitable for representing selected image-domain features of a scene as a function of changes in the camera viewpoint. Such models are important for robotic tasks, such as probabilistic position estimation (i.e. localization), as well as visualization. Our approach entails the automatic selection of the features, as well as the synthesis of models of their visual behavior. The model we propose is capable of generating maximum-likelihood views, as well as a measure of the likelihood of a particular view from a particular camera position. Training the models involves regularizing observations of the features from known camera locations. The uncertainty of the model is evaluated using cross validation, which allows for a priori evaluation of features and their attributes. The features themselves are initially selected as salient points by a measure of visual attention, and are tracked across multiple views. While the motivation for this work is for robot localization, the results have implications for image interpolation, image-based scene reconstruction and object recognition. This paper presents a formulation of the problem and illustrative experimental results.     

直线特征的交互矩阵求取

直线特征在视觉跟踪、视觉伺服中具有重要作用, 但目前的直线交互矩阵的求取受到制约, 需要已知含有直线的平面在摄像机坐标系中的方程参数. 为摆脱含有直线的平面参数的约束, 本文利用两点的极坐标推导出直线的交互矩阵, 并给出直线交互矩阵求取方法. 经分析得知, 对于与摄像机光轴接近垂直的直线, 其在成像平面上的角度变化主要受摄像机姿态变化的影响, 对摄像机的位置变化不敏感. 对于与摄像机光轴平行的直线, 其在成像平面上的角度变化受摄像机旋转以及垂直于光轴平移 的影响较大. 实验结果验证了本文方法的有效性.     

Continuous visual servoing despite the changes of visibility in image features

In the recent past, the visibility problem in vision-based control has been widely investigated. The proposed solutions generally have a common goal: to always keep the object in the camera's field of view during the visual servoing. Contrary to this solution, we propose a new approach based on the concept of allowing the changes of visibility in image features during the control task. To this aim, the camera invariant visual-servoing approach has been redefined in order to take into account the changes of visibility in image features. A new smooth task function using weighted features is presented, and a continuous control law is obtained starting from it by imposing its exponential decrease to zero. Furthermore, the local stability analysis of the invariant visual-servoing approach with weighted features is presented. Finally, this promising way of dealing with the visibility issue has been successfully tested with an eye-in-hand robotic system.     

一种基于面阵相机的在线图像拼接方法

对于生产流水线上输送较慢的大尺寸工件,利用线阵相机对工件进行检测的成本较高和相机的功效不能完全发挥的缺点,提出了一种基于面阵相机的在线图像拼接方法;该方法能在一定的速度范围内有效地对运动物体整体图像进行实时拼接;在图像匹配过程中,该方法运用基于匹配点对误差排序的方法,将正确的匹配提取出来;利用误差阈值内的角点组合来估计单应性矩阵;然后利用Levenberg-Marquart(L-M)非线性优化方法对求得的矩阵参数进行优化得到最终单应性矩阵参数;实验验证结果表明,该方法稳定性好。     

Analysis of camera behavior during tracking

A camera is mounted on a moving robot and can rotate, relative to the robot, about two axes. We show how the optical flow field can be used to control the camera's motion to keep a target at the center of the camera's field of view, but that this is not always possible when the target lies close to the plane defined by the camera's two axes of rotation. When the target is held at the center of the camera's field of view, then the magnitude of the camera's angular velocity about one axis never exceeds the magnitude of the flow vector associated with the target, but the angular velocity about the other axis is dependent on the inverse distance of the target from this axis, and hence can become large as this distance becomes small. Situations, where the magnitudes of the camera's angular velocity and acceleration become large, are considered in the special case where the relative motion between the robot and its environment is purely translational. The tracking strategy is experimentally evaluated using computer-generated optical flow fields     

五轴磨抛机器人补偿算法研究与实现

通过分析基于模型的补偿方法和非模型补偿方法的优缺点，结合一个五轴磨抛机器人的结构特点，提出了两种补偿方法相结合的混合补偿算法．针对平移关节误差的主要来源难于建模的特点，采用非模型的方法进行补偿；针对转动关节误差主要来源为几何参数误差，能够建模，但有些参数随机器人末端位置不同而变化的特点，采用二者相结合的混合方法进行补偿．通过对该机器人系统的实验，验证了方法的有效性和可行性．     

基于多模特征深度学习的机器人抓取判别方法

针对智能机器人抓取判别问题,研究多模特征深度学习与融合方法.该方法将测试特征分布偏离训练特征视为一类噪化,引入带稀疏约束的降噪自动编码（Denoising auto-encoding, DAE）,实现网络权值学习;并以叠层融合策略,获取初始多模特征的深层抽象表达,两种手段相结合旨在提高深度网络的鲁棒性和抓取判别精确性.实验采用深度摄像机与6自由度工业机器人组建测试平台,对不同类别目标进行在线对比实验.结果表明,设计的多模特征深度学习依据人的抓取习惯,实现最优抓取判别,并且机器人成功实施抓取定位,研究方法对新目标具备良好的抓取判别能力.     

Egomotion Estimation Using Assorted Features

We propose a novel minimal solver for recovering camera motion across two views of a calibrated stereo rig. The algorithm can handle any assorted combination of point and line features across the four images and facilitates a visual odometry pipeline that is enhanced by well-localized and reliably-tracked line features while retaining the well-known advantages of point features. The mathematical framework of our method is based on trifocal tensor geometry and a quaternion representation of rotation matrices. A simple polynomial system is developed from which camera motion parameters may be extracted more robustly in the presence of severe noise, as compared to the conventionally employed direct linear/subspace solutions. This is demonstrated with extensive experiments and comparisons against the 3-point and line-sfm algorithms.     

基于目标特征的植株深度图像修复

针对植株深度图像的像素错误和缺失、常见的滤波方法无法准确修复植株深度图 像的问题,提出一种基于目标特征的植株深度图像修复方法。首先基于颜色和空间信息的图像 分割算法对植株彩色图像进行目标分割,再检索每个目标的外轮廓,并对外轮廓进行多边形拟 合;其次,基于目标区域搜索深度图像中具有正确深度值的像素作为目标区域采样点,并对叶 片区域的图像进行归一化;最后,利用空间拟合法计算各目标区域的方程,修复区域内小面积 错误和缺失的深度值,同时采用支持向量机和空间变换运算对大面积错误和缺失深度值的叶片 区域进行修复。实验结果表明,该方法能够准确地修复植株深度图像中错误、缺失的深度数据, 且能够有效地保护目标区域的边缘信息。     

基于线特征和控制点的可见光和SAR图像配准

以具有典型人造目标的可见光和SAR (Synthetic aperture radar)图像为研究对象,提出一种自适应多尺度快速Beamlet变换方法提取人造目标在可见光和SAR图像的共有特征---线特征, 并基于线特征构造控制点,设计了一种基于控制点特征的匹配度函数,采用基于特征一致的粗配准和基于控制点的精确配准方法,对待配准图像实现由粗到精的自动配准. 实验表明,在可见光和SAR图像存在较大灰度差异、旋转和平移的情况下,该算法仍然能够精确配准图像.