视觉伺服机械臂手机抓取最佳位姿检测

针对下水道、勾缝等狭窄位置的手机拾取的问题, 本文提出一种基于机器视觉的伺服机械臂抓取方法. 首先对机械臂eye-in-hand上的相机进行标定, 图像预处理及目标检测等, 在位姿检测中提出一种基于二维坐标系下手机位姿解算算法, 得出解算的最佳位姿角只与夹持点的像素坐标的差值有关, 其位姿角的大小决定了手抓旋转的角度. 实验用Matlab软件对位姿检测进行仿真分析, 其包括SURF不变特征点的目标检测实验和位姿解算实验, 最后用Rethink双臂机器人的右臂对手机进行抓取验证. 实验表明, 在误差允许范围内, 提出的算法具有一定的有效性, 其结果为伺服机械臂抓取手机提供良好的准确性.     

基于TOF相机的非合作矩形目标三维位姿测量方法

针对目前空间非合作矩形目标位姿测量过程中提取像素级特征点误差大、距离测量值不稳定等导致的测量精度不高的问题,提出一种基于TOF（Time-of-Flight）相机的非合作矩形目标三维位姿测量方法。首先对灰度图像进行修正的FAST特征点提取,然后分别计算提取出的特征点在相机坐标系和目标坐标系下的三维坐标,最后检测矩形目标亚像素级角点并融合30帧距离信息后再计算姿态角。实验结果表明,对于1m距离范围内边长为50mm的非合作矩形目标,Z轴、X轴、Y轴方向位置测量的绝对误差平均值分别为2.65mm、1.28mm、0.60mm。姿态角γ测量的绝对误差平均值降为0.52°。相对于传统的基于点云配准的位姿测量方法,姿态角测量的绝对误差降低了48.0%,显著地提高了非合作目标三维位姿测量的精度和稳定性,具有广泛的应用前景。     

基于亚像素的乒乓球机器人本体位姿视觉测量

提出一种基于亚像素精度的特征点提取算法,结合PnP方法和正交迭代(OI)算法计算乒乓球机器人本体的位姿.根据摄像机成像时弥散斑的近似高斯分布,以亚像素精度精确求取色标块的边缘,利用边缘直线交点得到高精度的角点作为特征点.基于PnP算法利用上述特征点求取机器人位姿的初值,再通过OI算法进行优化,以保证其姿态矩阵的正交性.实验结果表明,该方法能快速准确地实现机器人本体的位姿测量.     

基于特征点位置校正的靶标位姿测量方法

针对图像式路基沉降监测系统中由于振动等因素导致靶标与相机发生偏转产生测量误差的问题,本文在设计监测系统靶面位姿测量系统的基础上提出了基于4特征点位置校正的位姿测量方法.首先介绍了图像式路基沉降监测方法的工作原理;然后根据实际情况设计了区别于传统特征点的4特征点靶面的位姿测量系统,并利用特殊特征点对靶面特征点进行位置校正;最后根据设计的4特征点靶面测量系统提出已知矩形4特征点边长的位姿求解方法.实验结果表明:本文方法比迭代法位姿解算后角度误差值更小,其位姿解算相对误差减小1.2%.当偏转角度小于2°时,本文方法位姿求解旋转角度误差小于0.09°,相对角度误差为1.003%.其时间和测量精度都能够达到监测系统要求,可以应用于监测系统中需要对相机和靶标进行实时标定的场景.     

基于ORB特征的单目视觉定位算法研究

针对大范围室外场景和具有重复、高频纹理特征(例如水泥地、草坪)的场景,提出了一种鲁棒性强、定位精度高、速度更快的视觉定位算法。采用8级图像金字塔的ORB (Oriented FAST and Rotated BRIEF)特征描述子提取图像特征点,通过K近邻(KNN)匹配相邻图像序列的特征点对,依次解算基础矩阵F和本质矩阵E,采用自适应法利用单应矩阵和本质矩阵进行位姿估计,最后解算两帧图像间相机刚体运动的旋转R和平移t,利用三角测量法则求解出匹配点的三维坐标,重建相机运动轨迹。为了提高算法性能,提出采用最小化基于点特征的非线性重投影误差优化三维点。通过调用OpenCV在C++中实现,对所采集的数据集进行测试,测试结果表明,该方法比传统的3D位姿估计更优,实时可行。由于其基于单目而实现,因此无法得到尺度信息。     

基于视觉测量的液压支架位姿检测方法

针对目前综采工作面液压支架位姿测量方法存在实施成本高、精度和实时性较差的问题,提出了一种基于视觉测量的液压支架位姿检测方法。通过在液压支架上设置红外LED标识板,利用安装在采煤机上的防爆相机进行图像采集,基于4个共面特征点的视觉算法对图像进行处理与解算,得到液压支架底座的位姿,根据液压支架的位姿坐标可以得到其在多个方向的直线度。实验结果表明,该方法测量的液压支架位姿检测精度在0.7°以内,直线度精度在20mm以内,满足综采工作面液压支架的检测精度要求。     

一种基于目标识别的运动视定位方法

针对室内移动机器人定位问题提出了一种基于目标识别的运动视定位方法.该方法确定机器人相对于其接近目标的位姿.选取目标上与相机投影中心相对于地面等高的两个点作为特征点,首先拍摄一幅包含这两个特征点的图像,机器人移动后再拍摄一幅包含这两个特征点的图像,该方法就能根据这两个特征点在这两幅图像中的坐标计算出机器人移动前后的位姿.该方法只需两个特征点和两幅图像,因而比较简单且有较高的实时性.试验结果验证了该方法的有效性.     

一种估计深度相机位姿精度的闭式算法

针对深度相机,提出了估计位姿变换精度的闭式解算法.相对位姿由6自由度向量T=[x,y,z,α,β,γ]表示,计算该向量的协方差矩阵来表征相对位姿精度.定义3维点对到相对位姿的隐式函数,利用隐式定理计算该隐式函数相对于点对集合的偏导数,从而根据隐式函数变化趋势和深度相机测量误差来计算协方差矩阵.该方法要求3维点对匹配准确无误,所以本文同时提出在给定相对位姿情况下匹配3维点对算法,该算法充分利用深度相机可以同时返回深度信息和灰度信息的特点.最后在随机生成数据和真实数据上验证了相对位姿精度估计算法的有效性.     

双目视觉测量系统位姿解算方法研究

在大部件自动对准系统中,为了解决近距离观测无法获得被观测目标全部特征的问题,使用双目视觉位姿测量解算方法,设置其中一个相机为基准相机,利用两相机之间已知的位姿关系,将非基准相机拍摄的特征点信息转换到基准相机的相机坐标系下,然后利用位姿解算的迭代算法思想求解两部件之间的位姿关系.当特征点数目较少时,迭代算法的误差函数会陷入局部极小值,针对上述问题,设计了一种利用各坐标系之间的转换关系求解迭代初始值的方法,并通过仿真证明了算法的有效性.     

基于直接解算与迭代优化的相对定向方法

为了提高相对定向的鲁棒性和精度,提出了一种直接解算与迭代优化相结合的相对定向方法。该方法首先由同名点估计本征矩阵;然后,通过分解本征矩阵得到两相机的初始相对位姿,详细介绍了确定唯一初始位姿参数的过程;最后,通过建立水平核线坐标系,基于共面约束由同名点构建约束方程组,对初始位姿参数进行迭代优化。通过在直接解算时采用随机采样一致性(RANSAC)策略及迭代优化中进行动态剔点,使算法对外点具有极高的抗性。仿真实验结果表明,在引入各种随机误差的条件下,所提方法的解算效率和精度均优于传统方法。实际数据实验证明所提算法可有效应用于三维重建中的相对位姿估计。     

基于YOLOv3和EPnP算法的多药盒姿态估计

针对机械臂药盒抓取操作中对药盒定位和姿态估计的要求,提出一种基于YOLOv3深度学习算法和EPnP算法相结合的多药盒姿态估计方法,此方法主要分为多药盒定位和姿态估计两部分;首先通过YOLOv3算法实现药盒的快速精确定位,并通过定位框分割出单个药盒;然后进行特征提取和特征匹配并估计单应矩阵;通过单应矩阵的透视矩阵变换求得药盒平面4个角点的像素坐标并作为EPnP求解所需的2D点,结合药盒先验尺寸信息在相机坐标系下构建药盒对应的3D点坐标以实现药盒姿态求解;通过结合OptiTrack系统设计了药盒姿态精度对比实验,结果表明,该算法充分发挥了YOLOv3算法兼具快速性和准确性的优势,并且具有良好的姿态估计精度,总体算法速度达到15 FPS,药盒姿态估计平均误差小于0.5°。     

基于面部特征约束的人脸纹理映射及变形

将一幅人脸图像（称为源图像）映射到另一幅人脸图像（称为目标图像）上,从而实现人脸图像的变形并达到某种特殊效果的表现要求。其中,一个最关键的问题是保持两幅人脸中器官特征的约束映射。提出一种技术策略,可以有效实现这种映射效果。利用人脸特征检测算法检测出源人脸和目标人脸的特征点;基于特征点,利用Delaunay三角剖分的方法将目标人脸转化为三角网格;采用调和映射的方法计算得出所有网格点在源人脸图像中的对应坐标;在获得网格点纹理坐标后,就可以实现源人脸到目标人脸的映射。实验表明,该方法可以实现任意人脸间的映射,并能较好地保持人脸五官间的映射关系。     

一种改进AKAZE特征和RANSAC的图像拼接算法

针对传统图像描述方法在图像对变化复杂时特征点配准精度低,且传统RANSAC算法计算稳定性差的问题,提出一种结合改进AKAZE特征与RANSAC算法的图像拼接算法.利用AKAZE算法构造非线性尺度空间提取图像特征点,采用卷积神经网络描述符生成128维特征向量描述图像特征点,通过精简特征点并在迭代中设定嵌套阈值改进RANS...     

一种基于AKAZE算法的多视图几何三维重建方法

针对增量式运动恢复结构算法在多视图几何三维重建算法中运行效率低的问题,提出了一种基于AKAZE算法的多视图几何三维重建方法。首先对利用摄像机获得的目标图像使用AKAZE算法检测特征并匹配,并使用随机抽取一致性算法和三视图约束剔除弱匹配图像。然后根据匹配图间的相对位姿参数,通过最小二乘法解算全局旋转参数,并利用三视图约束关系求解全局位移参数。最后进行一次光束法平差优化。实验结果表明,该算法在改善重建效果的基础上提高了处理效率,能够满足快速处理的需求。     

基于GA-BP神经网络的双摄像机位姿视觉调节方法

文中提出了双摄像机模组位姿调节参数计算的GA优化BP神经网络模型,根据目标模板上的特征点在双摄像机上的成像坐标,计算两个摄像机之间的位姿偏离参数。为弥补BP神经网络的不足,采用GA算法对BP神经网络进行了优化。利用训练样本数据集对所提出的模型进行了训练,并利用测试样本数据集对模型进行了测试;最后将训练好的模型用于双摄像机模组位姿调节的实际生产中。实际应用结果表明,基于所提出的方法设计的双摄像机模组位姿调节装置,调节精度和调节时间都能满足实际生产的要求。     

定位图像匹配尺度与区域的摄像机位姿实时跟踪

目的 提出一种定位图像匹配尺度及区域的有效算法,通过实现当前屏幕图像特征点与模板图像中对应尺度下部分区域中的特征点匹配,实现摄像机对模板图像的实时跟踪,解决3维跟踪算法中匹配精度与效率问题。方法 在预处理阶段,算法对模板图像建立多尺度表示,各尺度下的图像进行区域划分,在每个区域内采用ORB（oriented FAST and rotated BRIEF）方法提取特征点并生成描述子,由此构建图像特征点的分级分区管理模式。在实时跟踪阶段,对于当前摄像机获得的图像,首先定位该图像所对应的尺度范围,在相应尺度范围内确定与当前图像重叠度大的图像区域,然后将当前图像与模板图像对应的尺度与区域中的特征点集进行匹配,最后根据匹配点对计算摄像机的位姿。结果 利用公开图像数据库（stanford mobile visual search dataset）中不同分辨率的模板图像及更多图像进行实验,结果表明,本文算法性能稳定,配准误差在1个像素左右;系统运行帧率总体稳定在2030 帧/s。结论 与多种经典算法对比,新方法能够更好地定位图像匹配尺度与区域,采用这种局部特征点匹配的方法在配准精度与计算效率方面比现有方法有明显提升,并且当模板图像分辨率较高时性能更好,特别适合移动增强现实应用。     

基于双目视觉的板材平面测量研究

针对传统人工测量板材尺寸精度较低、工作量大、易导致板材表面受损等局限,基于双目视觉技术设计了一种板材尺寸视觉测量系统;通过双目相机采集棋盘格图像,采用MATLAB进行相机标定和图像校正,拍摄左右图像并通过半全局立体匹配算法(SGM,semi global matching)进行特征点立体匹配,重建出目标三维点云模型;为提高目标特征点坐标获取的准确性,提出基于HARRIS的亚像素检测方法;采用区域生长算法结合膨胀和腐蚀操作提取板材表面轮廓,根据三角测量原理计算出板材轮廓上各点的三维坐标从而实现板材的尺寸测量,并进行点云重建增强三维展示效果;实践结果表明亚像素检测方法在角点提取上存在优势,在实际板材测量应用中实现了高精度尺寸测量,满足了工业测量需求。     

基于双目视觉的三维测量技术研究

本文对基于双目视觉的三维测量技术研究进行了深入挖掘,主要包括摄像机模型、双目相机的标定、图像校正、立体匹配等。同时借鉴机器学习的分类思想,将角点提取转化为二分类问题,利用随机森林算法来实现角点提取,再利用随机森林的预测结果来实现亚像素级角点提取。该方法相对于传统三维测量中的角点提取算法具有更好的自动化性能,能避免角点集群现象,能实现较高精度的亚像素级角点提取,获得更高精度的二维像素坐标。从而利用高精度的二维像素坐标来获得点的三维世界坐标,这也是基于双目视觉的三维测量技术的基础与核心。     

摄像机位姿的高精度快速求解

目的 针对对应点个数大于等于6的摄像机位姿估计问题,提出一种既适用于已标定也适用于未标定摄像机的时间复杂度为 的高精度快速算法。 方法 首先选取四个非共面虚拟控制点,并根据空间点和虚拟控制点的空间关系以及空间点的图像建立线性方程组,以此求解虚拟控制点的图像坐标及摄像机内参,再由POSIT算法根据虚拟控制点及其图像坐标求解旋转矩阵和平移向量。 结果 模拟数据实验和真实图像实验表明该算法时间复杂度和计算精度均优于现有的已标定摄像机位姿的高精度快速求解算法EPnP。 结论 该算法能够同时估计摄像机内外参数,而且比现有算法具有更好的速度和精度。     

Vision-based Target Geo-location using a Fixed-wing Miniature Air Vehicle

This paper presents a method for determining the GPS location of a ground-based object when imaged from a fixed-wing miniature air vehicle (MAV). Using the pixel location of the target in an image, measurements of MAV position and attitude, and camera pose angles, the target is localized in world coordinates. The main contribution of this paper is to present four techniques for reducing the localization error. In particular, we discuss RLS filtering, bias estimation, flight path selection, and wind estimation. The localization method has been implemented and flight tested on BYU’s MAV testbed and experimental results are presented demonstrating the localization of a target to within 3 m of its known GPS location.