V－SLAM中点云配准算法改进及移动机器人实验

针对移动机器人视觉同时定位与地图构建(visual simultaneous location and mapping,V-SLAM)中,存在帧间配准误差大造成重建精度低、位姿轨迹丢失的问题,提出一种三阶段改进点云配准的ICP算法.首先通过RANSAC(随机采样一致性)采样策略对RGB图进行点对的筛选从而获得内点完成预处理;然后采用基于刚体变换一致性的对应点双重距离阈值法完成点云初配准;在得到良好的初始位姿下,引入一种动态迭代角度因子的ICP精配准方法.在后端部分引入滑动窗口法和随机采样法相结合的关键帧筛选机制,结合g2o(general graph optimization)图优化算法优化机器人位姿轨迹,实现全局一致的VSLAM系统.采用标准点云模型对本文算法与文献算法进行点云配准实验对比,在配准精度上有明显提高;通过移动机器人在真实环境下的地图重建实验,验证了本文算法的有效性;最后基于TUM数据集的实验表明了本文算法能有效估计出机器人运行轨迹.     

融合梯度密度的点线视觉SLAM算法改进

针对视觉同步定位与地图构建(Simultaneous Localization and Mapping, SLAM)方法在相机快速运动中容易导致图像模糊,以及在稠密场景中线特征提取易造成信息冗余等问题,提出一种融合梯度密度的点线视觉SLAM算法改进。该算法首先利用前后图像帧之间特征点数量信息对模糊图像进行筛选,并使用高斯模糊进行优化处理,得到匹配效果更佳的图像帧。然后利用点特征信息判断是否引入线特征,并引入图像像素梯度密度对LSD(Line Segment Detection)线特征进行多维优化,提取出稳定线特征以提高后续匹配质量。最后结合点线特征误差构建误差函数,最小化投影误差提高位姿估计精度。算法在TUM数据集下进行测试,实验结果表明本算法可以有效提升特征提取的稳健性,进而提高相机位姿估计与建图的精度。     

多尺度自适应配准的视频超分辨率算法

为了提升制约视频超分辨率重建质量的多帧配准精度,提出了一种基于图像块多尺度自适应配准的视频超分辨率算法. 依据图像帧的块内容自适应选择配准尺度,运动边缘信息采用高精度配准,然后将运动向量补偿到多帧图像超分辨率重建代价函数中,利用最大后验概率算法迭代优化高分辨率视频帧. 仿真表明:多尺度自适应配准算法不仅提高了配准精度,还提升了视频超分辨率重建图像帧的主客观质量,证明了多尺度自适应配准在视频超分辨率重建中的有效性.     

基于平面运动约束的移动机器人位姿估计

针对大部分基于单目相机的位姿估计方法只适用于平面场景的问题,提出了一种同时适用于 平面场景和立体场景的单目位姿估计方法．首先,将所有图像与参考帧进行特征匹配;然后,提取每 帧图像中都出现的特征点的像素坐标,并结合地平面约束和相机内参矩阵构建出观测矩阵;其次, 对观测矩阵进行奇异值分解得到各帧图像的位姿估计,并利用约束矩阵解决奇异值分解不唯一问 题;最后,利用光束平差法优化图像位姿,得到机器人位姿的最优估计．实验结果表明：该方法能准 确对移动机器人进行位姿估计．     

基于稀疏直接法的SLAM算法

SLAM技术已经应用到了智能机器人、无人机、AR/VR、无人驾驶等领域中,但当前的SLAM算法在运行速度、相机轨迹精度和鲁棒性等方面依然存在改善空间。为了提高SLAM中相机轨迹精度,提出了基于稀疏直接法的SLAM算法。该算法使用改进的Shi-Tomasi特征点检测算法进行特征点的提取,然后依据提取的特征点采用直接法进行相机位姿估计,同时利用构建的地图进行位姿优化,有效地提高了相机位姿估计精度。针对TUM标准数据集,通过对比分析可知,基于稀疏直接法的SLAM算法可以有效地减少误差,相机轨迹精度优于ORB-SLAM2算法。     

一种基于局部不变特征的SAR图像配准新算法

针对SAR图像配准中匹配效率低、误匹配对多和配准精度差的问题,提出一种基于局部不变特征的SAR图像配准新算法。首先,使用加速分割检测特征（ features from accelerated segment test, FAST）检测算法,检测 SAR图像的FAST角点;使用DAISY描述子对FAST特征进行描述,得到SAR图像不变特征。其次,采用基于KD树的欧氏距离匹配策略,实现特征点对的粗匹配;采用RANSAC算法去除误匹配,实现特征点对精匹配。然后,采用仿射变换模型,实现图像插值和图像变换,实现SAR图像粗配准。最后,建立配准精度评估反馈机制,实现配准优化。通过使用不同时相、不同工作模式HJ－1C星载SAR和不同极化、不同波段机载AIRSAR图像配准实验,提出算法与经典不变特征配准算法相比,具有适配性好、配准效率高的优点。     

基于KAZE特征匹配的偏振图像配准算法研究

偏振成像系统主要通过多相机或多通道成像,图像之间存在平移或旋转,偏振解析前必须进行图像配准,否则可能会产生虚假偏振信息。传统的配准算法主要有SIFT和SURF的特征配准算法,但其采用线性高斯金字塔进行多尺度分解来消除噪声和提取特征点,易造成边界模糊和细节丢失。本文从非线性尺度空间构建出发,提出一种基于KAZE特征匹配的偏振图像配准算法。首先,利用Hessian矩阵寻找特征点及其描述向量;然后以最小Hamming距离作为特征点的度量,计算单应矩阵并利用双线性插值实现不同偏振方位角图像之间的配准;最后,以FD1665P相机拍摄的图片为样本进行了实验验证。实验结果表明,本文算法相对基于SIFT和SURF特征点匹配的配准算法,归一化互信息增大、均方根误差减小,配准精度有很大提高。     

一种基于改进ORB和PROSAC特征点匹配的V-SLAM算法

随着机器视觉的高速发展,视觉同步定位与地图构建（visual simultaneous localization and mapping,V-SLAM）成为室内定位、导航应用的研究热点。针对传统ORB算法提取特征点分布不均匀的问题,在前端采用四叉树算法管理特征点,实现特征点均匀化分布,并结合渐进抽样一致性（progressive sample consensus,PROSAC）算法剔除误匹配特征点;在后端,采用构建词袋（bag of words,BoW）法对关键帧进行回环检测,判断帧与帧之间是否存在回环,并采用光束平差（bundle adjustment,BA）法进行相机位姿优化,修正相机位姿。在图像特征点提取和匹配实验中,通过与传统ORB算法及其他方法对比,证明本文算法具有较好的运算效率。与ORB＿SLAM-modified算法进行轨迹对比实验,分析生成的点云图,结果表明,本文算法具有较高的可靠性和精确度。     

结合PCM和MIE的多模态图像配准方法

针多模态图像配准问题,提出了一种基于相位一致性模型（PCM）和互信息熵（MIE）的配准方法.通过相位一致性模型同时提取多模态图像的角点和边缘特征,在边缘图上取角点的邻域,依据邻域间互信息熵的最小值在估计区域搜索匹配特征,利用RANSAC算法去除错配,进而确定待配准图像间的变换参数.实验表明：该方法达到了像素级配准精度、求解稳定,对多模态引起的非线性灰度变化、光照变化、噪声等都具有较强的鲁棒性;计算精度较基于同类特征的配准方法高,角点、边缘等几何特征综合运用在多模态图像配准中效果良好.     

基于三视图几何约束的摄像机相对位姿估计

针对从影像中恢复摄像机位姿的问题,提出基于三视图几何约束的位姿估计算法.利用强制选择机制对影像进行特征点提取,通过光流法和前后向误差实现相邻三帧影像的特征点匹配;推导基于本质矩阵优化分解的位姿估计,利用对极几何约束构建目标函数,通过迭代优化确定旋转矩阵的唯一解,优化了唯一解的确定方法,提高了相对位姿估计效率,得到第1、2摄像机矩阵;基于三视图的几何约束关系,由三焦点张量和匹配特征点建立目标函数,由迭代过程得到第3摄像机相对于第1摄像机的位姿参数.结果表明,提出算法的鲁棒性、精度以及算法效率均优于传统算法,能够快速、准确地估计摄像机相对位姿,可以实现对旋翼无人机的轨迹跟踪.     

3D混杂场景中机械臂自主分拣小目标的方法

为解决机械臂在大小目标共存的3D混杂场景中无法利用3D视觉传感器直接感知分布于操作视场范围内的小目标这一难题,提出一种基于"固定安装的全局Kinect深度相机"与"安装在机械臂末端执行器上的移动相机(手眼相机)"相结合的视觉系统混合配置方法.固定的全局Kinect深度相机用于感知并获取视场范围内的大目标点云,进而识别估计其位姿,然后借助路径规划技术引导机械臂到达大目标的上方,启动手眼相机近距离获取小目标的图像;离线阶段获取小目标的CAD模型,虚拟2D相机在以目标中心为球心的虚拟球表面的不同位姿和不同半径处拍摄目标的一系列二维视图,并且储存在目标的3D形状模板数据库中;在线阶段从真实手眼相机拍摄的场景图像中基于图像金字塔分层逐一搜索匹配,找到与目标模板相匹配的所有实例并计算其二维位姿,经过一系列转换后得到在相机坐标系下的初始三维位姿,应用非线性最小二乘法对其进行位姿修正.由ABB机械臂和微软Kinect V2传感器以及维视图像公司的工业相机进行位姿估计精度实验和混杂目标分拣实验,利用棋盘标定板来测定目标真实的位姿.实验结果表明,位置精度0.48 mm,姿态精度0.62°,平均识别时间1.85 s,识别率达到98%,远高于传统的基于特征和基于描述符的位姿估计方法,从而证明了提出方法的有效性和可行性.     

一种非结构环境下目标识别和3D位姿估计方法

为提高非结构环境下目标识别准确率和位姿估计精度,提出一种利用Kinect V2 RGB-D传感器并基于目标的CAD模型进行不同类型目标自动识别和3D位姿估计的新方法.利用虚拟相机获取目标CAD模型的深度图像,并将目标的模型转化为点云图,采用体素栅格滤波减少场景点云中的点数;利用点对特征描述子(PPF)作为CAD模型的全局描述子,并将相似的PPF划分成一组放进一个hash表,用于识别和定位目标,所有目标的hash表组成了3D模型数据库;利用基于投票策略的方法对不同类型目标进行检测识别和3D位姿估计,并采用位姿聚类的方法和ICP配准进行位姿修正,再通过奇异值滤波剔除误匹配位姿,从而提高位姿估计精度.在虚拟机器人实验平台仿真环境中分析了3种管接头的识别率和位姿估计误差,结果表明:3种管接头平均识别率96%,位置误差4 mm,姿态误差2°,能够满足机械臂抓取要求.将提出的方法与两种主流位姿估计方法进行了对比实验,结果表明,提出的方法无论是识别率还是F1分数都要优于其他两种方法.     

一种改进的摄像机线性标定优化方法

现有的摄像机标定方法没有将高精度和简便性很好的衔接在一起。提出一种新的标定优化方法。首先选择主点位置在图像中心,纵横比为1作为初始条件;接着利用改进的摄像机线性标定方法,得到在同一摄像机坐标系下不同图像上所有标定点的摄像机坐标;最后利用摄像机坐标系下的这些三维点来优化内、外参数。实验结果表明：本文提出的标定方法得到的焦距误差在0.1mm以内,主点位置的最大误差在2pixel左右,测试点的最大误差控制在0.5pixel以内。本文提出的标定方法是一种简单、高精度的标定方法。     

基于稀疏直接法闭环检测定位的视觉里程计

视觉里程计在移动机器人的定位导航中发挥着关键性作用, 但当前的算法在运行速度、轨迹精度和鲁棒性等方面依然存在改善空间。为提高相机轨迹精度, 提出基于稀疏直接法的闭环检测算法。该算法直接提取两种特征组成混合型特征点提升系统鲁棒性, 混合型特征点用于跟踪和匹配关键帧, 使视觉里程计能够检测闭环, 再用位姿图优化提升定位精度。实验结果表明在复杂环境中具有较强的鲁棒性, 并且在速度和精度之间取得平衡。     

Optimization algorithm for estimating the human pose by using the morphable model

An optimization algorithm is proposed utilizing the video data and point cloud data captured by the depth camera to solve the problems such as error-proneness and incoherence of motion sequence caused by the existing human pose estimation algorithms based on the morphable model. For video data, the neural network is first used in extracting the model parameters from each color image frame. Next, the human key-points and contour constraint are considered to optimize the above parameters. Then the coherence between every two consecutive frames is utilized to correct the error of pose estimation, thus making the resulting motion sequence smoother. In addition, the point cloud and the model obtained from the corresponding color image frame are used as the joint input to further improve the estimation accuracy. Finally, the distance between the point cloud and the corresponding point of the model is constrained to be as small as possible to obtain a more reasonable solution. The proposed algorithm and the state-of-the-art algorithms are compared qualitatively and quantitatively on the data set and real video set. Experimental results show that the algorithm can effectively correct the error and incoherence in the single-frame pose estimation results and greatly improve the accuracy when using point cloud data optimization.     

单目视觉坐标测量方法

为了解决现代化生产中对高精度、大尺寸、三维整体现场在线测量技术的需求问题,提出了一种基于光学测头成像的单目视觉坐标测量方法。该方法以光学测头上的光学特征点作为成像目标,利用单个摄像机获取测量信息。测量过程中,通过分析光学测头上光学特征点的二维成像坐标,利用特征点之间已知的几何约束知识和摄像机的透视投影模型,建立特征点与对应像点的求解关系。通过基于奇异值分解的位姿优化算法确定特征点的空间位置坐标。根据特征点与测尖间已知的位置约束关系确定被测点的空间坐标,从而实现坐标测量目的。测试实验结果表明,该方法切实可行,系统的测量不确定度小于0.32mm。     

Accurate mirror-based camera pose estimation with explicit geometric meanings

An accurate closed form solution is proposed to estimate camera pose by several mirrored reference object images acquired via a planar mirror under different unknown poses. Compared with state-of-the-art methods, our method is more accurate when there are more than three images and has explicit geometric meanings. This method also properly handles cases in which some of the mirror poses are parallel. The central idea is to minimize an error metric based on all reflections of rotation, which enables the camera rotation to be estimated directly by SVD of sum of mirrored camera rotations. After that, the camera translation is computed by solving a large system of linear equations to minimize object space collinearity error. Both synthesized data and real data experiments show the advantages of our approach.     

双摄像机结构光三维测量系统自标定方法

针对双摄像机与投影仪结构光三维测量系统的标定问题,提出了极线约束条件下的自标定方法．依据极线约束理论,通过标定物上特征点与对应双摄像机的两个像点确定极线方程,建立了两个摄像机之间的平移和旋转关系矩阵．将多编码周期三角形灰度分布图案投射到标定物,获取特征点在投影仪上对应点的坐标,采用改进8点法建立投影仪与双摄像机关系矩阵的两个估计矩阵,利用对极距离为目标函数进行估计矩阵优化,得到双摄像机和投影仪的参数矩阵．采用该系统对平面和人脸进行了三维测量实验,结果表明平面测量的最大绝对误差不大于1．7mm,相对误差不大于0．18％,表明了该三维测量系统自标定方法的有效性．     

Key Pose Frame Extraction Method of Human Motion Based on 3D Framework and X-Means

The key pose frames of a human motion pose sequence, play an important role in the compression, retrieval and semantic analysis of continuous human motion. The current available clustering methods in literatures are difficult to determine the number of key pose frames automatically, and may destroy the postures'' temporal relationships while extracting key frames. To deal with this problem, this paper proposes a new key pose frames extraction method on the basis of 3D space distances of joint points and the improved X-means clustering algorithm. According to the proposed extraction method, the final key pose frame sequence could be obtained by describing the posture of human body with space distance of particular joint points and then the time-constraint X-mean algorithm is applied to cluster and filtrate the posture sequence. The experimental results show that the proposed method can automatically determine the number of key frames and save the temporal characteristics of motion frames according to the motion pose sequence.