基于未标定多幅图的三维重建算法

为得到鲁棒的三维重建效果,提出了一种基于未标定多幅图像的三维重建算法。该算法首先采用Harris算法检测特征点,针对双向匹配算法匹配速度慢的缺点,使用改进的双向匹配算法进行特征点匹配,在已知摄像机参数的情况下进行两幅图的三维重建;接着采用四元数算法进行坐标转换,将由每两幅图得到的不同部分的重建结果转移到同一坐标系下,实现了多幅图像的三维重建;最后利用集束调整优化重建结果。实验结果证明,该算法能获得比较满意的重建效果。     

一种基于无人机序列成像的地形地貌重建方法

以无人机平台上普通摄像机获取的序列图像为对象,提出了一种对地三维重建的自动化处理方法。首先提出了基于视差分析的序列图像关键帧选择方法,对关键帧图像特征点进行鲁棒性的提取与匹配;第二步用加权的RANSAC算法估计基础矩阵,同时获取准确匹配的内点集。根据已标定的像机内参数,解算相对运动并进行优化。最后对待重建的目标点提出几何约束和单应约束融合的方法实现快速准确匹配,通过三角交会完成目标形貌三维重建。仿真实验结果表明该算法对序列图像具有较好的自动化程度和鲁棒性。     

基于胶囊内窥镜图像的肠胃道三维重建技术

为了改进胶囊内窥镜观测的准确性和真实性,提出了基于胶囊内窥镜序列图像的胃肠道三维重建的方法.首先利用SIFT算法提取前后两幅序列图像中尽可能多的对应特征点;计算获取各特征点在成像面上的二维坐标;进一步利用8点算法计算胶囊内镜运动变化的旋转矩阵和平移矢量.进而计算得到每个特征点的相对三维坐标和世界三维坐标;然后,采用Delaunay三角剖分算法对各三维点进行网格化,并完成场景的三维重建.实验表明相机与被测点距离在100 mm之内时,得到的深度误差小于1 mm;距离250 mm内时,相对误差在3％之内.说明所提出的算法是可行的.     

基于透视式增强现实的BIM建筑三维重建仿真

为了提高三维建筑模型的精准度,需要深入研究BIM建筑三维重建方法。当前方法耗时较长,得到的三维建筑模型与实际建筑之间的误差较大,存在效率低和精准度低的问题。将透视式增强现实技术应用到BIM建筑三维重建中,提出基于透视式增强现实的BIM建筑三维重建方法,通过BIM构建初始三维建筑模型,采用直接线性变换算法计算摄像机的内部参数和外部参数,完成摄像机标定。在摄像机标定结果的基础上采用LK光流计算方法得到像素在图像中的光流,根据光流的方向阈值和光流的大小筛选图像中的光流,提取到图像的匹配点,基于初始三维建筑模型针对建筑图像匹配点构成空间三维点云,采用Delaunay方法对空间三维点云进行三角化处理,针对处理后的建筑图像通过贴纹理完成BIM建筑三维重建。仿真结果表明,所提方法的效率高、精准度高。     

X射线图像三维重建的自标定优化算法

根据X射线图像成像特点,提出一种适用于X射线图像三维重建的自标定算法。首先基于SIFT算法得到相邻2幅X射线图像对应轮廓特征匹配关系;然后根据匹配关系计算得到基础矩阵;接着根据基础矩阵估计X射线无损检测设备内参数初值;最后基于改进Kruppa方程优化内参数,得到X射线图像三维重建自标定内参数。根据优化前后的内参数建立的电力金具三维模型,从形状和关键尺寸误差2方面进行对比,结果表明优化后的内参数具有较高的精度和可靠性。     

基于张量投票的摄像机自标定方法研究

针对传统的基于Kruppa方程摄像机自标定算法的欠鲁棒性,首次提出将鲁棒的张量投票算法用于摄像机自标定方法中。利用基于尺度不变的SIFT算法查找并匹配出每对图像的特征点,其中待匹配图像由摄像机对同一场景从三个不同角度位置拍摄,对图像张量投票后按棒张量特征值降序排序,由此筛选得到具有鲁棒性边缘特征的前八对特征点,利用八点算法求解相应的基础矩阵和极点,根据Kruppa方程和三维重建（SFM）算法求得摄像机参数矩阵。实验结果证明,该方法具有较高标定精度,并通过加入高斯噪声的仿真实验证明该算法是一种鲁棒的摄像机自标定方法。     

基于未标定图像的三维重建算法

提出一种基于多幅未标定图像的三维重建算法。在标记点匹配的基础上进行射影重建,通过施加度量约束将射影重建升级为欧氏重建,即利用未标定的透视图像恢复相机的内、外部参数以及标记点的三维空间坐标,实现场景的三维重建。标记点易于进行点对精确匹配,较手动拾取匹配提高了效率。实验结果表明,利用该算法能够大幅减小再投影误差。     

城市虚拟地理场景非定标三维重建算法仿真

为建立城市地理场景,用于辅助城市规划高度逼真、运行可靠的虚拟场景,提出城市虚拟地理场景非定标三维重建算法.使用几何节点、灯光节点、组合节点等构成简单的虚拟城市场景结构,以深度遍历方式获取楼房、灯光等位置信息;确定相机坐标系与世界坐标系,采用消失点相机自定标方法建立方程组,获得相机内参数矩阵,结合Moravec基本思想,得出像元兴趣值,选择最大兴趣点作为特征点,利用最小二乘影像算法实现特征点匹配,计算特征点坐标,经过去噪处理,实现非定标三维重建.实验结果表明,重建方法可以减少定标工作量,降低对计算性能的要求,使重建后的虚拟场景更加逼真.     

视频图像中的车辆检测跟踪和分类

介绍了一种在固定的单摄像头拍摄的交通图像序列中检测、跟踪、分类车辆的方法。该方法大致可分为三部分:抽取背景图像和图像分割;基于针孔模型的摄像机定标,计算透视投影矩阵;利用区域特征进行匹配跟踪,建立目标链,恢复目标三维信息,采用模型匹配法对车型分类。实验证明该方法简单可行。     

一种鲁棒的序列图像自动拼接方法

针对传统图像拼接方法中鲁棒性差、计算量大及自动化程度低等问题,提出一种鲁棒性高的序列图像自动拼接方法。该方法首先采用Harris角点检测算子对经Wallis滤波后的序列图像进行特征点提取,并结合Forstner算子对特征点进行精确定位。然后基于所提取的特征点,采用邻域灰度互相关法进行序列图像的特征点匹配,得到粗匹配点集,并运用RANSAC算法对粗匹配点集处理得到精匹配点集,由精匹配点集求出较高精度的基础矩阵及极线,并由极线约束引导匹配得到高精度的匹配点对,再运用双向松弛整体匹配算法进一步剔除少数位于极线上的误匹配点。最后利用所得的高精度匹配点对,求解序列图像间的仿射变换关系,并进行图像的坐标变换和融合,从而实现序列图像的自动拼接。实验结果表明,该方法拼接效果理想,鲁棒性高,整个拼接过程全自动,不需要人工干预,具有较高的实用价值。     

基于仿射不变闭合区域和SURF的图像匹配算法

针对现有基于自然特征的增强现实系统中图像匹配准确度低、计算量大和鲁棒性差的问题, 提出了一种基于仿射不变闭合区域和SURF(speeded-up robust features)的图像匹配方法。对输入的图像首先利用灰度直方图均衡进行图像增强得到二值化的图像, 提取图像中的闭合区域作为图像的仿射不变区域, 然后运用SURF检测算法提取闭合区域的图像特征描述, 最后使用SURF双向匹配算法实现图像的匹配。实验结果表明, 图像匹配的准确度有很大程度的提升, 同时计算耗时更少; 提出的方法能够满足增强现实系统的要求。     

基于稀疏图像序列的雕塑点自动云三维重构方法

为了提高对雕塑点稀疏图像的点云三维重建的分析能力,提出一种基于稀疏图像序列的雕塑点自动云三维重构方法,基于稀疏散乱点三维重建和锐化模板特征匹配方法进行图像三维重建。采用三维角点检测和边缘轮廓特征提取方法,进行雕塑点稀疏图像三维点云特征检测,对检测的雕塑点稀疏图像点云数据进行信息融合处理,采用梯度运算方法进行特征分解,实现对雕塑点稀疏图像的信息增强和融合滤波。结合局部均值降噪方法进行图像的提纯处理,提高雕塑点稀疏图像轮廓重建能力,采用锐化模板特征匹配和块分割技术,实现雕塑点自动云三维重构。仿真结果表明,采用该方法进行雕塑点自动云三维重构的准确性较高,图像匹配能力较好,且重构输出信噪比较高。     

一种抗视角变换的SURF匹配算法

针对传统的SURF匹配算法在图像搜索、物体识别中对视角变化大的图像特征点无法匹配的缺陷,提出了一种改进的SURF图像匹配算法。该算法利用模拟图序列的概念,即由原始图像模拟各种可能的视角变换生成的一组图像序列,对图像序列中的每幅图像进行SURF特征点提取;剔除冗余特征点后将模拟图序列中的特征点映射到原始图像中,这一过程增加了原始图像的特征点数量,特征点描述向量改用原始图像和多个模拟图的SURF特征描述向量共同表示;最后采用欧氏距离准则,最终得到两幅图像的正确匹配对。实验结果表明,本算法增加了特征点匹配对数,改善了视角变换过大(大于60°)使得图像无法匹配的情况。     

结合可变形卷积与双边网格的立体匹配网络

双目立体匹配被广泛应用于无人驾驶、机器人导航、增强现实等三维重建领域。在基于深度学习的立体匹配网络中采用多尺度2D卷积进行代价聚合,存在对目标边缘处的视差预测鲁棒性较差以及特征提取性能较低的问题。提出将可变形卷积与双边网格相结合的立体匹配网络。通过改进的特征金字塔网络进行特征提取,并将注意力特征增强、注意力机制、Meta-ACON激活函数引入到改进的特征金字塔网络中,以充分提取图像特征并减少语义信息丢失,从而提升特征提取性能。利用互相关层进行匹配计算,获得多尺度3D代价卷,采用2D可变形卷积代价聚合结构对多尺度3D代价卷进行聚合,以解决边缘膨胀问题,使用双边网格对聚合后的低分辨率代价卷进行上采样,经过视差回归得到视差图。实验结果表明,该网络在Scene Flow数据集中的端点误差为0.75,相比AANet降低13.8%,在KITTI2012数据集中3px的非遮挡区域误差率为1.81%,能准确预测目标边缘及小区域处的视差。     

基于圆柱面映射的快速图像拼接算法

针对现有基于圆柱面映射的全景图像拼接算法无法实现自动估计焦距的问题,为满足实时性要求,提出了一种基于预测的快速特征点匹配算法,在基于纯旋转运动的自动焦距估计算法基础上,提出了一种基于单应矩阵的焦距修正算法。该算法首先从待拼接图像中提取Harris角点,然后提取方向梯度直方图(Histogram of Oriented Gradient, HOG)描述子进行特征点匹配,基于前一帧图像获得的图像映射关系采用一种基于预测的快速特征点匹配算法,然后使用简化的基于纯旋转运动的焦距估计算法估计出焦距初值,并采用基于单应矩阵的焦距修正算法得到更精确的焦距值,最后将平面图像投影至圆柱平面,使用加权平均融合算法进行拼接,合成全景图像。采用多个测试序列图像对算法进行测试,特征点匹配速度较传统方法提高了10倍以上,自动焦距估计算法能够准确估计摄像机焦距,且耗时仅50毫秒左右。实验结果表明,提出的算法能够快速地合成高质量的全景图像,拼接后的图像畸变小,具有较高的实用价值。     

AN EMPIRICAL EVALUATION OF INTEREST POINT DETECTORS

Image interest point extraction and matching across images is a commonplace task in computer vision–based applications, across widely diverse domains, such as 3D reconstruction, augmented reality, or tracking. We present an empirical evaluation of state-of-the-art interest point detection algorithms measuring several parameters, such as efficiency, robustness to image domain geometric transformations—that is, similarity—affine or projective transformations, as well as invariance to photometric transformations such as light intensity or image noise.     

基于CenSurE特征的虚实配准方法研究

针对虚实配准的高精度和实时性要求, 提出了一种基于CenSurE特征的自适应虚实配准方法。该方法包括离线初始化和在线跟踪两个阶段。离线阶段系统利用CenSurE-OCT滤波器和MU-SURF描述符进行特征提取和匹配操作, 并根据特征匹配集合建立坐标系, 同时求得虚实配准的初始矩阵。在线跟踪阶段系统采用自适应跟踪方法获取当前图像特征点与参考特征点的对应关系, 然后利用误差逼近的方法求得当前图像的虚实配准矩阵。实验结果表明, 该方法的配准误差均值为1. 91　mm, 运算速度为21 fps, 其综合性能优于基于FAST、SIFT和SURF等局部特征的虚实配准方法, 具有较高的配准精度和较强的实时性。     

一种改进的RGB-D SLAM室内空间三维重建方法

提出一种改进的基于ORB(Oriented FAST and Rotated BRIEF)的RGB-D SLAM室内三维重建方法。前端利用改进的RANSAC(Random Sample Consensus)算法提升特征点匹配精度,结合PnP(Perspective-n-Point)实现点云图像的精确配准;后端采用位姿图进行优化,降低噪声数据对重建的影响;并利用回环检测控制重建过程中的误差累积。实验结果表明,所提出的特征点匹配方法能显著提高特征点的匹配精度,正确匹配率约为94%,较传统RANSAC算法提升6.5%;所提方法与传统RGB-D SLAM重建方法相比,重建结果质量更优,其中相机估计轨迹与真实轨迹互差RMS结果更佳,RMS值均小于0.08m。     

结合多尺度与可变形卷积的自监督图像特征点提取网络

特征点提取是图像处理领域的一个重要方向,在视觉导航、图像匹配、三维重建等领域具有广泛的应用价值。基于卷积神经网络的特征点提取方法是目前的主流方法,但由于传统卷积层的感受野大小不变、采样区域的几何结构固定,在尺度、视角和光照变化较大的情况下,特征点提取的精度和鲁棒性较差。为解决以上问题提出了一种结合多尺度与可变形卷积的自监督特征点提取网络。本文以L2-NET为网络骨干,在深层网络中引入多尺度卷积核,增强网络的多尺度特征提取能力,获得细粒度尺度信息的特征图;使用单应矩阵约束的可变形卷积以提取不规则的特征区域,同时降低运算量,并采用归一化约束单应矩阵的求解,均衡不同采样点对结果的影响,配合在网络中增加的卷积注意力机制和坐标注意力机制,提升网络的特征提取能力。文章在HPatches数据集上进行了对比试验和消融实验,与R2D2等7种主流方法进行对比,本文方法的特征点提取效果最好,相比于次优数据,特征点重复度指标（Rep）提升了约1%,匹配分数（M.s.）提升了约1.3%,平均匹配精度（MMA）提高了约0.4%。本文提出的方法充分利用了可变形卷积提供的深层信息,融合了不同尺度的特征,使特征点提取结果更加准确和鲁棒。