基于网格多密度的古建筑图像特征匹配方法

古建筑图像三维重建中图像特征可靠匹配是影响重建效果的一个关键问题.为提高古建筑图像特征的匹配性能,提出了一种基于网格多密度聚类的特征匹配方法.该方法首先采用SIFT算子获取图像特征点;其次对图像进行网格划分,依据网格单元特征点密度确定图像锚单元、邻居单元、边界单元;然后依据局部区域密度相似性确定图像簇;最后对相似簇中的特征点依据最近邻距离比准则进行匹配.在中国古代建筑三维重建数据集和141幅山西晋祠古建筑图像上进行了实验,验证了算法的有效性.     

基于几何不变量的直线匹配方法

针对目前直线匹配算法大多基于直线段支持区域的几何特性、灰度特性,但这些特性又极易受外界因素干扰造成匹配失败的情况,提出了基于直线几何不变量的匹配方法,该方法在无任何已知条件的情况下,运用叉积符号、点的线束交比不变量进行直线匹配。对于各个视点图像,采用Hough变换提取直线间交点集,再采用Graham扫描法构造一个最小的凸包,并通过匹配凸包顶点的交比序列来建立点与点的对应关系,选取其中一个对应关系完成直线的匹配。实验结果表明,该方法鲁棒性较好,具有广泛的应用性。     

基于序列影像的城市三维建模

提出了一种从序列图像建立城市三维模型的算法框架。该方法使用三条序列影像和匹配生成的数字表面模型，结合几何约束的多视特征匹配，从图像获取三维点、线信息。同时讨论了基于感知编组的几何模型生成算法，以及纹理优选与自动映射。实验结果证明该方法是有效的。     

基于特征点加细的多分辨率人脸形变模型及人脸建模

提出基于特征点加细的原型三维人脸对应方法建立多分辨人脸形变模型,并根据该形变模型的特点使用多分辨模型匹配方法由单张正面人脸图像进行三维人脸建模。该方法以人脸模型上的眼、眉、口、鼻等主要几何特征为基准点标注基础网格,然后通过加细特征点网格完成原型人脸之间的对应,进而建立多分辨率的形变模型;根据形变模型的构造特点,把待匹配图像按照与模型相同方式进行加细,然后进行多分辨的人脸模型匹配。实验结果表明,新的对应算法可以有效地实现原型三维人脸之间的对应,能够克服传统的光流对应算法对应效果差,算法精度低的缺陷,提高形变模型的精度。新的匹配算法不仅能够加速模型的匹配速度,而且可提高模型匹配的效率和精度,缩短模型匹配的时间。     

基于串匹配的多视点视频图像阵列自编码仿真

针对传统多视点视频图像列阵自编码方法编码效率低、响应时间长的问题,提出基于串匹配的多视点视频图像阵列自编码方法.首先根据串匹配算法,组建视点之间相互对应的对极线校正索引表.将其应用于视觉估计中来缩小两视点之间的视差搜索范围,然后将原有的视差搜索二维降到一维,利用拟合三维二次函数确定不同关键点的具体坐标位置以及尺度,同时删除无用的响应点,在得到匹配点后,通过描述子来准确描述特征点,匹配不同的描述子信息,获取符合标准的匹配点集,以达到多视点视频图像阵列自编码的目的.仿真结果表明,所提方法能够有效提升编码效率,且所需响应时间短,能够获取理想的编码效果.     

一种新的基于图论的图像匹配算法

SIFT算法在图像匹配领域中占有重要地位,但是,利用SIFT算法提取的图像特征点,是分布在整幅图像中的,这就造成提取的特征点不集中。结合图论的方法,对SIFT算法提取的特征点进行处理,去除部分不集中的点,从而达到提高匹配效率的目的,将该方法命名为G-SIFT算法。G-SIFT算法提取的每一个特征点视为图的顶点,将这些顶点的一元关系视为图的边,并利用这些边的大小特点对特征点进行处理,使得处理后的特征点主要集中在物体上。实验证明,利用该方法对图像进行处理后,特征点匹配结果更加集中,匹配率最高提高了1.4%,匹配点集中在物体上的正确率最高提高了9.1%。     

异视场多目标匹配跟踪技术

针对宽泛条件下不同视域场景多摄像机多目标的匹配跟踪问题,提出了一种基于纯目标的强鲁棒自适应SIFT（Scale Invariant Feature Transform）特征匹配算法。该方法为每个从视频图像中提取出的纯目标设置一个CamShift（Continuously Adaptive Mean Shift）跟踪器,利用自适应尺度空间因子提取目标的细节特征,采用基于BBF（Best Bin First）的双向匹配策略去除误匹配点,当目标的关键点数量太少,无法满足计算三维二次函数精确关键点位置时,构造了自适应尺度Harris角点检测法增补新点。通过对户外车辆、人员等在不同场景下的连续跟踪实验表明,本算法实时性好、自适应能力强,与其他算法相比,匹配耗时少,跟踪精度高。     

多重约束下的倾斜摄影测绘影像线特征多视匹配方法

本次研究基于倾斜摄影测绘影像三维建模的有关需求,提出了一套融合高斯滤波、梯度幅值、双阈值变换等技术的多视匹配算法。详细阐述了线特点提取和匹配的计算原理。最后通过无人机实地测量的方式获取原始图像数据,对比分析了该算法对于原始图像的匹配性能。经实验研究发现,本次研究所提出的多视匹配算法匹配准确度较高,在工程测绘中具有一定的应用价值。     

基于全局二值特征描述子的三维CBCT图像快速匹配算法

三维图像拼接是通过锥束CT(CBCT)获取大尺寸物体完整的高分辨率三维图像过程中的关键技术之一,成为目前三维图像处理的一个新的研究方向.针对基于特征点的三维CBCT图像拼接技术中相似特征匹配正确率低、匹配过程耗时长的问题,提出一种基于全局二值特征描述子的三维CBCT图像快速匹配算法.首先对二值特征描述子BRIEF进行三维拓展,以适应三维图像;在此基础上加入全局描述子,增强特征描述子的独特性;在特征点匹配时,根据上述特征描述子的特点设计由粗到精的匹配策略,提高特征匹配正确率和效率.实验结果表明,该算法简单有效,可以在大量相似特征条件下提高特征点匹配的正确率,同时也显著提升了匹配速度.     

基于多模板特征点融合的指纹识别

低质量指纹图像通常会产生较多的伪特征点，或者当待识指纹图像与模板图像之间存在较大平移和旋转时，识别算法的性能会受到很大的影响。利用多匹配算法的融合技术可以提高系统的识别率，但是这种数据融合的方法既增大了计算量，同时又难以充分利用原始指纹图像的信息。针对上述问题，提出了一种评估特征点置信度的方法，并在匹配算法中根据特征点置信度来修正匹配分数；然后运用特征层数据融合技术，将一个指纹的多个模板的特征点融合成一个特征点的本征模板，再与待识指纹图像的特征点进行匹配。实验结果表明，该方法在不明显增加存储空间和在线计算量的同时，可以达到很好的识别性能。     

Multiple elemental image mapping for resolution‐enhanced orthographic view image generation based on integral imaging

In this paper, we propose an orthographic view image generation method based on integral imaging called multiple elemental image mapping. The proposed method is based on matching regions in multiple elemental images, which are generated with different micro‐lens from the same area of a 3D object. By mapping all the matching regions to the corresponding orthographic view plane, we can enhance the resolution of the generated orthographic view image. Simulation experiments are carried out, and the results show the resolution of orthographic view image is improved obviously.     

基于谱图理论的特征匹配方法研究和改进

图像匹配问题是计算机视觉领域的一个基本问题,广泛地应用于很多领域,如:模式识别,自动导航,医学诊断,计算机视觉,图像三维重构等领域。将所研究的问题转化为数学问题,再利用数学工具解决这一问题,成为当今研究的一种重要手段。在这里,将图像匹配中的图像转化为数学-图论中的图,利用谱图理论解决图像匹配问题,从而形成了一类比较流行而新颖的方法,针对这一方法进行了较为系统的探究并做出了改进。     

Three-Dimensional Reconstruction of Points and Lines with Unknown Correspondence across Images

Three-dimensional reconstruction from a set of images is an important and difficult problem in computer vision. In this paper, we address the problem of determining image feature correspondences while simultaneously reconstructing the corresponding 3D features, given the camera poses of disparate monocular views. First, two new affinity measures are presented that capture the degree to which candidate features from different images consistently represent the projection of the same 3D point or 3D line. An affinity measure for point features in two different views is defined with respect to their distance from a hypothetical projected 3D pseudo-intersection point. Similarly, an affinity measure for 2D image line segments across three views is defined with respect to a 3D pseudo-intersection line. These affinity measures provide a foundation for determining unknown correspondences using weighted bipartite graphs representing candidate point and line matches across different images. As a result of this graph representation, a standard graph-theoretic algorithm can provide an optimal, simultaneous matching and triangulation of points across two views, and lines across three views. Experimental results on synthetic and real data demonstrate the effectiveness of the approach.An erratum to this article can be found at     

基于哈希特征的大规模图像快速匹配算法

针对基于图像进行三维重建技术在使用大规模图像集合进行重建时,需要对图像集合中图像进行两两匹配耗时问题,提出了基于哈希技术对图像构建全局哈希特征的方法,通过过滤掉无效的图像关系对来减少计算时间,极大地提高了大规模图像集合三维重建的匹配计算效率。提出的大规模图像快速哈希匹配算法包括构建图像哈希特征、构建初始匹配图、挑选候选匹配对、哈希匹配几个步骤。实验结果表明该方法能显著地提高三维重建中图像匹配的速度。     

基于球体投影的三维模型检索

针对草图检索三维模型时存在的域不匹配和如何选取视图等问题,提出一种基于球体投影的三维模型检索方法。针对域不匹配问题,提出基于球体投影的二维视图获取方法,并使用高斯差分和贝塞尔曲线完成线图的提取;利用草图和投影图像之间的关系构建分类器,以获取模型的最优视图;通过两个Siamese网络获取草图和二维视图的特征,并用联合贝叶斯（Joint Bayesian）方法来融合二者的输出,从而获得最终结果。实验证明了该方法的可行性,与其他方法相比具有更好的检索效果。     

Recovering solid geometric object from single line drawing image

Many educational materials contain a lot of solid geometric figures. The solid geometric objects in these figures are usually drawn as 2D line drawings thus have lost their 3D information. This paper presents a method to recover the 3D information of the solid geometric object from single line drawing image taken from the geometric books, which would be used to help the users better present and understand the solid geometric object on their mobile devices. The main advantage of our method is the abilitYTo handle inaccurately processed sketches as opposed to the previous methods which require perfect line drawings as inputs. Our method consists of three main steps as follows. First, the sketch of the input line drawing image is automatically extracted and further represented as an undirected graph. Second, candidate 3D models from the pre-built 3D model database are found by graph similarity-based searching and sub-graph isomorphism matching. Third, for each candidate 3D model, the model parameters, the rotation and the translation aligning the model with the sketch are found by minimizing an objective function which is composed of the residuals between the vertices of the sketch and the 2D projections of the candidate model’s vertices, and an optimal reconstruction solution is further selected as the final result. Extensive experimental results demonstrate the effectiveness and robustness of our method for recovering the solid geometric object from single line drawing image.     

图像匹配方法研究综述

目的 图像匹配作为计算机视觉的核心任务,是后续高级图像处理的关键,如目标识别、图像拼接、3维重建、视觉定位、场景深度计算等。本文从局部不变特征点、直线、区域匹配3个方面对图像匹配方法予以综述。方法 局部不变特征点匹配在图像匹配领域发展中最早出现,对这类方法中经典的算法本文仅予以简述,对于近年来新出现的方法予以重点介绍,尤其是基于深度学习的匹配方法,包括时间不变特征检测器（TILDE）、Quad-networks、深度卷积特征点描述符（DeepDesc）、基于学习的不变特征变换（LIFT）等。由于外点剔除类方法常用于提高局部不变点特征匹配的准确率,因此也对这类方法予以介绍,包括用于全局运动建模的双边函数（BF）、基于网格的运动统计（GMS）、向量场一致性估计（VFC）等。与局部不变特征点相比,线包含更多场景和对象的结构信息,更适用于具有重复纹理信息的像对匹配中,线匹配的研究需要克服包括端点位置不准确、线段外观不明显、线段碎片等问题,解决这类问题的方法有线带描述符（LBD）、基于上下文和表面的线匹配（CA）、基于点对应的线匹配（LP）、共面线点投影不变量法等,本文从问题解决过程的角度对这类方法予以介绍。区域匹配从区域特征提取与匹配、模板匹配两个角度对这类算法予以介绍,典型的区域特征提取与匹配方法包括最大稳定极值区域（MSER）、基于树的莫尔斯区域（TBMR）,模板匹配包括快速仿射模板匹配（FAsT-Match）、彩色图像的快速仿射模板匹配（CFAST-Match）、具有变形和多样性的相似性度量（DDIS）、遮挡感知模板匹配（OATM）,以及深度学习类的方法MatchNet、L2-Net、PN-Net、DeepCD等。结果 本文从局部不变特征点、直线、区域3个方面对图像匹配方法进行总结对比,包括特征匹配方法中影响因素的比较、基于深度学习类匹配方法的比较等,给出这类方法对应的论文及代码下载地址,并对未来的研究方向予以展望。结论 图像匹配是计算机视觉领域后续高级处理的基础,目前在宽基线匹配、实时匹配方面仍需进一步深入研究。     

基于透视反求的基本体素三维重构关键技术研究

研究了在一幅简单的透视图像中进行三维重构的方法。在对透视图像进行三维重构的过程中,从透视学的角度出发按照透视元素、基本体素、组合体素来逐步进行反求研究。在对透视元素点、线、面的透视反求中,从图形学的角度对其进行了基本的反求研究;对于有一定几何特征的基本体素BOX、圆球、圆柱、圆锥进行了详细的透视反求,给出了其相应的算法原理,并做了验证。     

Textured mesh surface reconstruction of large buildings with multi-view stereo

There are three main approaches for reconstructing 3D models of buildings. Laser scanning is accurate but expensive and limited by the laser’s range. Structure-from-motion (SfM) and multi-view stereo (MVS) recover 3D point clouds from multiple views of a building. MVS methods, especially patch-based MVS, can achieve higher density than do SfM methods. Sophisticated algorithms need to be applied to the point clouds to construct mesh surfaces. The recovered point clouds can be sparse in areas that lack features for accurate reconstruction, making recovery of complete surfaces difficult. Moreover, segmentation of the building’s surfaces from surrounding surfaces almost always requires some form of manual inputs, diminishing the ease of practical application of automatic 3D reconstruction algorithms. This paper presents an alternative approach for reconstructing textured mesh surfaces from point cloud recovered by patch-based MVS method. To a good first approximation, a building’s surfaces can be modeled by planes or curve surfaces which are fitted to the point cloud. 3D points are resampled on the fitted surfaces in an orderly pattern, whose colors are obtained from the input images. This approach is simple, inexpensive, and effective for reconstructing textured mesh surfaces of large buildings. Test results show that the reconstructed 3D models are sufficiently accurate and realistic for 3D visualization in various applications.