基于工程图三维重建中的预处理与信息提取技术研究*

提出了基于边界表示B-rep方法的工程图三维重建中对于二维工程图纸进行预处理和信息提取的一系列实用算法,涉及到工程图读入、实体过滤、视图分离、视图坐标规格化以及视图数据处理等流程.不但可以快速准确地获得二维工程视图中完备的几何信息和拓扑信息,而且处理对象并不局限于标准的工程三视图,对于工程一视图、二视图同样可以处理.这些算法已经应用于一个CAD原型系统并取得了较好的效果,为后续的三维重建工作提供了良好的基础.     

基于未标定图像的三维重建算法

提出一种基于多幅未标定图像的三维重建算法。在标记点匹配的基础上进行射影重建,通过施加度量约束将射影重建升级为欧氏重建,即利用未标定的透视图像恢复相机的内、外部参数以及标记点的三维空间坐标,实现场景的三维重建。标记点易于进行点对精确匹配,较手动拾取匹配提高了效率。实验结果表明,利用该算法能够大幅减小再投影误差。     

基于非周期性提取像素的全景图像三维重构

图像深度信息提取是三维图像重建的关键,利用匹配算法可以达到对全景成像可控处理的目的,因此在非周期性提取像素基础上完成全景图像三维重构.首先采用非周期性像素提取解决成像过程中出现的失真问题,构建无失真图像;通过立体视图系统和独立立体视图系统对全景图像重建处理,利用SSD计分准则的块匹配算法,对微透镜记录的两幅图像计算提取,同时运用邻域限制与放松方法深度提取全景图像;并依据最佳视差值及多基线立体匹配算法过滤出更准确信息,以采用差值算法实现更高精度的三维重建.仿真结果表明,所提方法具有较高适用性,计算过程简便、图像特征采集快.     

一种用于三维重建的多视图前景目标自动分割算法

基于序列图像的三维物体重建之前,从图像中分割前景目标可节约大量时间。但传统的分割算法需要通过用户输入来确定前、后景,而基于图像的三维重建需要大量的图像,造成极大的人工浪费。为此提出一种用于三维重建的多视图前景目标自动分割算法。对每个图像进行颜色一致性和几何一致性分析,确定前景和后景大致区域,得到初始输入,并以此构建能量方程。使用Graph Cut算法求解方程得到粗略分割结果;使用Matting细化分割边界,得到高质量的分割结果;使用分割后图片重建出物体三维模型。实验结果表明,该算法可自动分割出多视图图像的前景目标,且具有极高的准确率和良好的边缘。将该算法用于三维重建的前期图像处理,可大大提高三维重建的速度。     

一种基于几何约束的RANSAC改进算法

图像拼接技术中消除特征点误匹配是一项重要环节,针对传统的消除误匹配的RANSAC算法迭代次数多,计算复杂度较大且不能完全消除误匹配等缺点,提出了一种基于几何约束的RANSAC改进算法。该算法将几何约束法应用到RANSAC算法中,对图像特征匹配点进行聚类分组,根据每条匹配点对连接线的斜率应该相等、长度也应该相等这两个几何关系建立预判断模型,对匹配点对集合进行预提纯。实验证明,该算法相较于传统的RANSAC算法,误匹配基本消除,迭代次数减少,计算效率提高,从而提高了图像匹配算法的效率。     

基于改进ORB和AKAZE的图像匹配算法

AKAZE特征检测算法具有鲁棒性好,匹配率高等特点,为解决其实时性差的问题,提出将ORB与AKAZE相结合的改进算法.利用oFAST算法检测特征点然后采用M-LDB算法计算其描述符,使用汉明距离进行图像粗匹配,最后用RANSAC算法剔除误匹配点,得出匹配结果.经反复的实验对比证明,改进后的算法与ORB算法相比匹配正确率更高.与AKAZE算法相比匹配速度更快.且改进后的算法在不同模糊程度、不同JPEG图像压缩、不同光照程度以及不同旋转角度变化下的图像匹配性能良好.     

基于三视图约束的基础矩阵估计

考虑到只依赖对极几何关系的匹配点余差并不能完全区分匹配点的正确与否,从而影响内点集选取的情况,提出基于三视图约束的基础矩阵估计算法。首先,使用传统随机抽样一致性（RANSAC）算法计算三视图的任意两对相邻图像间的基础矩阵,确定三视图中共有的匹配点对,并计算估计基础矩阵时非共用图像上的匹配点在共用图像上的极线;然后,计算两条极线的交点与共用图像上对应匹配点间的距离,以距离值的大小作为内点判断的依据,得到新的内点集。在新内点集的基础上,采用M估计算法重新计算基础矩阵。实验结果表明：该方法可以同时降低噪声和错误匹配对基础矩阵精确计算的影响,精度优于传统鲁棒性算法,使点到极线的距离限制在0.3个像素左右,而且计算结果具有稳定性,可以被广泛地应用到基于图像序列的三维重建和摄影测量等领域中。     

一种基于无人机序列成像的地形地貌重建方法

以无人机平台上普通摄像机获取的序列图像为对象,提出了一种对地三维重建的自动化处理方法。首先提出了基于视差分析的序列图像关键帧选择方法,对关键帧图像特征点进行鲁棒性的提取与匹配;第二步用加权的RANSAC算法估计基础矩阵,同时获取准确匹配的内点集。根据已标定的像机内参数,解算相对运动并进行优化。最后对待重建的目标点提出几何约束和单应约束融合的方法实现快速准确匹配,通过三角交会完成目标形貌三维重建。仿真实验结果表明该算法对序列图像具有较好的自动化程度和鲁棒性。     

基于SURF算法的双目视觉特征点定位研究

针对双目视觉立体图像特征点匹配质量不好导致定位精度低的问题,本文提出改进SURF匹配的特征点定位方法。在改进的SURF匹配算法中,采用双向匹配、NNDR约束、对称性约束、极线约束和交叉匹配约束的方法,提高了图像特征点匹配的质量。在双目视觉特征点定位中,采用公垂线段中点法具有更高的特征点定位精度。实验证明,该算法的特征点定位精度更高,同时可以达到实时三维重建效率。     

多视图立体三维重建中的孔洞修复算法

为了解决多视图立体三维重建算法不能很好地处理弱纹理或无纹理及高光区域的重建问题,提出一种基于可见外壳与多视图三维点云有机融合的多视图立体三维重建孔洞修复算法.该算法以可见外壳及多视图三维点云为输入,首先提取出可见外壳内满足点云稀疏度约束的叶节点,然后利用可见外壳法向量射线约束去除包裹在三维点云外层的叶节点,最后通过加入三维点云曲面曲率约束来消除点云中凹陷区域的影响.实验结果表明,文中算法有效地解决了物体缺乏纹理区域表面的孔洞修复问题,使得最终生成的三维网格模型完整和平滑,具有参数可调、易于实现的特点,对于不同的模型都具有非常好的鲁棒性.     

利用并查集的多视匹配点提取算法

多视匹配点的提取是多视影像场景三维重建的核心问题之一,提取结果将直接影响三维重建的精度。将多视匹配点的提取问题转化为动态连通性问题,设计了基于并查集算法的解决方案。采用高效的树结构来组织并查集中的节点,在树中采用parent-link连接方式,使得每次增加匹配点对的过程中只需修改单个节点的寻址参数,避免了遍历数组来比较寻址参数的计算过程,提高了查找和修改的效率。同时通过加权策略对算法进行优化,利用加权编码方式替代常用的硬编码,可以平衡树状图的结构,降低树中节点的平均深度。多组影像集的实验结果表明,基于并查集的算法可以提取更多的多视匹配点,并且计算效率要优于传统的广度优先搜索算法。     

小场景交互式稠密三维重建系统

近年来,随着 GPU 技术的深入发展和并行算法的日益成熟,使得实时三维重建成 为可能。文中实现了一种针对小场景的交互式稠密三维重建系统,此系统借助先进的移动跟踪 技术,可以准确地估计相机的即时位置。提出了一种改进的多视深度生成算法,在 GPU 加速下 能够实时计算场景的深度。改进算法中的亚像素级的半全局匹配代价累积提高了多视立体匹配 的精度,并结合全局优化的方法计算出了准确的场景深度信息。深度图被转换为距离场,使用 全局优化的直方图压缩融合算法和并行的原始对偶算法实现了深度的实时融合。实验结果证明 了重建系统的可行性和重建算法的正确性。     

适用于倾斜影像的加速KAZE-SIFT特征提取算法

针对传统正摄影像的特征提取算法处理倾斜影像匹配效果不佳的问题，在已有特征提取算法的基础上，提出了一种适用于倾斜影像的特征提取算法--加速KAZE-尺度不变特征变换（AKAZE-SIFT）算法。首先，为保证特征检测的准确性与独特性，采用充分保留图像轮廓信息的加速KAZE（AKAZE）算子进行特征检测；其次，为提升特征描述的稳定性，采用稳健的尺度不变特征变换（SIFT）算子进行特征描述；然后，依据目标特征向量和候选特征向量间的欧氏距离确定粗匹配点对；最后，采用随机抽样一致性算法进行单应性约束，提高匹配纯度。模拟影像在倾斜摄影条件下的模糊、旋转、亮度、视角和尺度变化，对特征提取算法性能进行评估，实验结果表明，AKAZE-SIFT算法相比SIFT算法和AKAZE算法召回率分别提高了12.8%和5.3%，精准率提高了6.5%和6.1%，F1值提升了13.8%和5.6%；提取效率优于SIFT算法，略逊于AKAZE。AKAZE-SIFT算法具有良好的检测和描述能力，更适用于倾斜影像特征提取。     

基于多视图三维重建方法在实验室系统中的应用研究

针对愈渐复杂的实验室系统,采用基于多视图的三维重建方法,实现对实验室系统中设备的结构重建.通过尺度不变特征变换(SIFT)匹配算法进行特征提取和匹配,并利用随机抽样一致性算法(RANSAC)和交叉过滤法降低误匹配率;通过多视图聚簇/基于面片的三维多视角立体视觉算法(CM-VS/PMVS)获取稠密点云;利用PCL泊松曲面重构算法将稠密点云生成多边形网格,得到最终的重建图像.采用真实的实验室设备进行了验证和测试,实验结果表明,该方法可以有效快速地进行实验室设备的三维重建.     

Geometric transformations parameters estimation from copy-move forgery using image blobs and keypoints

A copy-move forgery is a passive tampering wherein one or more regions have been copied and pasted within the same image. Often, geometric transformations, including scale, rotation, and rotation+scale are applied to the forged areas to conceal the counterfeits to the copy-move forgery detection methods. Recently, copy-move forgery detection using image blobs have been used to tackle the limitation of the existing detection methods. However, the main limitation of blobs-based copy-move forgery detection methods is the inability to perform the geometric transformation estimation. To tackle the above-mentioned limitation, this article presents a technique that detects copy-move forgery and estimates the geometric transformation parameters between the authentic region and its duplicate using image blobs and scale-rotation invariant keypoints. The proposed algorithm involves the following steps: image blobs are found in the image being analyzed; scale-rotation invariant features are extracted; the keypoints that are located within the same blob are identified; feature matching is performed between keypoints that are located within different blobs to find similar features; finally, the blobs with matched keypoints are post-processed and a 2D affine transformations is computed to estimate the geometric transformation parameters. Our technique is flexible and can easily take in various scale-rotation invariant keypoints including AKAZE, ORB, BRISK, SURF, and SIFT to enhance the effectiveness. The proposed algorithm is implemented and evaluated on images forged with copy-move regions combined with geometric transformation from standard datasets. The experimental results indicate that the new algorithm is effective for geometric transformation parameters estimation.

     

一种快速的三维扫描数据自动配准方法

研究了两幅和多幅深度图像的自动配准问题.在配准两幅深度图像时,结合二维纹理图像配准深度图像,具体过程是:首先,从扫描数据中提取纹理图像,特别地,针对不包含纹理图像的扫描数据提出了一种根据深度图像直接生成纹理图像的方法;然后,基于SIFT(scale-invariant feature transform)特征提取纹理图像中的兴趣像素,并通过预过滤和交叉检验兴趣像素等方法从中找出匹配像素对的候选集;之后,使用RANSAC(random sample consensus)算法,根据三维几何信息的约束找出候选集中正确的匹配像素对和相对应的匹配顶点对,并根据这些匹配顶点对计算出两幅深度图像间的刚体置换矩阵;最后,使用改进的ICP(iterative closest point)算法优化这一结果.在配准多幅深度图像时,提出了一种快速构建模型图的方法,可以避免对任意两幅深度图像作配准,提高了配准速度.该方法已成功应用于多种文物的三维逼真建模.     

基于改进AKAZE特征的无人机影像拼接算法研究

针对目前无人机影像拼接时间效率较低,效果较差的问题,提出一种改进的AKAZE特征的无人机影像拼接算法。算法在影像匹配阶段利用BRISK描述符来代替M LDB描述符;采用特征点尺度信息和均方根误差作为约束条件剔除错误匹配;另外,将并行运算的思想应用于特征点提取和特征描述符的计算中来提升算法的时间效率。在影像融合阶段,利用RANSAC算法与LM算法相结合进行单应矩阵计算,以提高其计算精度,并采用多频段融合算法实现影像拼接。实验表明：通过改进算法在有效提升时间效率的同时,可以获得较高准确率和较高精度的匹配结果,实现无人机影像的快速无缝拼接。     

小物体3维重建中影像与几何模型的配准

目的 近景摄影测量中的目标几何形状复杂,且拍摄影像的角度变化大,给影像与几何模型的配准带来了困难。传统单幅影像与几何模型配准的做法,由于缺乏自动粗配准的方法,效率相对较低。将多视影像首先统一坐标系的做法,在近景目标的复杂背景下也难以实现。方法 为此,将近景目标置于平面标定板上,利用相机标定的方法同时解算出影像的内外方位元素,实现多视影像坐标系的统一。然后人工选取3组以上同名点,做多视影像与几何模型的绝对定向,得到初始配准参数。最后使用多视影像与几何模型漫反射渲染图之间的归一化互信息作为相似性测度,用Powell非线性优化方法得到配准参数的精确值。结果 实验结果表明,使用标定板可以稳定地获取多视影像的内外方位元素,用绝对定向得到的配准参数进行影像和几何模型的交替显示仍然可以看到明显的裂缝,在经过互信息优化后裂缝现象得到明显改善。结论 多视影像与几何模型配准相比传统单幅影像与几何模型配准,人工选取同名点的工作量大大减少,由于人工选点存在误差,影响绝对定向的精度,使用归一化互信息作为测度进行非线性优化,可以获得更高的精度。     

基于单目摄像头的3D动态手势交互

传统的手势交互都需要借助于Leap Motion或Kinect等专用交互设备。以图像通道转换、二值化等图像处理方式提取手势,以手势平面坐标值的变化获取手势的平面移动信息,以手势面积的变化解决了手势深度的问题。通过绘制手势轮廓结合自创的图像匹配算法计算不同图像的匹配率,用最高匹配率选择相对应的手势运动信息。通过摄像头坐标系到3D场景坐标系之间的转换,结合三维图形的几何变换计算变换矩阵,实现手的空间移动与旋转。在不借助专用的手势交互设备的情况下,实现单目摄像头的动态手势交互。     

电力巡线无人机航拍图像匹配算法研究

基于局部特征的图像匹配算法是电力巡线无人机航拍图像匹配算法中最为实用的一种方法。针对传统匹配算法构建尺度空间会致使图像边缘信息丢失或者效率较低等问题,提出一种基于高斯曲率尺度空间的航拍图像匹配算法。借助高斯曲率滤波器构建一阶尺度空间,利用FAST算法提取特征点并选择特征采样区域,再以对特征采样区域建立二阶尺度空间并提取二阶尺度空间层内LIOP描述符,随后二阶尺度空间两两层LIOP描述符做差值并二值化处理,累加二值化值得到ASV-LIOP描述符完成匹配。在航拍图像上,使用SIFT、ORB、KAZE、AKAZE、改进KAZE等算法与所提对比实验,实验表明,所提算法正确匹配率平均提高5%左右,匹配效率约降低50%,可应用对稳定性要求较高且实时性较低的场景。