多尺度特征提取的双目视觉匹配

提出一种基于多尺度特征提取的双目视觉匹配算法,旨在提高传统算法的实时性和鲁棒性。该算法通过设计出一种基于尺度因子变化的高斯核模板尺寸自适应调整以及双目视图的双向配准的办法,以改善特征点匹配效率和精度。实验证明,多尺度特征提取算法能够有效而快速地完成双目视图的特征点匹配。     

基于双重鉴别相关性分析的图像识别算法

针对多视图相关性算法未有效利用视图中相关信息且忽视了潜在的鉴别信息的问题,提出基于同一视图内和不同视图间的双重鉴别相关性分析(DVDCA)算法。首先,设计有监督的类内和类间相关性变量,通过最大化类内相关性变量、最小化类间相关性变量来提取视图中的鉴别特征;其次,考虑在同一视图内和不同视图间均考虑进行鉴别相关特征提取,设计约束形式的双重视图鉴别相关性特征提取模型,以利用丰富的视图信息。在Multi-PIE多角度人脸数据集数据集上与多视图线性鉴别分析、典型相关性分析(CCA)、多视图鉴别隐性空间(MDLS)、不相关多视图鉴别字典学习(UMDDL)四种算法对比实验,DVDCA分类识别率能够提高1.45~4.73个百分点;在MFD多特征手写体数据集上分类识别率能够提高1.25~5.29个百分点。     

基于混合结构的多视图三维场景重建

基于PatchMatch的多视图高效和高精度三维重建一直是一个挑战性问题。红黑棋盘格模式的传播方式并行计算效率高,但对应的视图选择策略精度较差;基于马尔可夫链的视图选择策略能获取更为准确的匹配结果,但算法并行度较低。为了达成场景重建质量与重建时间的平衡,本文提出了一种基于混合结构的多视图三维重建算法,在第一阶段采用沿行/列并行的传播策略和马尔可夫链式的视图选择策略,得到质量较高的初始深度图,并通过引入多层次处理提升弱纹理区域的重建质量;在第二阶段采用棋盘格式传播方式和基于投票的视图选择策略提高计算效率,缩短重建所需时间。通过在Strecha和ETH3D数据集上进行了大量实验和对比表明,本文算法在不降低计算精度的前提下,计算效率提高2.5倍以上。     

一种基于谓词覆盖技术的启发式事件匹配算法

基于内容路由的发布/订购(Pub/Sub)技术具有异步、松散耦合和多对多通信等特点,使得它能更好地应用于大规模分布式交互系统.而高效率的发布事件匹配算法是实现基于内容路由的大规模Pub/Sub系统所要解决的关键问题.针对基于内容的发布/订购模型主要性能的事件匹配问题做了重点研究,提出了谓词关系(二叉树)的概念.并在此基础上,通过将谓词覆盖技术同启发式匹配策略相结合,设计并实现了启发式发布事件匹配算法--PRBT-Match算法.实验结果表明,PRBT-Match算法相对于其他常用匹配算法有更好的匹配性能.     

一种基于AKAZE算法的多视图几何三维重建方法

针对增量式运动恢复结构算法在多视图几何三维重建算法中运行效率低的问题,提出了一种基于AKAZE算法的多视图几何三维重建方法。首先对利用摄像机获得的目标图像使用AKAZE算法检测特征并匹配,并使用随机抽取一致性算法和三视图约束剔除弱匹配图像。然后根据匹配图间的相对位姿参数,通过最小二乘法解算全局旋转参数,并利用三视图约束关系求解全局位移参数。最后进行一次光束法平差优化。实验结果表明,该算法在改善重建效果的基础上提高了处理效率,能够满足快速处理的需求。     

基于视差和SIFT的双目视觉移动目标识别和追踪的研究

开展基于视差和尺度不变特征变换(SIFT)的双目视觉移动目标识别和追踪的研究。首先采用基于梯度的立体匹配算法得到较准确的左右视图视差映射,其次通过视差映射提高基于SIFT特征的左右视图运动目标的匹配精度,最后利用视差映射和区域增长的方法相结合分别在左右视图完成运动目标的追踪。实验结果表明,基于视差信息和SIFT的双目视觉移动目标识别与追踪算法具有很好的准确性,能够在连续视频中完成左右视场中对同一物体的追踪。     

基于谓词式覆盖技术的发布/订购机制及算法研究

基于内容路由的发布/订购(Pub/Sub)技术具有异步、松散耦合和多对多通信等特点,使得能更好地应用于大规模分布式交互系统.而高效率的匹配算法、路由算法及较低的订购维护成本(规模)是实现基于内容路由的大规模Pub/Sub系统所要解决的关键问题.提出了谓词式关系(二叉树)的概念,在此基础上提出并实现了基于谓词式覆盖技术的订购算法、退订算法及启发式匹配算法(合称PRBT-*算法).通过将谓词式覆盖技术同选择性订购转发策略相结合,在提高事件匹配效率及路由效率的同时,显著降低了各级内容路由器订购规模.理论分析及大量实验对比表明,谓词式覆盖技术的引入,在降低各级内容路由器订购规模及提高算法效率和系统整体性能方面获得了良好的效果.     

一种基于偶图匹配的多目标分解进化算法

针对基于分解的多目标进化(MOEA/D)算法在选择下一代解时未考虑解和子问题之间的相对距离,可能导致算法得到的最终解多样性较差的问题,提出一种基于偶图匹配的多目标分解进化(MOEA/D-BM)算法.所提算法利用偶图匹配模型对解和子问题的相互关系进行建模,在选择下一代解的同时,考虑收敛性和多样性,以提高算法性能.通过与其他3种经典的多目标分解进化算法在多个测试函数上进行实验,验证了所提出算法的有效性.     

环视图表示下的无监督三维物体检索

为了解决基于多视图的三维物体检索方法过度依赖基于人工标注的有监督训练的问题,提出了一种基于环视图的无监督三维物体检索算法.首先,训练面向多圈环视图的无监督深度网络模型,通过随机数据混合增强学习不同形状之间的内在联系;其次,基于最优匹配方法计算物体间的相似性,其中,最优匹配是利用2个物体环视图间最小距离的平均值计算得到;...     

多库系统中高效的视图维护机制

外连接是多库系统中经常使用的生成全局视图的方法 ,但是外连接给维护多库系统视图带来了很大的困难 .目前已有的多库系统视图维护算法只考虑了连接操作 (select project join,SPJ) ,如果全局视图是通过外连接生成的 ,这些算法就不能有效地维护多库系统视图的正确性 .提出了一种新的多库系统视图维护算法 ,它能够在有外连接及数据不一致的情况下高效地维护多库系统视图 ,并最大限度地减少了向局部数据库发送的查询数 ,使得多库系统更加高效     

小场景交互式稠密三维重建系统

近年来,随着 GPU 技术的深入发展和并行算法的日益成熟,使得实时三维重建成 为可能。文中实现了一种针对小场景的交互式稠密三维重建系统,此系统借助先进的移动跟踪 技术,可以准确地估计相机的即时位置。提出了一种改进的多视深度生成算法,在 GPU 加速下 能够实时计算场景的深度。改进算法中的亚像素级的半全局匹配代价累积提高了多视立体匹配 的精度,并结合全局优化的方法计算出了准确的场景深度信息。深度图被转换为距离场,使用 全局优化的直方图压缩融合算法和并行的原始对偶算法实现了深度的实时融合。实验结果证明 了重建系统的可行性和重建算法的正确性。     

利用并查集的多视匹配点提取算法

多视匹配点的提取是多视影像场景三维重建的核心问题之一,提取结果将直接影响三维重建的精度。将多视匹配点的提取问题转化为动态连通性问题,设计了基于并查集算法的解决方案。采用高效的树结构来组织并查集中的节点,在树中采用parent-link连接方式,使得每次增加匹配点对的过程中只需修改单个节点的寻址参数,避免了遍历数组来比较寻址参数的计算过程,提高了查找和修改的效率。同时通过加权策略对算法进行优化,利用加权编码方式替代常用的硬编码,可以平衡树状图的结构,降低树中节点的平均深度。多组影像集的实验结果表明,基于并查集的算法可以提取更多的多视匹配点,并且计算效率要优于传统的广度优先搜索算法。     

基于稀疏点云的多平面场景稠密重建

多平面场景是生活中常见的一种场景,然而由于该类场景中常常存在物体表面纹理缺乏和纹理重复的现象,导致从多视图像重建获得的三维点云数据中存在点云过于稀疏甚至孔洞等问题,进而导致以微面片拟合三维点云所得到的重建表面出现平面颠簸现象.针对这些问题,本文提出了一种基于稀疏点云的分段平面场景重建方法.首先,利用分层抽样代替随机抽样,改进了J-Linkage多模型估计算法;然后,利用该方法对稀疏点云进行多平面拟合,来获得场景的多平面模型;最后,将多平面模型和无监督的图像分割相结合,提取并重建场景中的平面区域.场景中的非平面部分用CMVS/PMVS(Clustering views for multi-view stereo/patch-based multi-view stereo)算法重建.多平面模型估计的实验表明,改进的J-Linkage算法提高了模型估计的准确度.三维重建的实验证实,提出的重建方法在有效地克服孔洞和平面颠簸问题的同时,还能重建出完整平面区域.     

采用窄带图切割的多目重构方法

针对目前多目重构研究中物体表面获取和凹陷区域恢复的难题,提出采用窄带图切割的可见外壳和多目立体匹配相融合的方法.在可见外壳的拓扑约束下,通过最小化能量泛函使得重构表面与多目立体匹配得到的稠密点云形状一致;并利用窄带图切割计算能量泛函的全局最优解.实验结果表明,该方法能重构封闭表面和凹陷区域;窄带图切割在获得最优解的同时提高了计算效率,与全图切割相比速度提高了3倍以上.     

Progressively weighted affine adaptive correlation matching for quasi-dense 3D reconstruction

Correlation matching has been widely accepted as a rudimentary similarity measure to obtain dense 3D reconstruction from a stereo pair. In particular, given a large overlapping area between images with minimal scale differences, the correlation results followed by a geometrically constrained global optimisation delivers adequately dense and accurate reconstruction results. In order to achieve greater reliability, however, correlation matching should correctly account for the geometrical distortion introduced by the different viewing angles of the stereo or multi-view sensors. Conventional adaptive least squares correlation (ALSC) matching addresses this by modifying the shape of a matching window iteratively, assuming that the distortion can be approximated by an affine transform. Nevertheless, since an image captured from different viewing angle is often not practically identical due to scene occlusions, the matching confidence normally deteriorates. Subsequently, it affects the density of the reconstruction results from ALSC-based stereo region growing algorithms. To address this, we propose an advanced ALSC matching method that can progressively update matching weight for each pixel in an aggregating window using a relaxation labelling technique. The experimental results show that the proposed method can improve matching performance, which consequently enhances the quality of stereo reconstruction. Also, the results demonstrate its ability to refine a scale invariant conjugate point pair to an affine and scale invariant point pair.     

基于多视角视频的运动重建

为了更逼真地从视频图像序列中实现三维人体骨架动画形式的提取,以便进一步地对人体运动进行分析与研究,提出了一种基于多视角视频的运动重建的方法。该方法充分利用了标记点的信息,其核心步骤有标定摄像机,提取标记点,跟踪标记点和人体运动三维重建四个主要方面。其中,在跟踪标记点时,使用了基于多视觉的目标跟踪算法,该算法由结合了扩展卡尔曼滤波预测与标记点轨迹平滑性约束所构成的双目立体视觉跟踪与多目视觉数据融合两个方面。实验结果证明了所提方法的有效性与可行性。     

基于双目视觉的人脸三维重建

基于双目立体匹配算法PatchMatch算法,提出了一种获取人脸三维点云的算法。该算法对局部立体匹配算法PatchMatch进行了优化。该方法既不需要昂贵的设备,也不需要通用的人脸三维模型,而是结合了人脸的拓扑结构信息以及立体视觉局部优化算法。此方法采用非接触式的双目视觉采集技术获取左右视角的人脸图像,利用回归树集合(ensemble of regression trees,ERT)算法对人脸图像进行关键点定位,恢复人脸稀疏的视差估计,运用线性插值方法初步估计脸部的稠密视差值,并结合局部立体匹配算法对得到的视差结果进行平滑处理,重建人脸的三维点云信息。实验结果表明,这种算法能够还原出光滑的稠密人脸三维点云信息,在人脸Bosphorus数据库上取得了更加准确的人脸重建结果。     

一种用于未标定图像三维重建的立体匹配算法*

提出了一种适用于未标定图像三维重建的立体匹配算法。该算法首先引入限制因子来消除Harris角点聚簇的现象,使用高斯曲面拟合内插使Harris角点达到亚像素级;接着采用特征点的Sift特征描述符进行初始匹配,利用随机抽样算法估计基础矩阵的同时剔除误匹配点对;最后在估计的基础矩阵的引导下进行双向匹配。实验证明,该算法能够很好地恢复物体的结构,是一种有效的用于未标定图像三维重建的立体匹配算法。