基于运动优化语义分割的变分光流计算方法

针对光照变化和大位移运动等复杂场景下图像序列变分光流计算的边缘模糊与过度分割问题,文中提出基于运动优化语义分割的变分光流计算方法.首先,根据图像局部区域的去均值归一化匹配模型,构建变分光流计算能量泛函.然后,利用去均值归一化互相关光流估计结果,获取图像运动边界信息,优化语义分割,设计运动约束语义分割的变分光流计算模型.最后,融合图像不同标签区域光流,获得光流计算结果.在Middlebury、UCF101数据库上的实验表明,文中方法的光流估计精度与鲁棒性较高,尤其对光照变化、弱纹理和大位移运动等复杂场景的边缘保护效果较优.     

非局部加权邻域三角滤波TV-L1光流估计

目的 针对非刚性运动、运动遮挡与间断、大位移以及复杂边缘结构等困难场景图像序列光流计算的准确性与鲁棒性问题,提出一种基于加权邻域三角滤波的非局部TV-L¹光流计算方法。方法 首先设计非平方惩罚函数L¹模型与梯度守恒假设相结合的数据项,然后引入基于L¹模型与基于图像梯度自适应变化权重相结合的平滑项,并根据提出的鲁棒数据项与图像-光流联合控制平滑项建立TV-L¹光流计算能量函数模型。最后采用基于加权邻域三角的非局部约束项,通过引入图像金字塔分层变形计算策略,在每层图像光流计算时对光流计算结果进行基于加权邻域三角网格的中值滤波优化,提出基于加权邻域三角滤波的非局部TV-L¹光流计算模型。结果 分别采用MPI与Middlebury数据库测试图像序列对本文方法和LDOF、CLG-TV、SOF、Classic+NL等代表方法进行实验对比。本文方法光流计算结果的平均角误差（AAE）和平均端点误差（AEE）相对其他对比方法平均下降28.45%和28.42%,时间消耗相对传统方法增长5.16%。结论 相对于传统的光流计算方法,本文方法针对非刚体运动、运动遮挡与间断、大位移运动以及复杂边缘等困难场景具有较好的适用性,光流估计结果具有较高的精度和较好的鲁棒性。     

结合高斯混合模型与多通道双边滤波的RGBD场景流计算方法

针对现有RGBD场景流计算方法在大位移、运动遮挡等复杂运动场景中存在计算准确性与可靠性较低的问题，文中提出结合高斯混合模型与多通道双边滤波的RGBD场景流计算方法.首先，构造基于高斯混合模型的光流聚类分割模型，从光流中提取目标运动信息，逐层优化深度图分层分割结果，获取高置信度的深度运动分层分割信息.然后，在场景流计算中引入多通道双边滤波优化，建立结合高斯混合模型与多通道双边滤波的RGBD场景流计算模型，克服场景流计算边缘模糊问题.最后，在Middlebury、MPI-Sintel数据集上的实验表明，文中方法在大位移、运动遮挡等复杂运动场景下具有较高的场景流计算准确性和鲁棒性，特别在边缘区域具有较好的保护效果.     

一种针对大尺度运动的快速光流算法

传统的光流法必须满足一致连贯性假设,不适用于大幅度运动目标的跟踪。为克服复杂场景下,大尺度运动中目标位移量超出特征跟踪窗口带来的光流计算问题,提出了一种针对大尺度运动的快速光流计算方法。引入图像金字塔模型,利用基于多尺度分层的金字塔结构和光流映射变换,实现小窗口捕获大运动。同时,采用非极大值抑制方法保留图像自相关矩阵的大特征值,得到的强角点作为特征点,降低了光流计算的时间开销。实验结果表明,提出的方法在复杂场景和运动条件下,可准确快速地计算出表征目标运动方向和速率的光流矢量,具有较高的鲁棒性和实时性。     

基于多尺度变形卷积的特征金字塔光流计算方法

针对现有深度学习光流计算方法的运动边缘模糊问题,提出了一种基于多尺度变形卷积的特征金字塔光流计算方法.首先,构造基于多尺度变形卷积的特征提取模型,显著提高图像边缘区域特征提取的准确性;然后,将多尺度变形卷积特征提取模型与特征金字塔光流计算网络耦合,提出一种基于多尺度变形卷积的特征金字塔光流计算模型;最后,设计一种结合图像与运动边缘约束的混合损失函数,通过指导模型学习更加精准的边缘信息,克服了光流计算运动边缘模糊问题.分别采用MPI-Sintel和KITTI2015测试图像集对该方法与代表性的深度学习光流计算方法进行综合对比分析.实验结果表明,该方法具有更高的光流计算精度,有效解决了光流计算的边缘模糊问题.     

深度特征融合的非刚性三维形状局部匹配

针对海量、异构三维形状匹配与智能检索技术的需求,提出了一种基于级联卷积神经网络(F-PointCNN)深度特征融合的三维形状局部匹配方法.首先,采用特征袋模型,提出几何图像表示方法,该几何图像不仅能够有效区分同类异构的非刚性三维模型,而且能够揭示大尺度不完整三维模型的结构相似性.其次,构建级联卷积神经网络学习框架F-PointCNN,其中,BoF-CNN从几何图像中学习深度全局特征,建立融合局部特征与全局特征的点特征表示;进而对Point-CNN进行点特征的细化与提纯,生成具有丰富信息的深度融合特征,有效提高形状特征的区分性与鲁棒性.最终,通过交叉矩阵度量方法高效实现非刚性三维模型的局部形状匹配.在公开的非刚性三维模型数据库的实验结果表明,该方法提取的特征在大尺度变换的形状分类及局部形状匹配中具有更强的识别力与更高的匹配精度.     

点线光流预测机制的图像序列运动直线跟踪

目的 针对复杂场景图像序列中运动直线特征的提取、跟踪问题,提出一种基于点、线光流预测机制的图像序列运动直线跟踪方法。方法 首先根据图像直线的表达式定义点、线光流基本约束方程,由基本约束方程推导出关于点光流与直线光流对应关系的3个重要推论。然后依据点、线光流对应关系,利用图像序列中直线特征上的像素点光流计算直线光流的估计值并根据直线光流阈值筛选图像序列运动直线。最后由筛选出的运动直线及直线光流估计值计算直线的预测坐标并在Hough域内进行跟踪匹配,得到图像序列运动直线跟踪结果。结果 通过合成及真实图像序列实验验证,本文方法能够准确地筛选出图像序列中感兴趣的运动直线,并对运动直线进行稳定地跟踪、匹配,直线跟踪结果未产生干扰直线的误匹配,直线跟踪时间消耗不超过12 s。结论 相对于传统的直线跟踪、匹配方法,本文方法具有较高地直线跟踪精度和较好的鲁棒性,更适用于复杂场景下的运动直线跟踪、匹配问题。     

基于卷积神经网络的光流估计模型

光流信息是图像像素的运动表示,现有光流估计方法在应对图像遮挡、大位移和细节呈现等复杂情况时难以保证高精度.为了克服这些难点问题,本文建立一种新型的卷积神经网络模型,通过改进卷积形式和特征融合的方式来提高估计精度.首先,加入调整优化能力更强的可形变卷积,以便于提取相邻帧图像的大位移和细节等空间特征;然后利用基于注意力机制...     

融合IMU去除运动模糊的改进光流匹配算法

为进一步提高视觉SLAM中的光流匹配精度和速度,提出一种融合惯性测量单元（inertial measurement unit,IMU）去除运动模糊的改进光流匹配算法。该算法首先利用IMU运动信息计算的点扩散函数去除运动模糊,提高特征点匹配率;其次在LK（Lucas-Kanade）光流的基础上引入梯度误差,并使用图像梯度L1范数作为正则项模拟稀疏噪声,构建代价函数;然后利用IMU预测特征点位置作为该算法初始值,并加入BB（Barzilar-Borwein）步长改进原有的高斯牛顿算法,提高计算速度。实验表明,通过两帧之间比较,该算法的效率和精度均优于LK光流法;然后将该算法集成到VINS-Mono框架,在数据集EuRoC上结果显示,该算法提高了原有框架的定位精度和鲁棒性。     

一种基于光流和能量的图像匹配算法

结合光流与图像信息,提出一种获取稠密视差的图像匹配算法.首先对于基线较大的左右图像,在多分辨率框架下采用由粗到精的策略计算光流,从而实现大偏移量时的光流获取.其次为了避免光流在图像边界上的不可靠性,通过光流计算所得的光流场作为初始视差图,采用基于能量的方法依据对应的图像梯度场对光流场内部进行平滑并保持边缘的不连续性,最终得到精准稠密的视差图.实验验证,该方法是一种行之有效的图像匹配算法.     

一种基于光流场重建三维运动和结构的新方法

提出了一种基于稀疏光流场计算三维运动和结构的线性新方法 ,该方法综合视觉运动分析中的两类处理方法 ,选取图象中的角点作为特征点 ;并检测和跟踪图象序列中的角点 .记录检测到的角点在图象序列中的位移 ,在理论上证明了时变图象的光流场可以近似地用角点的位移场代替 ,从而得到时变图象的稀疏光流场 ;通过光流运动模型的建立 ,推导出由稀疏光流场重建三维物体运动和结构的线性方法 .通过用真实图象序列验证该算法 ,表明该算法取得了较好的效果     

Stereoscopic Scene Flow Computation for 3D Motion Understanding

Building upon recent developments in optical flow and stereo matching estimation, we propose a variational framework for the estimation of stereoscopic scene flow, i.e., the motion of points in the three-dimensional world from stereo image sequences. The proposed algorithm takes into account image pairs from two consecutive times and computes both depth and a 3D motion vector associated with each point in the image. In contrast to previous works, we partially decouple the depth estimation from the motion estimation, which has many practical advantages. The variational formulation is quite flexible and can handle both sparse or dense disparity maps. The proposed method is very efficient; with the depth map being computed on an FPGA, and the scene flow computed on the GPU, the proposed algorithm runs at frame rates of 20 frames per second on QVGA images (320×240 pixels). Furthermore, we present solutions to two important problems in scene flow estimation: violations of intensity consistency between input images, and the uncertainty measures for the scene flow result.     

有约束Patch-Match框架下的非刚体匹配算法

目的 非刚性物体进行匹配时,往往需要对图像中存在的非刚性形变目标进行快速精确的配准,进而实现对图像的后续处理和分析,实现快速而准确的非刚体匹配显得尤为重要。针对传统特征点匹配方法在非刚性物体匹配中准确性差的问题,本文提出了一种基于DAISY算子和有约束Patch-Match的非刚体密集匹配算法。方法 首先对参考图像和待匹配图像生成DAISY特征描述子,其次对两幅图像进行超像素分割,形成相互邻接但没有重叠的超像素块结构,并以其为单元,计算初始位置上对应每一个像素的DAISY特征算子聚合代价。然后,采用Patch-Match算法对整幅图像进行传播和变异,在变异过程中,通过图像预处理和分析得到的先验知识对位置标签的变异窗口进行局部空间约束,使得每个像素的位置标签在该空间范围内随机更新,计算新的聚合代价,保留代价较小的位置标签,重复迭代此过程,直到聚合代价不发生变化或者达到最大迭代次数为止。结果 实验选取了标准数据集、10幅分别由TFDS（the trucking fault dynamic image detection system）线阵列相机和框幅式相机采集的包含非刚体的图像进行匹配,均取得了较好的匹配效果,经验证,本文方法的匹配精度为86%,误匹配点的平均匹配误差为5个像素左右,是传统基于SIFT特征光流匹配方法误差的一半,并且本文采用的DAISY算子在特征提取速度上是Dense SIFT（dense scale invariant feature transform）特征提取算法的2~3倍,大大提升了图像匹配的效率。结论 本文提出了一种非刚体密集匹配算法,针对非刚体变化的不确定性采用密集特征点进行最优化搜索匹配。本文算法对包含小范围非刚性变化的图像匹配上具有较好的适应性,且匹配精度高,视觉效果好,鲁棒性强。     

光照变化条件下的光流估计

目的 为了提高光流法在处理光照变化和大位移方面的稳健性。提出一种结合结构纹理分解预处理和加权中值滤波的光流场模型。方法 该方法数据项采用灰度守恒假设和梯度守恒假设相结合、局部约束与全局约束相结合的思想。同时采用结构纹理分解、加权中值滤波、金字塔结构等高效的光流估计技术,进一步增强了光流算法的精确性与实用性。结果 分别通过Middlebury光流数据库图像和真实场景图像对提出的光流估计算法进行了大量实验验证。实验结果表明,改进的光流估计法在处理光照变化方面表现不错,不仅获得稠密的光流场,而且提高了光流场准确提取目标边缘的能力。结论 和传统光流方法相比,所提方法在光照变化情况下能获得更加理想的结果,降低了实际场景中光线变化的干扰,能更好地适用于实际场景中。     

A Variational Aggregation Framework for Patch-Based Optical Flow Estimation

We propose a variational aggregation method for optical flow estimation. It consists of a two-step framework, first estimating a collection of parametric motion models to generate motion candidates, and then reconstructing a global dense motion field. The aggregation step is designed as a motion reconstruction problem from spatially varying sets of motion candidates given by parametric motion models. Our method is designed to capture large displacements in a variational framework without requiring any coarse-to-fine strategy. We handle occlusion with a motion inpainting approach in the candidates computation step. By performing parametric motion estimation, we combine the robustness to noise of local parametric methods with the accuracy yielded by global regularization. We demonstrate the performance of our aggregation approach by comparing it to standard variational methods and a discrete aggregation approach on the Middlebury and MPI Sintel datasets.     

Face recognition via fast dense correspondence

Face recognition plays a significant role in computer vision. It is well know that facial images are complex stimuli signals that suffer from non-rigid deformations, including misalignment, orientation, pose changes, and variations of facial expression, etc. In order to address these variations, this paper introduces an improved sparse-representation based face recognition method, which constructs dense pixel correspondences between training and testing facial samples. Specifically, we first construct a deformable spatial pyramid graph model that simultaneously regularizes matching consistency at multiple spatial extents - ranging from an entire image, though coarse grid cells, to every single pixel. Secondly, a matching energy function is designed to perform face alignment based on dense pixel correspondence, which is very effective to address the issue of non-rigid deformations. Finally, a novel coarse-to-fine matching scheme is designed so that we are able to speed up the optimization of the matching energy function. After the training samples are aligned with respect to testing samples, an improved sparse representation model is employed to perform face recognition. The experimental results demonstrate the superiority of the proposed method over other methods on ORL, AR, and LFWCrop datasets. Especially, the proposed approach improves nearly 4.4 % in terms of recognition accuracy and runs nearly 10 times faster than previous sparse approximation methods.     

Articulated motion reconstruction from feature points

A fundamental task of reconstructing non-rigid articulated motion from sequences of unstructured feature points is to solve the problem of feature correspondence and motion estimation. This problem is challenging in high-dimensional configuration spaces. In this paper, we propose a general model-based dynamic point matching algorithm to reconstruct freeform non-rigid articulated movements from data presented solely by sparse feature points. The algorithm integrates key-frame-based self-initialising hierarchial segmental matching with inter-frame tracking to achieve computation effectiveness and robustness in the presence of data noise. A dynamic scheme of motion verification, dynamic key-frame-shift identification and backward parent-segment correction, incorporating temporal coherency embedded in inter-frames, is employed to enhance the segment-based spatial matching. Such a spatial–temporal approach ultimately reduces the ambiguity of identification inherent in a single frame. Performance evaluation is provided by a series of empirical analyses using synthetic data. Testing on motion capture data for a common articulated motion, namely human motion, gave feature-point identification and matching without the need for manual intervention, in buffered real-time. These results demonstrate the proposed algorithm to be a candidate for feature-based real-time reconstruction tasks involving self-resuming tracking for articulated motion.