结合高斯混合模型与多通道双边滤波的RGBD场景流计算方法

针对现有RGBD场景流计算方法在大位移、运动遮挡等复杂运动场景中存在计算准确性与可靠性较低的问题，文中提出结合高斯混合模型与多通道双边滤波的RGBD场景流计算方法.首先，构造基于高斯混合模型的光流聚类分割模型，从光流中提取目标运动信息，逐层优化深度图分层分割结果，获取高置信度的深度运动分层分割信息.然后，在场景流计算中引入多通道双边滤波优化，建立结合高斯混合模型与多通道双边滤波的RGBD场景流计算模型，克服场景流计算边缘模糊问题.最后，在Middlebury、MPI-Sintel数据集上的实验表明，文中方法在大位移、运动遮挡等复杂运动场景下具有较高的场景流计算准确性和鲁棒性，特别在边缘区域具有较好的保护效果.     

基于深度匹配的由稀疏到稠密大位移运动光流估计

针对非刚性大位移运动场景的光流计算准确性与鲁棒性问题, 提出一种基于深度匹配的由稀疏到稠密大位移运动光流估计方法. 首先利用深度匹配模型计算图像序列相邻帧的初始稀疏运动场; 其次采用网格化邻域支持优化模型筛选具有较高置信度的图像网格和匹配像素点, 获得鲁棒的稀疏运动场; 然后对稀疏运动场进行边缘保护稠密插值, 并设计全局能量泛函优化求解稠密光流场. 最后分别利用MPI-Sintel和KITTI数据库提供的测试图像集对本文方法和Classic + NL, DeepFlow, EpicFlow以及FlowNetS等变分模型、匹配策略和深度学习光流计算方法进行综合对比与分析, 实验结果表明本文方法相对于其他方法具有更高的光流计算精度, 尤其在非刚性大位移和运动遮挡区域具有更好的鲁棒性与可靠性.     

运动细节估计的光流场方法

针对现有的光流方法在处理大位移和估计运动图像细节方面存在的问题,提出一种结合图像细节特征的变分光流场模型.首先通过增加特征点的对应,采用自适应的保持边缘的正则项以及引入occlusion检测函数对经典光流模型进行了改进;其次,采用基于变分框架下的高斯金字塔方法以及加权中值滤波的方法对所提出的模型进行求解.大量的实验结果...     

基于块运动矢量加权的Snakes模型及在序列图像分割中的应用

经典的Snakes模型具有开放的、统一的架构，在此基础上，为了分割复杂背景的序列图像，产生了各种改进的Snakes模型，但都存在着不足：计算量大、需要先验知识、易受光流计算精度影响等。针对这些缺点，提出了块运动矢量加权的Snakes模型，可以用于复杂背景序列图像的分割。这种模型以图像中的边缘信息为分割的最终依据，结合块运动估计的结果，增强了序列图像分割的鲁棒性。根据运动场估计的结果在该模型中所起的作用，提出了边缘优先的块运动估计算法，大大减少了计算量。用块运动矢量加权的Snakes模型分割复杂背景序列图像，取得了好的分割结果。     

基于纹理约束和参数化运动模型的光流估计

提出了一种基于局部小平面运动的光流估计新方法。目的是获得精确致密的光流估计结果。与以往采用亮度一致性区域作为假设平面的算法不同，本算法利用序列图像的纹理信息，在纹理分割区域的基础上，进行运动估计。该算法首先通过微分法计算粗光流，可以得到参数化光流模型的初始估计，然后通过区域迭代算法，调整初始估计，从而得到精细的平面分割及其对应的参数化光流模型。基于纹理信息的部分拟合算法被用于算法的每一步当中，保证了纹理边缘位置的光流估计值的准确性。实验采用了标准图像序列，结果表明，可以得到更为精细的光流估计结果，特别是对于那些有着丰富纹理信息的室外环境的图像序列，而且在运动边界处的结果改善尤为明显。     

全局光流场估计技术及展望

光流法是运动分析最为重要的技术之一,其能够从相邻帧图像中恢复出目标物体以及背景的运动信息,从而实现目标检测、运动跟踪以及特征识别等.文中从全局光流计算的基本原理出发,详细分析了非均匀光照校正、能量函数构建和优化方案设计等全局光流场估计技术的关键步骤;同时深入探讨了全局光流场估计技术存在的大位移计算、遮挡检测、弱纹理运动估计等难题.最后对全局光流场估计技术所面临的挑战进行了分析,并展望了其未来的发展方向.     

基于局部微分光流的运动对象分割

运动对象分割是研究从场景的图像序列或视频中提取出运动目标的理论和方法,是计算机视觉中一个重要的研究方向,在军事和工业等领域有着广阔的应用前景.提出一种基于局部微分光流的运动对象分割算法.首先采用局部微分光流算法计算出场景的运动光流场并完成其初始分割,然后利用canny算子探测出对象的边缘信息并将其作为对光流场得到的运动信息的补充,从而分割出更为准确的运动对象.实验结果显示该方法具有良好的分割性能.     

用改进Census变换实现光照变化鲁棒光流计算

针对当前光流算法在野外光照变化条件下计算精度不高的问题,提出一种基于改进Census变换的变分光流算法.该算法根据图像轮廓信息自适应选择变换窗口形状,以提高深度不连续区域图像子块信息描述的准确性;在变换窗口内构建完整的梯度流向量描述子,克服传统算法由于信息量不够而导致的不同图像子块区分度有限的问题;在构建二进制串时,与基准元素越近的点排在二进制串高位,减弱2帧图像因投影变形对光流求解的影响.在TV_L1变分光流计算框架下,用改进的Census变换描述子构建光流模型中的数据项.对图像进行高斯金字塔分解,并结合加权中值滤波进行分层光流估计.最后以Middlebury和KITTI数据库为测试平台,证明了文中算法的有效性.     

面向运动分割优化的变分光流计算方法研究

面向运动分割的需求,围绕变分光流计算中的运动边缘保留问题,对反应-扩散式光流计算模型中的扩散张量设计与改进方法进行系统深入研究。 在分析已有设计方法的基础上,提出了一种融合图像和流场信息驱动的扩散张量设计方法,并利用该扩散张量建立光流计算模型,然后在多尺度计算框架下给出了相应的偏微分方程数值计算方法。 理论分析与对比实验结果表明,这种设计方法能有效克服现有方法提取运动边缘不精确的缺点,更准确地刻画出运动边缘,提高光流的计算精度。     

图像光流联合驱动的变分光流计算新方法

提出一种基于图像光流联合驱动的变分光流计算方法。数据项采用灰度守恒和梯度守恒相结合、局部约束与全局约束结合的思想,并引入正则化因子提高计算精度。平滑项采用图像与光流联合驱动的各向异性平滑策略,将数据项与平滑项紧密地联系起来,并通过设计扩散张量的两个本征值来控制光流扩散速度。最后采用多分辨率分层细化策略解决大位移问题。实验结果证明,该计算模型在背景复杂、光照变化、运动边界等情况的光流计算具有很好的效果。     

一种基于线性亮度变化模型的鲁棒的光流算法

提出了一种鲁棒光流算法,用于计算光照强度、帧间运动速度及运动速度变化较大情况下的光流场。在梯度约束方程中嵌入了线性亮度变化模型,以提高大的光照强度变化下算法稳健性;将各向异性扩散方程引入空间方向平滑约束,以改善运动不连续处的流速计算精度,并依此建立了多尺度空间微分光流算法。参数的均衡化得到了线性尺度变化下的恒定能量函数。迭代运算引入运动补偿的概念,使亮度误差减小。实验结果表明,在光照强度和运动速度及速度变化较大时,本文算法具有很好的计算精度,并产生密度100%的光流场。     

Joint segmentation of collectively moving objects using a bag-of-words model and level set evolution

In scenes with collectively moving objects, to disregard the individual objects and take the entire group into consideration for motion characterization is a promising approach with wide application prospects. In contrast to studies on the segmentation of independently moving objects, our purpose is to construct a segmentation of these objects to characterize their motions at a macroscopic level. In general, the collectively moving objects in a group have very similar motion behavior with their neighbors and appear as a kind of global collective motion. This paper presents a joint segmentation approach for these collectively moving objects. In our model, we extract these macroscopic movement patterns based on optical flow field sequences. Specifically, a group of collectively moving objects correspond to a region where the optical flow field has high magnitude and high local direction coherence. As a result, our problem can be addressed by identifying these coherent optical flow field regions. The segmentation is performed through the minimization of a variational energy functional derived from the Bayes classification rule. Specifically, we use a bag-of-words model to generate a codebook as a collection of prototypical optical flow patterns, and the class-conditional probability density functions for different regions are determined based on these patterns. Finally, the minimization of our proposed energy functional results in the gradient descent evolution of segmentation boundaries which are implicitly represented through level sets. The application of our proposed approach is to segment and track multiple groups of collectively moving objects in a large variety of real-world scenes.     

Accurate optical flow computation under non-uniform brightness variations

In this paper, we present a very accurate algorithm for computing optical flow with non-uniform brightness variations. The proposed algorithm is based on a generalized dynamic image model (GDIM) in conjunction with a regularization framework to cope with the problem of non-uniform brightness variations. To alleviate flow constraint errors due to image aliasing and noise, we employ a reweighted least-squares method to suppress unreliable flow constraints, thus leading to robust estimation of optical flow. In addition, a dynamic smoothness adjustment scheme is proposed to efficiently suppress the smoothness constraint in the vicinity of the motion and brightness variation discontinuities, thereby preserving motion boundaries. We also employ a constraint refinement scheme, which aims at reducing the approximation errors in the first-order differential flow equation, to refine the optical flow estimation especially for large image motions. To efficiently minimize the resulting energy function for optical flow computation, we utilize an incomplete Cholesky preconditioned conjugate gradient algorithm to solve the large linear system. Experimental results on some synthetic and real image sequences show that the proposed algorithm compares favorably to most existing techniques reported in literature in terms of accuracy in optical flow computation with 100% density.     

A region-based selective optical flow back-projection for genuine motion vector estimation

Motion vector plays one significant feature in moving object segmentation. However, the motion vector in this application is required to represent the actual motion displacement, rather than regions of visually significant similarity. In this paper, region-based selective optical flow back-projection (RSOFB) which back-projects optical flows in a region to restore the region's motion vector from gradient-based optical flows, is proposed to obtain genuine motion displacement. The back-projection is performed based on minimizing the projection mean square errors of the motion vector on gradient directions. As optical flows of various magnitudes and directions provide various degrees of reliability in the genuine motion restoration, the optical flows to be used in the RSOFB are optimally selected based on their sensitivity to noises and their tendency in causing motion estimation errors. In this paper a deterministic solution is also derived for performing the minimization and obtaining the genuine motion magnitude and motion direction.     

一种针对大尺度运动的快速光流算法

传统的光流法必须满足一致连贯性假设,不适用于大幅度运动目标的跟踪。为克服复杂场景下,大尺度运动中目标位移量超出特征跟踪窗口带来的光流计算问题,提出了一种针对大尺度运动的快速光流计算方法。引入图像金字塔模型,利用基于多尺度分层的金字塔结构和光流映射变换,实现小窗口捕获大运动。同时,采用非极大值抑制方法保留图像自相关矩阵的大特征值,得到的强角点作为特征点,降低了光流计算的时间开销。实验结果表明,提出的方法在复杂场景和运动条件下,可准确快速地计算出表征目标运动方向和速率的光流矢量,具有较高的鲁棒性和实时性。     

小位移光流计算的对偶方法

基于光流计算的通用变分模型,建立小位移光流场计算的对偶方法。变分能量泛函中的数据项使用稳健估计的L1范数,规则项采用边缘保持的总变差项。采用对偶变量表示总变差项,克服基于传统总变差计算须引入小规则参数的问题,并得到较好的实验结果。该方法可应用到大位移光流计算和光流计算的高阶模型中。     

基于光流场与语义特征融合的心脏Cine-MRI左心室心肌分割方法

由于运动原因会造成活体心脏MRI图像中左心室心内膜与心肌边缘轮廓模糊, 进而导致分割不准确以及分割精度较低, 针对这些问题, 本文提出一种基于光流场与语义特征融合的心脏4D Cine-MRI (magnetic resonance imaging)左心室心肌分割模型OSFNet. 该模型包含了光流场计算和语义分割网络: 将光流场计算得到的运动特征与图像语义特征进行融合, 通过网络学习达到了最优的分割效果. 模型采用编码器-解码器结构, 本文提出的多感受野平均池化模块用于提取多尺度语义特征, 减少了特征丢失; 解码器部分使用了多路上采样方法和跳跃连接, 保证了语义特征被有效还原. 本文使用ACDC公开数据集对模型进行训练与测试, 并分别与DenseNet和U-Net在左心室内膜分割、左心室内膜和心肌分割目标上进行对比. 实验结果表明, OSFNet在Dice和HD等多个指标上取得了最佳效果.     

基于全散度的变分CV模型及其分割算法

CV模型在图像灰度不均匀或有噪声干扰时,易出现错分现象,因此将全散度引入变分CV模型,提出了基于全散度的变分CV模型及其迭代分割算法.分析基于欧氏距离所对应的变分CV模型分割算法存在的问题和不足,通过图示说明全散度相对于欧氏距离在距离计算与坐标系选择无关的优势,将其引入变分CV模型拟合偏差项,来提高图像灰度值与分割区域平均灰度偏差计算的鲁棒性.然后,采用欧拉-拉格朗日变分法获得全散度变分CV模型的偏微分方程,并采用数值计算方法获得该偏微分方程的迭代求解算法.同时在全散度变分CV模型中,增大拟合偏差项的权重系数,加大拟合偏差项在变分模型中的重要性.实验结果表明,全散度变分CV模型具有初始化敏感低、抗噪性强、鲁棒性高等优点.     

Multi-Exposure Motion Estimation Based on Deep Convolutional Networks

In motion estimation, illumination change is always a troublesome obstacle, which often causes severely performance reduction of optical flow computation. The essential reason is that most of estimation methods fail to formalize a unified definition in color or gradient domain for diverse environmental changes. In this paper, we propose a new solution based on deep convolutional networks to solve the key issue. Our idea is to train deep convolutional networks to represent the complex motion features under illumination change, and further predict the final optical flow fields. To this end, we construct a training dataset of multi-exposure image pairs by performing a series of non-linear adjustments in the traditional datasets of optical flow estimation. Our multi-exposure flow networks (MEFNet) model consists of three main components: low-level feature network, fusion feature network, and motion estimation network. The former two components belong to the contracting part of our model in order to extract and represent the multi-exposure motion features; the third component is the expanding part of our model in order to learn and predict the high-quality optical flow. Compared with many state-of-the-art methods, our motion estimation method can eliminate the obstacle of illumination change and yield optical flow results with competitive accuracy and time efficiency. Moreover, the good performance of our model is also demonstrated in some multi-exposure video applications, like HDR (high dynamic range) composition and flicker removal.