相互结构引导滤波TV-L1变分光流估计

由于光流场既包含物体的运动信息,又包含场景的三维结构信息,因此光流计算技术是计算机视觉和机器视觉领域研究的重要任务之一.针对现有光流计算方法在图像边缘保护方面存在过度平滑问题,提出一种基于相互结构引导滤波的TV-L1（Total Variational with L1 norm,TV-L1）变分光流估计方法.通过提取置信度较高的图像相互结构区域,构造基于相互结构引导滤波的全局目标函数,并采用金字塔分层细化与交替迭代方案结合的策略进行优化,该方法可以较好的保护图像边缘信息.最后采用标准测试图像集对本文方法与现有代表性变分方法LDOF（Large Displacement Optical Flow,LDOF）,CLG-TV（Combined Local-Global Total Variation,CLG-TV）,Classic++,NNF（Nearest Neighbor Fields,NNF）以及深度学习方法FlowNet2.0进行对比,实验结果表明本文方法具有较高的光流估计精度与鲁棒性,尤其对图像边缘保护具有显著的效果,并且在运动目标检测,机器人避障等方面具有一定应用前景.     

基于图像局部结构的区域匹配变分光流算法

针对变分光流算法的计算精度与鲁棒性问题,提出一种基于图像局部结构的区域匹配变分光流算法.光流估计能量泛函的数据项采用图像结构守恒与灰度守恒相结合,并引入规则化非平方惩罚函数,保证了光流估计的精度与鲁棒性;平滑项采用随图像局部结构自适应变化的扩散策略结合区域匹配约束函数能够有效地保护运动物体或场景的边缘轮廓信息;在光流计算过程中引入金字塔分层细化策略克服图像序列中大位移运动引起的像素点漂移现象,并采用数学方法证明光流估计模型的鲁棒性和收敛性.多组实验表明,本文方法在图像中存在剧烈光照变化、非刚性物体复杂运动以及多目标大位移运动等情况下具有较高的计算精度、较好的鲁棒性.     

基于光流与Delaunay三角网格的图像序列运动遮挡检测

针对图像序列运动遮挡检测的准确性与鲁棒性问题,提出一种基于光流与Delaunay三角网格的图像序列运动遮挡检测方法.首先构造基于非局部约束的TV-L¹光流估计模型;然后根据图像Delaunay三角网格划分与光流估计结果对图像序列帧间对应像素点和局部三角形进行运动遮挡判断并检测遮挡区域;最后采用MPI Sintel和Middlebury数据库提供的测试图像集对本文方法与SMOD、GOSF等代表性方法进行对比测试.实验结果表明,本文方法相对于SMOD和GOSF方法在十组测试图像集的平均漏检率和误检率分别降低15.21%与30.57%,说明本文方法针对非刚性运动、复杂场景、弱纹理、光照阴影以及大位移等类型图像序列均具有较高的检测精度和较好的鲁棒性.     

FRFCM聚类与深度优化的RGBD场景流计算

针对现有RGBD场景流计算模型在复杂场景、非刚性运动和运动遮挡等情况下易产生场景过度平滑和运动边缘模糊的问题,提出一种基于FRFCM（Fast and Robust Fuzzy C-Means）聚类与深度优化的RGBD场景流计算方法.首先以图像序列连续帧间光流信息为基准,利用FRFCM聚类算法对输入图像进行初始分割,然后根据深度图像的运动边缘信息优化初始分割结果,提取高置信度的运动分层信息.最后设计基于图像分割的RGBD场景流能量函数,采用金字塔变形策略计算精确的场景流结果.分别采用Middlebury和MPI-Sintel数据库所提供的测试图像集对本文方法和现有的RGBD场景流算法进行综合对比分析,实验结果表明本文方法相对于其他方法具有更好的场景流估计精度和鲁棒性,有效改善了场景过度平滑和运动边缘模糊问题.     

单目图像序列光流三维重建技术研究综述

由单目图像序列光流重建物体或场景的三维运动与结构是计算机视觉、图像处理与模式识别等领域的重要研究内容,在机器人视觉、无人机导航、车辆辅助驾驶以及医学影像分析等方面具有重要的应用。本文首先从精度与鲁棒性等方面对单目图像序列光流计算及三维重建技术近年来取得的进展进行综述与分析。然后采用Middlebury测试图像序列对HS、LDOF、CLG-TV、SOF、AOFSCNN 和 Classic ＋NL 等典型光流算法以及 Adiv、RMROF、Sekkati 和DMDPOF等基于光流的间接与直接重建方法进行实验对比分析,指出各对比方法的优点与不足,归纳各类方法的性能特点与适用范围。最后对利用分数阶微分模型、非局部约束、立体视觉以及深度线索解决亮度突变、非刚性运动、运动遮挡与模糊情况下光流计算及重建模型的局限性与鲁棒性问题进行总结与展望。     

光流技术在微结构平面微运动测量中的应用

在经典的Horn-Schunck光流算法的基础上,根据微机电系统(MEMS)微结构的运动特性,引入标号场,提出基于标号场和邻域优化法相结合的光流算法对微结构的运动序列图像做运动估计.利用光学测量方法,开发了测试系统,能使微结构的运动可视化.系统包括:利用光学显微镜来实现微结构的放大,并将图像投影到CCD摄像机上;基于频闪成像原理来冻结微结构的高速运动状态,获取一系列动态图像序列;基于提出的标号场和邻域优化法相结合的光流算法对微结构的运动序列图像做运动估计,获取其重要动态特性参数.该方法具有非接触、高测量精度的特点.实验结果表明,该方法的测量重复性达40nm.     

联合遮挡约束与残差补偿的特征金字塔光流计算方法

针对现有深度学习光流计算模型在运动遮挡和大位移等场景下光流计算的准确性与鲁棒性问题，本文提出一种联合遮挡约束与残差补偿的特征金字塔光流计算方法 .首先，构造基于遮挡掩模的光流约束模块，通过预测遮挡掩模特征图抑制变形特征的边缘伪影，克服运动遮挡区域的图像边缘模糊问题.然后，采用特征图变形策略构建基于特征变形的光流残差补偿模块，利用该模块学习到的残差光流细化原始光流场，改善大位移运动区域的光流计算效果.最后，采用特征金字塔框架构建联合遮挡约束与残差补偿的光流计算网络模型，提升大位移和运动遮挡场景下的光流计算精度.分别采用MPI-Sintel (Max-Planck Institute and Sintel)和KITTI (Karlsruhe Institute of Technology and Toyota Technological Institute)数据集对本文方法和代表性传统光流计算方法、深度学习光流计算方法进行综合对比分析，实验结果表明本文方法相对于其他方法能够有效提升大位移和运动遮挡场景下的光流计算精度与鲁棒性.     

基于图像梯度场序列的双向GDIM光流计算方法

提出了一种基于图像梯度矢量场的双向广义动态图像模型(GFBD-GDIM)光流计算方法.本文方法:在图像梯度场上进行光流估计以减弱光照变化带来的影响;将一个大的运动矢量分解为两个不同方向的子矢量进行估计,有助于减小估计误差,提高计算精度;采用广义动态图像模型(GDIM)对图像梯度场的变化进行建模,可使模型适用于更加一般的场合.图像序列实验表明,本文方法可以获得更加精确和鲁棒的运动矢量估计.     

基于语义分割的双目场景流估计

针对现有场景流计算方法在复杂场景、大位移和运动遮挡等情况下易产生运动边缘模糊的问题,提出一种基于语义分割的双目场景流估计方法.首先,根据图像中的语义信息类别,通过深度学习的卷积神经网络模型将图像划分为带有语义标签的区域;针对不同语义类别的图像区域分别进行运动建模,利用语义知识计算光流信息并通过双目立体匹配的半全局匹配方法计算图像视差信息.然后,对输入图像进行超像素分割,通过最小二乘法耦合光流和视差信息,分别求解每个超像素块的运动参数.最后,在优化能量函数中添加语义分割边界的约束信息,通过更新像素到超像素块的映射关系和超像素块到移动平面的映射关系得到最终的场景流估计结果.采用KITTI 2015标准测试图像序列对本文方法和代表性的场景流计算方法进行对比分析.实验结果表明,本文方法具有较高的精度和鲁棒性,尤其对于复杂场景、运动遮挡和运动边缘模糊的图像具有较好的边缘保护作用.     

基于帧间差分和金字塔LK光流法的运动目标检测

针对用于运动目标检测的光流算法存在处理复杂、计算量大等问题,提出一种帧间差分算法和金字塔LK光流法相结合的运动目标检测方案.该方法先对视频图像进行帧间差分处理,得到图像的运动区域,再对该运动区域进行金字塔LK光流计算,减少了计算区域,提高目标检测的速度.最后在搭建的视觉避障平台上使用LabVIEW语言进行算法程序验证,实验结果证明了算法的有效性.     

A non-local propagation filtering scheme for edge-preserving in variational optical flow computation

The median filtering heuristic is considered to be an indispensable tool for the currently popular variational optical flow computation. Its attractive advantages are that outliers reduction is attained while image edges and motion boundaries are preserved. However, it still may generate blurring at image edges and motion boundaries caused by large displacement, motion occlusion, complex texture, and illumination change. In this paper, we present a non-local propagation filtering scheme to deal with the above problem during the coarse-to-fine optical flow computation. First, we analyze the connection between the weighted median filtering and the blurring of image edge and motion boundary under the coarse-to-fine optical flow computing scheme. Second, to improve the quality of the initial flow field, we introduce a non-local propagation filter to reduce outliers while preserving context information of the flow field. Furthermore, we present an optimization combination of non-local propagation filtering and weighted median filtering for the flow field estimation under the coarse-to-fine scheme. Extensive experiments on public optical flow benchmarks demonstrate that the proposed scheme can effectively improve the accuracy and robustness of optical flow estimation.     

Optical flow estimation based on the structure–texture image decomposition

Optical flow approaches for motion estimation calculate vector fields which determine the apparent velocities of objects in time-varying image sequences. Image motion estimation is a fundamental issue in low-level vision and is used in many applications in image sequence processing, such as robot navigation, object tracking, image coding and structure reconstruction. The accuracy of optical flow estimation algorithms has been improving steadily as evidenced by results on the Middlebury optical flow benchmark. Actually, several methods are used to estimate the optical flow, but a good compromise between computational cost and accuracy is hard to achieve. This work presents a combined local–global total variation approach with structure–texture image decomposition. The combination is used to control the propagation phenomena and to gain robustness against illumination changes, influence of noise on the results and sensitivity to outliers. The resulted method is able to compute larger displacements in a reasonable time.     

光流场模型用于非刚性医学图像配准

采用一种窗口化的光流配准方法,实现了非刚性医学图像的配准.该方法通过调整窗口函数大小来控制对图像造成的模糊程度,同时采用图像的塔式分解,解决了Horn光流场不能处理大位移的问题.实验结果表明,文中方法可以满足医学图像对于配准精度要求,具有较高的运行效率.     

Super-resolution without dense flow

Super-resolution is a widely applied technique that improves the resolution of input images by software methods. Most conventional reconstruction-based super-resolution algorithms assume accurate dense optical flow fields between the input frames, and their performance degrades rapidly when the motion estimation result is not accurate enough. However, optical flow estimation is usually difficult, particularly when complicated motion is presented in real-world videos. In this paper, we explore a new way to solve this problem by using sparse feature point correspondences between the input images. The feature point correspondences, which are obtained by matching a set of feature points, are usually precise and much more robust than dense optical flow fields. This is because the feature points represent well-selected significant locations in the image, and performing matching on the feature point set is usually very accurate. In order to utilize the sparse correspondences in conventional super-resolution, we extract an adaptive support region with a reliable local flow field from each corresponding feature point pair. The normalized prior is also proposed to increase the visual consistency of the reconstructed result. Extensive experiments on real data were carried out, and results show that the proposed algorithm produces high-resolution images with better quality, particularly in the presence of large-scale or complicated motion fields.