非刚性稠密匹配大位移运动光流估计

光流场是目标检测,无人机定位等众多计算机视觉任务的重要基础.本文针对非刚性大位移运动等困难运动类型图像序列光流计算的准确性与鲁棒性问题,提出一种基于非刚性稠密匹配的TV-L1（Total Variational with L1 norm,TV-L1）大位移光流计算方法.首先,使用非刚性稠密块匹配计算图像序列初始最近邻域场,其次根据图像相邻块区域的相似性消除初始最近邻域场中的非一致性区域以得到准确的图像最近邻域场.然后,在图像金字塔分层计算框架下,将图像最近邻域场引入基于非局部约束的TV-L1光流估计模型,通过Quadratic Pseudo-Boolean Optimization（QPBO）融合算法在金字塔分层图像光流计算时对TV-L1模型光流估计进行大位移运动补偿.最后,采用标准测试图像序列对本文方法和当前代表性的变分方法LDOF（Large Displacement Optical Flow,LDOF）、Classic+NL、NNF（Nearest Neighbor Fields,NNF）以及深度学习方法FlowNet2.0进行对比分析.实验结果表明,本文方法能有效提高非刚性运动、大位移运动以及运动遮挡等困难运动类型光流估计的精度与鲁棒性.     

相互结构引导滤波TV-L1变分光流估计

由于光流场既包含物体的运动信息,又包含场景的三维结构信息,因此光流计算技术是计算机视觉和机器视觉领域研究的重要任务之一.针对现有光流计算方法在图像边缘保护方面存在过度平滑问题,提出一种基于相互结构引导滤波的TV-L1（Total Variational with L1 norm,TV-L1）变分光流估计方法.通过提取置信度较高的图像相互结构区域,构造基于相互结构引导滤波的全局目标函数,并采用金字塔分层细化与交替迭代方案结合的策略进行优化,该方法可以较好的保护图像边缘信息.最后采用标准测试图像集对本文方法与现有代表性变分方法LDOF（Large Displacement Optical Flow,LDOF）,CLG-TV（Combined Local-Global Total Variation,CLG-TV）,Classic++,NNF（Nearest Neighbor Fields,NNF）以及深度学习方法FlowNet2.0进行对比,实验结果表明本文方法具有较高的光流估计精度与鲁棒性,尤其对图像边缘保护具有显著的效果,并且在运动目标检测,机器人避障等方面具有一定应用前景.     

基于金字塔块匹配的双目场景流估计

针对现有双目场景流计算方法在大位移、运动遮挡及光照变化等复杂场景下场景流估计的准确性与鲁棒性问题,提出一种基于金字塔块匹配的双目场景流计算方法 .首先对双目图像序列进行超像素分割和视差估计,得到图像初始分割结果和视差信息,然后建立基于金字塔块匹配的运动模型并采用Ransac随机一致性算法拟合刚性运动模型和最小化重投影算法估计对象运动参数.最后,本文将金字塔块匹配结果作为约束项,联合对象运动参数和超像素平面参数构建基于金字塔块匹配的双目场景流估计能量函数模型,通过最小化能量函数得到最终场景流.实验分别采用KITTI2015(Karlsruhe Institute of Technology and Toyota technological Institute 2015)和MPI-Sintel(Max-Planck Institute and Sintel)数据集测试图像对本文方法和具有代表性场景流算法进行综合对比分析,结果表明本文方法相对于其他对比方法有效提高大位移、运动遮挡以及光照变化情况下场景流估计精度和鲁棒性.     

基于光流与Delaunay三角网格的图像序列运动遮挡检测

针对图像序列运动遮挡检测的准确性与鲁棒性问题,提出一种基于光流与Delaunay三角网格的图像序列运动遮挡检测方法.首先构造基于非局部约束的TV-L¹光流估计模型;然后根据图像Delaunay三角网格划分与光流估计结果对图像序列帧间对应像素点和局部三角形进行运动遮挡判断并检测遮挡区域;最后采用MPI Sintel和Middlebury数据库提供的测试图像集对本文方法与SMOD、GOSF等代表性方法进行对比测试.实验结果表明,本文方法相对于SMOD和GOSF方法在十组测试图像集的平均漏检率和误检率分别降低15.21%与30.57%,说明本文方法针对非刚性运动、复杂场景、弱纹理、光照阴影以及大位移等类型图像序列均具有较高的检测精度和较好的鲁棒性.     

联合遮挡约束与残差补偿的特征金字塔光流计算方法

针对现有深度学习光流计算模型在运动遮挡和大位移等场景下光流计算的准确性与鲁棒性问题，本文提出一种联合遮挡约束与残差补偿的特征金字塔光流计算方法 .首先，构造基于遮挡掩模的光流约束模块，通过预测遮挡掩模特征图抑制变形特征的边缘伪影，克服运动遮挡区域的图像边缘模糊问题.然后，采用特征图变形策略构建基于特征变形的光流残差补偿模块，利用该模块学习到的残差光流细化原始光流场，改善大位移运动区域的光流计算效果.最后，采用特征金字塔框架构建联合遮挡约束与残差补偿的光流计算网络模型，提升大位移和运动遮挡场景下的光流计算精度.分别采用MPI-Sintel (Max-Planck Institute and Sintel)和KITTI (Karlsruhe Institute of Technology and Toyota Technological Institute)数据集对本文方法和代表性传统光流计算方法、深度学习光流计算方法进行综合对比分析，实验结果表明本文方法相对于其他方法能够有效提升大位移和运动遮挡场景下的光流计算精度与鲁棒性.     

基于语义分割的双目场景流估计

针对现有场景流计算方法在复杂场景、大位移和运动遮挡等情况下易产生运动边缘模糊的问题,提出一种基于语义分割的双目场景流估计方法.首先,根据图像中的语义信息类别,通过深度学习的卷积神经网络模型将图像划分为带有语义标签的区域;针对不同语义类别的图像区域分别进行运动建模,利用语义知识计算光流信息并通过双目立体匹配的半全局匹配方法计算图像视差信息.然后,对输入图像进行超像素分割,通过最小二乘法耦合光流和视差信息,分别求解每个超像素块的运动参数.最后,在优化能量函数中添加语义分割边界的约束信息,通过更新像素到超像素块的映射关系和超像素块到移动平面的映射关系得到最终的场景流估计结果.采用KITTI 2015标准测试图像序列对本文方法和代表性的场景流计算方法进行对比分析.实验结果表明,本文方法具有较高的精度和鲁棒性,尤其对于复杂场景、运动遮挡和运动边缘模糊的图像具有较好的边缘保护作用.     

FRFCM聚类与深度优化的RGBD场景流计算

针对现有RGBD场景流计算模型在复杂场景、非刚性运动和运动遮挡等情况下易产生场景过度平滑和运动边缘模糊的问题,提出一种基于FRFCM（Fast and Robust Fuzzy C-Means）聚类与深度优化的RGBD场景流计算方法.首先以图像序列连续帧间光流信息为基准,利用FRFCM聚类算法对输入图像进行初始分割,然后根据深度图像的运动边缘信息优化初始分割结果,提取高置信度的运动分层信息.最后设计基于图像分割的RGBD场景流能量函数,采用金字塔变形策略计算精确的场景流结果.分别采用Middlebury和MPI-Sintel数据库所提供的测试图像集对本文方法和现有的RGBD场景流算法进行综合对比分析,实验结果表明本文方法相对于其他方法具有更好的场景流估计精度和鲁棒性,有效改善了场景过度平滑和运动边缘模糊问题.     

基于改进ORB的图像特征匹配算法研究

针对ORB算法特征匹配精度低的缺陷,结合金字塔光流特性,提出一种优化ORB特征匹配的方法.首先,采用区域分块法对待匹配图像进行处理,挑选出最佳匹配子块,缩小无效匹配区域;接着,对子块提取ORB关键字并计算匹配描述子得到粗匹配点对,采用金字塔光流法追踪ORB特征点,求解特征点的运动位移矢量,以此剔除粗匹配部分错误的匹配对...     

基于改进光流场和尺度不变特征变换的非刚性医学图像配准

该文对传统的变分光流模型进行了改进,结合尺度不变特征变换(SIFT)特征点提取提出一种新颖的非刚性医学图像配准算法.该算法模型使用亮度守恒与梯度守恒假设相结合的数据项,很好地解决了对医学图像中局部病灶异常、亮度不均匀等区域的处理问题;通过采用自适应的各向异性正则项,解决了传统光流模型中的过平滑所导致的图像严重模糊和重要细节丢失的问题;通过结合SIFT特征点提取,并采用多分辨率分层细化、内部不动点迭代以及由粗到细的变形技术求解策略,很好地解决了传统光流场模型无法对大形变医学图像以及细节进行配准的问题.实验证明:该文的模型和算法可以很好地实现对医学图像的非刚性配准.     

单目图像序列光流三维重建技术研究综述

由单目图像序列光流重建物体或场景的三维运动与结构是计算机视觉、图像处理与模式识别等领域的重要研究内容,在机器人视觉、无人机导航、车辆辅助驾驶以及医学影像分析等方面具有重要的应用。本文首先从精度与鲁棒性等方面对单目图像序列光流计算及三维重建技术近年来取得的进展进行综述与分析。然后采用Middlebury测试图像序列对HS、LDOF、CLG-TV、SOF、AOFSCNN 和 Classic ＋NL 等典型光流算法以及 Adiv、RMROF、Sekkati 和DMDPOF等基于光流的间接与直接重建方法进行实验对比分析,指出各对比方法的优点与不足,归纳各类方法的性能特点与适用范围。最后对利用分数阶微分模型、非局部约束、立体视觉以及深度线索解决亮度突变、非刚性运动、运动遮挡与模糊情况下光流计算及重建模型的局限性与鲁棒性问题进行总结与展望。     

A non-local propagation filtering scheme for edge-preserving in variational optical flow computation

The median filtering heuristic is considered to be an indispensable tool for the currently popular variational optical flow computation. Its attractive advantages are that outliers reduction is attained while image edges and motion boundaries are preserved. However, it still may generate blurring at image edges and motion boundaries caused by large displacement, motion occlusion, complex texture, and illumination change. In this paper, we present a non-local propagation filtering scheme to deal with the above problem during the coarse-to-fine optical flow computation. First, we analyze the connection between the weighted median filtering and the blurring of image edge and motion boundary under the coarse-to-fine optical flow computing scheme. Second, to improve the quality of the initial flow field, we introduce a non-local propagation filter to reduce outliers while preserving context information of the flow field. Furthermore, we present an optimization combination of non-local propagation filtering and weighted median filtering for the flow field estimation under the coarse-to-fine scheme. Extensive experiments on public optical flow benchmarks demonstrate that the proposed scheme can effectively improve the accuracy and robustness of optical flow estimation.     

基于LK光流和网格运动统计的图像匹配改进算法

针对AKAZE算法在玻璃封装电连接器图像匹配中准确率低及耗时长的问题,文中提出了基于LK光流和网格运动统计的图像匹配改进算法。首先采用AKAZE算法提取玻璃封装电连接器特征点,运用M-LDB描述子进行特征描述。然后利用LK光流法计算匹配区域进行条件约束,从而得到匹配点,并通过FLANN算法进行特征匹配。最后将玻璃封装电连接器图像划分为多个网格,计算FLANN匹配好的特征点邻域的正确匹配个数和阈值并剔除误匹配点。文中实验采用公开数据集和玻璃封装电连接器数据,从实时性和准确性两方面对算法性能进行验证分析。结果表明,改进的算法在处理模糊、亮度及旋转变化的玻璃封装电连接器图像对时,其匹配准确率均达到93%以上,耗时为0.4 s内,证明了算法的有效性。     

Variational method for super-resolution optical flow

The motion fields in an image sequence observed by a car-mounted imaging system depend on the positions in the imaging plane. Since the motion displacements in the regions close to the camera centre are small, for accurate optical flow computation in this region, we are required to use super-resolution of optical flow fields. We develop an algorithm for super-resolution optical flow computation. Super-resolution of images is a technique for recovering a high-resolution image from a low-resolution image and/or image sequence. Optical flow is the appearance motion of points on the image. Therefore, super-resolution optical flow computation yields the appearance motion of each point on the high-resolution image from a sequence of low-resolution images. We combine variational super-resolution and variational optical flow computation in super-resolution optical flow computation. Our method directly computes the gradient and spatial difference of high-resolution images from those of low-resolution images, without computing any high-resolution images used as intermediate data for the computation of optical flow vectors of the high-resolution image.     

一种基于改进块匹配算法的运动车辆检测

针对传统块匹配算法计算量大、光照变化较敏感和实时性差的缺陷,本文对块匹配算法进行了相关研究,提出了改进算法。首先把两幅彩色图像转化为灰度图像,并通过概率松弛标记算法获得边缘图像,计算相邻两幅图像的差分图像得到运动区域,然后将差分图像与边缘检测图像相与得到运动区域的边缘信息,再进行匹配得到位移矢量场并对其进行矢量中值滤波,最后通过顺序区域增长将运动车辆分割出来。实验结果表明:本文方法相对于传统方法平均检测时间降低约58ms,而平均检测率提高了约6.7%。这种算法鲁棒性强、实时性好。     

基于融合改进RANSAC光流法的无人机视觉SLAM研究

针对同时定位与建图(SLAM)中存在定位精度不足、匹配特征点误差累积和特征匹配时间较长,提出了一种融合改进RANSAC光流法的优化算法。该方法基于传统RANSAC算法,加入最小二乘法对模型进行迭代优化来估计最优模型,对光流法的误匹配点进行剔除,大量减少图像误匹配特征点;把融合改进后的RANSAC光流法与特征点通过卡尔曼滤波进行融合,最后使用改进后的算法在公开的EuRoC MAV数据集中进行SLAM定位精度实验。实验结果表明：该改进算法能够有效减小光流法特征匹配的误差,从而提高无人机视觉SLAM的定位精度。