一种改进的LK光流算法应用研究

本文在LK光流算法的基础之上进行改进,提出了一种新的面向视频中物体特征复杂、背景情况复杂、可形变物体的物体实时识别跟踪技术,并基于此算法在嵌入式平台上实现身份识别与网络电视重点个性化推荐系统.     

基于深度卷积特征光流的形变医学图像配准算法

光流法是一种基于光流场模型的重要而有效的形变配准算法。针对现有光流法所用特征质量不高使得配准结果不够准确的问题，将深度卷积神经网络特征和光流法相结合，提出了基于深度卷积特征光流（DCFOF）的形变医学图像配准算法。首先利用深度卷积神经网络稠密地提取图像中每个像素所在图像块的深度卷积特征，然后基于固定图像和浮动图像间的深度卷积特征差异求解光流场。通过提取图像的更为精确和鲁棒的深度学习特征，使求得的光流场更接近真实形变场，提升了配准精度。实验结果表明，所提算法能够更有效地解决形变医学图像配准问题，其配准精度优于Demons算法、尺度不变特征变换(SIFT) Flow算法以及医学图像专业配准软件Elastix。     

基于非刚性配准的交互式医学图像序列分割

提出了一种新的交互式医学图像序列分割算法,该算法将非刚性配准技术和解剖先验知识相结合把图像分割问题转化为图像配准问题。首先采用Demons算法进行图像配准,用光流法计算瞬时位移,设计了一个新的停止准则使其能自适应地确定迭代次数,并将它在金字塔型的多尺度框架下实现。然后用配准得到的形变域对已精确分割的图像进行形变就能自动地获得未分割目标图像的分割结果。扩展上述过程就可实现整个图像序列分割。试验结果表明该算法用户干预少、分割速度快、分割结果准确。     

基于先验信息的运动物体分割与跟踪

提出一种基于先验信息的运动物体分割与跟踪算法。该算法假设帧间运动物体颜色直方图和大小等信息是相对不变的,利用动态规划思想最小化当前帧目标物体颜色直方图和大小与已知目标物体颜色直方图和大小信息的差距,从而找到较准确的目标物体轮廓。与梯度向量流算法相比,该算法对初始轮廓的鲁棒性较好,能在复杂的背景中找到物体轮廓。     

融合多特征的运动一致性图像分割

目的:在彩色图像分割中,光流法能够得到运动区域,但难以获得运动目标准确的分割边界,而常用的算法往往会产生过分割。为了克服光流法的不足,在保留显著性区域的同时抑制过分割,从而获得具有运动一致性区域的分割结果,提出融合多特征的运动一致性图像分割算法。方法:首先通过Mean Shift算法获取图像的初始分割,然后利用空域信息（包括颜色、边缘和区域面积）对视觉感知上具有相似性的区域进行合并,再利用时域信息进行运动一致性区域合并,最终得到分割结果。结果:实验结果表明通过结合时空信息,该方法能够有效抑制过分割,不仅弥补了光流场不能准确提取目标边缘的不足,而且提高了分割目标的完整性。结论:与两种流行的彩色图像分割算法相比,所提方法获得了更加理想的结果。     

融合光流与多视角几何的动态视觉SLAM系统

视觉同步定位与地图构建(SLAM)在动态干扰的情况下,导致定位精度下降且无法准确构建静态地图,提出一种结合光流和多视角几何的动态视觉SLAM系统,该系统是在ORB-SLAM2的基础上进行改进的。在追踪线程中引入处理后的光流信息,结合多视图几何,得到动态区域掩码对视野内图像帧进行分割,实现动态区域检测并滤除动态区域中的特征点,在保证视觉SLAM系统实时性的同时提高追踪准确度,替换原本的地图构建线程。在新的地图构建线程中,引入光流信息及Mobile NetV2实例分割网络。利用实例分割网络分割结果结合光流动态区域掩码对获取到的有序点云逐层分割,解决地图构建中动态物体造成的“拖影”问题。同时对分割后的点云团融合语义信息,最终构建静态语义八叉树地图。在TUM Dynamic Objects数据集上的实验结果表明,相较于ORB-SLAM2,在高动态场景序列测试中,该算法的定位精度平均提升70.4%,最高可提升90%。     

基于非刚体运动光流算法的面部表情识别

本文讨论了基于光流法的面部表情识别。由于面部表情运动是一非刚体运动，容易产生形变，因此标准光流法估计不准确。为此，本文通过引入div-curl样条函数作为扩展光流约束方程的附加约束条件，推导了非刚体光流算法，并给出了一阶和二阶div-curl样条约束下光流的数值解。最后将该算法用于面部表情特征提取，构建了HMM与BP神经网络混合分类器。实验结果表明面部表情识别率得到显著提高。     

基于宏块的Hs光流算法运动估计优化研究

光流场属于一种运动参数,它不仅能够为人们提供目标物体的运动信息,还能使人们对运动物体进行有效的识别与定位,从而使人们更加有效的对目标物体进行运动估计,这也使光流场在计算机视觉领域中有着非常重要的应用.Hs光流算法对于提高光流场质量有着决定性的影响,但其在对目标物体运动信息进行识别、跟踪与估计时,常常存在计算量过大、易受噪声影响等问题,这也使Hs光流算法难以满足人们的数据处理需求.为此,有必要对Hs光流算法进行相应的改进,以此提高光流场质量.本文通过对Hs光流算法在运动估计优化中存在的问题及其相关影响因素进行分析,提出了Hs光流算法的改进思路,在此基础上结合宏块运动估计算法对改进后的Hs光流算法运动估计优化进行深入的研究.     

基于形变模型的图像分割和非刚性目标的跟踪

本文在活动轮廓的基础上,提出了基于形变模型的图像分割和非刚性目标的跟踪方法.为了克服活动轮廓的一些缺陷,引入了新的与图像特性有关的外部能量和松弛法;将形变模型和光流模型相结合用于非刚性目标跟踪.该方法对噪声不敏感,能准确、可靠地检测物体曲率高的边缘部分,跟踪非刚性运动目标.实验结果验证了该方法的有效性.     

图切割支持的融合颜色和梯度特征的实时背景减除方法

通过融合图像的颜色和梯度特征,实现了一种实时背景减除方法.首先融合颜色和梯度特征建立新的能量函数;然后基于图切割算法最小化能量函数,并对前景/背景进行分割;最后使用光流验证前景区域的真实性,并更新背景模型.对不同场景的实验结果表明：该方法可以实时地检测出视频序列中的运动物体,结果准确、有效.     

Motion estimation and segmentation

In the general structure-from-motion (SFM) problem involving several moving objects in a scene, the essential first step is to segment moving objects independently. We attempt to deal with the problem of optical flow estimation and motion segmentation over a pair of images. We apply a mean field technique to determine optical flow and motion boundaries and present a deterministic algorithm. Since motion discontinuities represented by line process are embedded in the estimation of the optical flow, our algorithm provides accurate estimates of optical flow especially along motion boundaries and handles occlusion and multiple motions. We show that the proposed algorithm outperforms other well-known algorithms in terms of estimation accuracy and timing.     

一种基于帧间差分和光流技术结合的运动车辆检测和跟踪新算法

为了改进智能交通中的运动车辆检测和跟踪方法,提出一种基于改进的帧间差分和光流技术结合的运动车辆检测和跟踪的新方法。先用帧间差分法检测出运动物体的运动区域,再计算差值图中不为零处的光流,然后利用其光流场来实现运动目标的跟踪。为了减少计算量,提出一种基于最优估计的点匹配技术和光流均匀采样策略的光流场计算方法,并通过对灰度化后的光流场进行自适应阈值分割、形态学滤波等处理,实现了实时的运动目标检测和跟踪。     

Deformation by examples: a density flow approach

In this article, a shape transformation technique is introduced for deforming objects based on a given deformation example. The example consists of two reference shapes representing two different states of an object. The reference shapes are assumed to morph from one state to the other. The evolution between the two reference shapes determines the shape transformation function. Any given objects can then be deformed by the same transformation. A continuous 4D Radial Basis Function is used to construct a density flow field (an extension of the optical flow in computer vision) representing the shape transformation of the example in 3‐space. Objects embedded in the density flow field are deformed by moving vertices of the objects along the density flow vectors. Additional parameters are introduced to control the process of the deformation. This provides explicit control on the shape of the object obtained in the deformation process. Copyright © 2007 John Wiley & Sons, Ltd.     

基于多尺度变形卷积的特征金字塔光流计算方法

针对现有深度学习光流计算方法的运动边缘模糊问题,提出了一种基于多尺度变形卷积的特征金字塔光流计算方法.首先,构造基于多尺度变形卷积的特征提取模型,显著提高图像边缘区域特征提取的准确性;然后,将多尺度变形卷积特征提取模型与特征金字塔光流计算网络耦合,提出一种基于多尺度变形卷积的特征金字塔光流计算模型;最后,设计一种结合图像与运动边缘约束的混合损失函数,通过指导模型学习更加精准的边缘信息,克服了光流计算运动边缘模糊问题.分别采用MPI-Sintel和KITTI2015测试图像集对该方法与代表性的深度学习光流计算方法进行综合对比分析.实验结果表明,该方法具有更高的光流计算精度,有效解决了光流计算的边缘模糊问题.     

深度光流估计方法研究进展

结合深度学习模型实现光流端到端的计算是当前计算机视觉领域的一个研究热点.文中对基于深度学习的光流估计方法进行总结和梳理.首先,介绍了光流的起源与定义;其次,总结了现有的数据集合和评价指标;最重要的是,着重从3个方面回顾了深度光流估计方法,包括有监督的深度光流估计方法、无监督的深度光流估计方法以及对现有光流估计方法的性能对比分析.分析表明,参照传统方法设计小而轻且泛化性能好的深度光流网络是未来的研究方向.在此基础上,进一步分析和介绍了当下光流估计与视频分析任务联合学习的一系列代表性方法,指出了设计由任务驱动的深度光流网络是很有应用价值的研究方向.最后,总结了深度光流估计存在的问题和挑战,并对未来工作进行展望.     

Motion estimation on meteorological infrared data using a total brightness invariance hypothesis

This work investigates a novel approach for cloud motion wind (CMW) estimation of Meteosat infrared images. It is motivated by the fact that variational techniques, such as those employed for computing the optical flow, are successfully applied to many computer vision applications but fail in this particular applicative context, mainly because optical flow techniques are adapted to rigid objects on visible data. The objective of this work is not to propose a full operational process for CMW estimation, but rather to improve optical flow techniques by applying constraints adapted to the specificity of meteorological infrared imagery.     

基于卫星图像数据的大范围风场重建

在机载气象雷达早期开发中,数值天气模型是一个非常重要的环节,而天气模型中风场的准确性直接影响整个模型的准确性。为解决数值天气模型中的连续图像运动分析问题,提出一种基于运动场Helmholtz分解的低维流体运动估计方法。通过少量涡流粒子和源粒子的演化,得到光流场的低维参数化表达,即非旋旋转量和螺旋量基函数的线性组合,其中基函数由格林核梯度构成,系数值和基函数参数通过最小化代价函数获得。实验结果表明,与传统光流法相比,该方法的计算速度快了近4倍,风场更为准确地反映了实际的天气状况,在风场反演中更为可靠。     

图象光流场计算技术研究进展

时变图象光流场计算技术是计算机视觉中的重要研究内容，也是当今研究的热点问题。为了使人们对该技术有一个较全面的了解，因而对时变图象光流场计算技术的研究和进展做了较系统的论述，首先分别列举了灰度时变图象和彩色时变图象的光流场计算方法，并对这些方法进行了分类，然后总结了出目前图象光流场计算中存在的几个问题，最后对光流场计算技术的研究发展及其应用前景指出了一些可能的方向。     

Joint segmentation of collectively moving objects using a bag-of-words model and level set evolution

In scenes with collectively moving objects, to disregard the individual objects and take the entire group into consideration for motion characterization is a promising approach with wide application prospects. In contrast to studies on the segmentation of independently moving objects, our purpose is to construct a segmentation of these objects to characterize their motions at a macroscopic level. In general, the collectively moving objects in a group have very similar motion behavior with their neighbors and appear as a kind of global collective motion. This paper presents a joint segmentation approach for these collectively moving objects. In our model, we extract these macroscopic movement patterns based on optical flow field sequences. Specifically, a group of collectively moving objects correspond to a region where the optical flow field has high magnitude and high local direction coherence. As a result, our problem can be addressed by identifying these coherent optical flow field regions. The segmentation is performed through the minimization of a variational energy functional derived from the Bayes classification rule. Specifically, we use a bag-of-words model to generate a codebook as a collection of prototypical optical flow patterns, and the class-conditional probability density functions for different regions are determined based on these patterns. Finally, the minimization of our proposed energy functional results in the gradient descent evolution of segmentation boundaries which are implicitly represented through level sets. The application of our proposed approach is to segment and track multiple groups of collectively moving objects in a large variety of real-world scenes.     

融合光流速度与背景建模的目标检测方法

为了克服传统基于像素的背景建模方法不能很好地描述背景运动的问题,提出了一种融合光流速度与背景建模的目标检测方法。结合像素的灰度信息、空间信息和时间信息计算出每个像素的光流速度,利用光流速度在时间域上的统计信息为背景建立光流速度场模型。利用建立的背景模型快速、准确地实现运动目标的检测。实验结果表明,融合光流速度的背景建模方法能有效地描述背景的运动,显著降低运动背景产生的噪音,鲁棒地实现运动目标检测。