深度光流估计方法研究进展

结合深度学习模型实现光流端到端的计算是当前计算机视觉领域的一个研究热点.文中对基于深度学习的光流估计方法进行总结和梳理.首先,介绍了光流的起源与定义;其次,总结了现有的数据集合和评价指标;最重要的是,着重从3个方面回顾了深度光流估计方法,包括有监督的深度光流估计方法、无监督的深度光流估计方法以及对现有光流估计方法的性能...     

基于深度学习的客流量统计方法

针对目标快速移动和遮挡情况导致的客流统计存在误差的问题,设计目标的检测、跟踪、进门行为判断等策略,提出基于深度学习的餐饮业客流统计方法.首先,通过多数据集对YOLOv3-tiny模型进行训练,实现对于小目标的准确检测;进而设计多通道特征融合的目标跟踪算法,完成目标快速移动情况下的稳定跟踪;最后设计目标进门行为的判断方法,通过重叠率对目标的进门行为进行判断,实现对进门客流量的准确统计.最终通过实验验证,客流量统计的平均准确率达到93.5%.     

基于虚拟线圈的光流法车流量检测

在交通系统中常需要知道道路的占有率、车流量等交通参数。该文提出了一种有效的车流量检测方法,这种方法首先在视频图像中设置好虚拟线圈作为检测区域,然后用光流法对检测区域进行图像处理,求出光流场,根据光流场的信息来判断检测区域内是否有车辆通过,通过对检测区域的不断判断来统计车流量信息。试验证明该文提出的车流量检测算法具有实施方便、检测精度高的特点,而且很容易推广用来测量占有率、车速等其它交通参数。     

排除光流错误跟踪点的鲁棒方法

针对光流法用于跟踪光照变化和部分遮挡情况下的物体容易产生漂移的问题,通过比较跟踪点与该点补集映射关系产生的投影点之间的距离,提出了一种光流错误跟踪点排除方法——异类距法.首先证明了异类距排除误差最大元素的正确性;然后在静止场景受光照变化和部分遮挡情况下,给出了异类距排除错误跟踪点以及摄像机姿态矩阵在时间序列上的分布.针对视频序列的抖动情况,与传统方法进行比较的实验结果表明,该方法对于排除错误跟踪点是鲁棒的.     

基于分层置信度传播的光流估计方法

置信度传播算法作为一种有效的寻找图像间对应点的方法,近年来被广泛应用于光流估计.但是在估计大位移高精度光流时,将置信度传播直接应用于原图像会导致标签空间过大和处理时间过长的问题.为了克服这个缺点,我们提出了一种基于分层置信度传播的算法来估计高精度大位移光流.本文方法将输入图像视作马尔科夫随机场,为了提高效率,在超像素和像素两个层面上执行置信度传播.我们将超像素层得到的基础位移结果作为粗略的位移参考值,可以有效地减小像素层置信度传播的标签空间,并在有限的标签空间内得到高精度的光流估计结果.MPI Sintel光流数据集上的实验结果显示本文提出的方法在精度和速度上都取得了较好的结果.     

基于光流的快速人体姿态估计

针对目前深度学习领域人体姿态估计算法计算复杂度高的问题,提出了一种基于光流的快速人体姿态估计算法.在原算法的基础上,首先利用视频帧之间的时间相关性,将原始视频序列分为关键帧和非关键帧分别处理（相邻两关键帧之间的图像和前向关键帧组成一个视频帧组,同一视频帧组内的视频帧相似）,仅在关键帧上运用人体姿态估计算法,并通过轻量级光流场将关键帧识别结果传播到其他非关键帧.其次针对视频中运动场的动态特性,提出一种基于局部光流场的自适应关键帧检测算法,以根据视频的局部时域特性确定视频关键帧的位置.在OutdoorPose和HumanEvaI数据集上的实验结果表明,对于存在背景复杂、部件遮挡等问题的视频序列中,所提算法较原算法检测性能略有提升,检测速度平均可提升89.6%.     

Scaling Conditional Random Fields by One-Against-the-Other Decomposition

As a powerful sequence labeling model, conditional random fields （CRFs） have had successful applications in many natural language processing （NLP） tasks. However, the high complexity of CRFs training only allows a very small tag （or label） set, because the training becomes intractable as the tag set enlarges. This paper proposes an improved decomposed training and joint decoding algorithm for CRF learning. Instead of training a single CRF model for all tags, it trains a binary sub-CRF independently for each tag. An optimal tag sequence is then produced by a joint decoding algorithm based on the probabilistic output of all sub-CRFs involved. To test its effectiveness, we apply this approach to tackling Chinese word segmentation （CWS） as a sequence labeling problem. Our evaluation shows that it can reduce the computational cost of this language processing task by 40-50% without any significant performance loss on various large-scale data sets.     

基于光流的ATM机异常行为实时检测

异常行为检测在自助银行智能监控系统领域中有广泛的应用前景.本文针对此应用领域,提出了基于区域光流特征的异常行为检测方法.首先利用混合高斯模型来表示背景像素的变化并自适应更新背景模型,用背景差法从视频序列中提取运动前景;采用lucas-kanade光流法计算出运动区域内的光流信息.采用基于幅值的加权方向直方图描述行为,计算区域内直方图的运动熵发现候选异常区域,再利用支持向量机进行分类.从实验结果可以看出,能够较好的识别出异常事件,并且实时性较好,能够满足实际应用需求.     

利用光流法实现运动目标提取的研究

为了满足对于道路交通车流量的预测评估需求,需要实现对监控视频中运动目标的准确提取。论文提出了一种方案:采用LK高斯金字塔光流法和帧差法相结合的方法实现流动车辆的提取。LK光流法在相对理想化的条件下,无需提前了解场景信息,能够自己独自检测运动对象。但是LK光流法在实际跟踪环境中并不太理想,针对该问题,提出结合高斯金字塔和帧差法,提高光流法的跟踪性能。二者的巧妙结合恰好可以扬长避短,获取了较好的实验效果。该方法是在VS平台上用C++语言进行程序编写,并调用了OpenCV里面的光流法有关函数。实验结果表明,采用LK高斯金字塔光流法和帧差法相结合的方法可以准确统计当前待检测视频中流动车辆的数目,实用性较高,对道路交通的疏导和公共安全领域具有一定的参考价值。     

基于R-Tree的空间查询代价模型研究

本文对基于R-Tree的空间查询代价模型进行了探讨，分析了Y．Theodoridis等提出的矩形密度模型^[2，3]，利用其结果提出了代价估计的概率模型，并通过实验验证了概率模型的估计精确度较矩形密度模型有了显著的提高．     

一种面向移动机器人的光流场计算方法

光流场的计算是移动机器人领域一个很重要的研究课题,但是现有的光流场计算方法并未充分利用移动机器人的特点。文章假设移动机器人配备了双目视觉系统和码盘,在此基础上提出了一种基于立体匹配技术的光流场计算方法。通过对实际采集的图片的对比试验,表明该方法较之传统方法,具有速度更快,准确性更高的优点。     

五点约束最小二乘法估计光流速度场

提出一种二维光流场快速计算算法．首先求取当前像素点光流约束线与其8邻域像素点所对应8条光流约束线的交点;其次从8个交点中选取几何位置处于中间的4点,即速度处于中间值,且相互接近的4点,并以其对应的像素点与当前像素点一起构成5置信点;利用5置信点的光流约束方程构造一超定的方程组;最后利用最小二乘法求取当前像素点的光流速度．     

Extracting Structure from Optical Flow Using the Fast Error Search Technique

In this paper, we present a globally optimal and computationally efficient technique for estimating the focus of expansion (FOE) of an optical flow field, using fast partial search. For each candidate location on a discrete sampling of the image area, we generate a linear system of equations for determining the remaining unknowns, viz. rotation and inverse depth. We compute the least squares error of the system without actually solving the equations, to generate an error surface that describes the goodness of fit across the hypotheses. Using Fourier techniques, we prove that given an N × N flow field, the FOE, and subsequently rotation and structure, can be estimated in operations. Since the resulting system is linear, bounded perturbations in the data lead to bounded errors.We support the theoretical development and proof of our technique with experiments on synthetic and real data. Through a series of experiments on synthetic data, we prove the correctness, robustness and operating envelope of our algorithm. We demonstrate the utility of our technique by applying it for detecting obstacles from a monocular sequence of images.     

基于光流场的动态目标分割

采用光流法结合基于小波变换的像素级图像融合算法,研究了一种动态目标分割方法。光流场可以看作是带有灰度的像素点在图像平面运动产生的瞬时速度场,算法先以光流法计算出的动态目标瞬时速度场的水平速度分量和垂直速度分量作为初始信息,再利用基于小波变换的融合算法获得动态目标的初始分割,最后对初始分割结果进行图像去噪和图像增强,并最终获得清楚的分割图。实验证明,该方法能够产生良好的目标分割效果。     

Reliable and Efficient Computation of Optical Flow

In this paper, we present two very efficient and accurate algorithms for computing optical flow. The first is a modified gradient-based regularization method, and the other is an SSD-based regularization method. For the gradient-based method, to amend the errors in the discrete image flow equation caused by numerical differentiation as well as temporal and spatial aliasing in the brightness function, we propose to selectively combine the image flow constraint and a contour-based flow constraint into the data constraint by using a reliability measure. Each data constraint is appropriately normalized to obtain an approximate minimum distance (of the data point to the linear flow equation) constraint instead of the conventional linear flow constraint. These modifications lead to robust and accurate optical flow estimation. We propose an incomplete Cholesky preconditioned conjugate gradient algorithm to solve the resulting large and sparse linear system efficiently. Our SSD-based regularization method uses a normalized SSD measure (based on a similar reasoning as in the gradient-based scheme) as the data constraint in a regularization framework. The nonlinear conjugate gradient algorithm in conjunction with an incomplete Cholesky preconditioning is developed to solve the resulting nonlinear minimization problem. Experimental results on synthetic and real image sequences for these two algorithms are given to demonstrate their performance in comparison with competing methods reported in literature.     

基于相位微分技术的光流估计

提出一种基于相位微分技术的光流估计方法.该方法选择6个方向对图像进行Gabor滤波,并把每个方向滤波后的图像叠加,作为特征图像计算时空相位梯度,再用相位梯度计算光流.用合成图像和真实图像对本文算法进行测试,实验结果表明,该算法在光流的计算精度优于Horn ＆ Schunck光流算法.     

"数字烟草"中空间数据的集成与管理方法

"数字农业"是21世纪农业发展的必然趋势,也是"数字地球"的重要组成部分。而"数字烟草"是"数字农业"中的具体体现,是集GIS、GPS和RS于一体的大型系统。本文针对烟草数据的特点,利用空间数据引擎(SDE)与数据库管理系统(DBMS),从空间数据库的总体设计到栅格、矢量的存储结构进行了系统深入的研究,给出了一套数字烟草3S空间信息集成和管理的方法,并将其成功地应用到空间数据库的建设中。     

基于光流场与语义特征融合的心脏Cine-MRI左心室心肌分割方法

由于运动原因会造成活体心脏MRI图像中左心室心内膜与心肌边缘轮廓模糊,进而导致分割不准确以及分割精度较低,针对这些问题,本文提出一种基于光流场与语义特征融合的心脏4D Cine-MRI (magnetic resonance imaging)左心室心肌分割模型OSFNet.该模型包含了光流场计算和语义分割网络:将光流场计算得到的运动特征与图像语义特征进行融合,通过网络学习达到了最优的分割效果.模型采用编码器-解码器结构,本文提出的多感受野平均池化模块用于提取多尺度语义特征,减少了特征丢失;解码器部分使用了多路上采样方法和跳跃连接,保证了语义特征被有效还原.本文使用ACDC公开数据集对模型进行训练与测试,并分别与DenseNet和U-Net在左心室内膜分割、左心室内膜和心肌分割目标上进行对比.实验结果表明, OSFNet在Dice和HD等多个指标上取得了最佳效果.     

一种局部和全局相结合的光流计算方法

光流场是计算机视觉的一个研究方向,微分法是计算光流场的一个常用方法,它分为全局方法和局部方法,全局方法能够得到100％的致密的光流场,而局部方法大多只能得到稀疏的光流场,但它在噪声情况下具有更好的鲁棒性。本文提出一种局部和全局相结合的方法．首先给出五点光流约束的局部方法,再结合全局方法,计算得到了既致密又 鲁棒的光流场。     

一种基于SIFT特征光流的运动目标跟踪算法

针对传统光流跟踪算法计算复杂度高、受噪声影响大的问题,提出了一种基于尺度不变特征变换(Scale Invariant Feature Transform,SIFT)和卡尔曼滤波器的特征点光流跟踪算法。首先,利用SIFT算法提取图像中的特征点;然后,根据最小绝对值误差准则对运动目标的特征点进行匹配,建立卡尔曼滤波器方程来计算特征点光流;最后,通过光流特征聚类实现运动目标的识别与跟踪。实验结果表明,算法对自然场景中的运动目标具有良好的跟踪特性,稳定性好,计算量小,易于实现。