光流技术在微结构平面微运动测量中的应用

在经典的Horn-Schunck光流算法的基础上,根据微机电系统(MEMS)微结构的运动特性,引入标号场,提出基于标号场和邻域优化法相结合的光流算法对微结构的运动序列图像做运动估计.利用光学测量方法,开发了测试系统,能使微结构的运动可视化.系统包括:利用光学显微镜来实现微结构的放大,并将图像投影到CCD摄像机上;基于频闪成像原理来冻结微结构的高速运动状态,获取一系列动态图像序列;基于提出的标号场和邻域优化法相结合的光流算法对微结构的运动序列图像做运动估计,获取其重要动态特性参数.该方法具有非接触、高测量精度的特点.实验结果表明,该方法的测量重复性达40nm.     

非刚性稠密匹配大位移运动光流估计

光流场是目标检测,无人机定位等众多计算机视觉任务的重要基础.本文针对非刚性大位移运动等困难运动类型图像序列光流计算的准确性与鲁棒性问题,提出一种基于非刚性稠密匹配的TV-L1（Total Variational with L1 norm,TV-L1）大位移光流计算方法.首先,使用非刚性稠密块匹配计算图像序列初始最近邻域场,其次根据图像相邻块区域的相似性消除初始最近邻域场中的非一致性区域以得到准确的图像最近邻域场.然后,在图像金字塔分层计算框架下,将图像最近邻域场引入基于非局部约束的TV-L1光流估计模型,通过Quadratic Pseudo-Boolean Optimization（QPBO）融合算法在金字塔分层图像光流计算时对TV-L1模型光流估计进行大位移运动补偿.最后,采用标准测试图像序列对本文方法和当前代表性的变分方法LDOF（Large Displacement Optical Flow,LDOF）、Classic+NL、NNF（Nearest Neighbor Fields,NNF）以及深度学习方法FlowNet2.0进行对比分析.实验结果表明,本文方法能有效提高非刚性运动、大位移运动以及运动遮挡等困难运动类型光流估计的精度与鲁棒性.     

数字稳像中的快速和鲁棒运动估计研究

 提出了一种用于数字图像稳定的快速和鲁棒运动估计方法.在图像的运动估计中,首先采用一种预判局部宏块的算法：在计算运动矢量前对宏块的梯度信息进行分析以避免误匹配,通过减少参与计算的宏块数目提高处理速度;其次,提出快速估计宏块运动矢量的方法,用改进的序贯相似性算法(SSDA)进行块匹配,以提高运动矢量的计算速度;然后采用LMedS估计法去除不精确的宏块运动向量,用最小二乘法求解出最优的模型参数.实验结果表明了该方法的精确性、快速性和鲁棒性.     

基于金字塔块匹配的双目场景流估计

针对现有双目场景流计算方法在大位移、运动遮挡及光照变化等复杂场景下场景流估计的准确性与鲁棒性问题,提出一种基于金字塔块匹配的双目场景流计算方法 .首先对双目图像序列进行超像素分割和视差估计,得到图像初始分割结果和视差信息,然后建立基于金字塔块匹配的运动模型并采用Ransac随机一致性算法拟合刚性运动模型和最小化重投影算法估计对象运动参数.最后,本文将金字塔块匹配结果作为约束项,联合对象运动参数和超像素平面参数构建基于金字塔块匹配的双目场景流估计能量函数模型,通过最小化能量函数得到最终场景流.实验分别采用KITTI2015(Karlsruhe Institute of Technology and Toyota technological Institute 2015)和MPI-Sintel(Max-Planck Institute and Sintel)数据集测试图像对本文方法和具有代表性场景流算法进行综合对比分析,结果表明本文方法相对于其他对比方法有效提高大位移、运动遮挡以及光照变化情况下场景流估计精度和鲁棒性.     

基于图像局部结构的区域匹配变分光流算法

针对变分光流算法的计算精度与鲁棒性问题,提出一种基于图像局部结构的区域匹配变分光流算法.光流估计能量泛函的数据项采用图像结构守恒与灰度守恒相结合,并引入规则化非平方惩罚函数,保证了光流估计的精度与鲁棒性;平滑项采用随图像局部结构自适应变化的扩散策略结合区域匹配约束函数能够有效地保护运动物体或场景的边缘轮廓信息;在光流计算过程中引入金字塔分层细化策略克服图像序列中大位移运动引起的像素点漂移现象,并采用数学方法证明光流估计模型的鲁棒性和收敛性.多组实验表明,本文方法在图像中存在剧烈光照变化、非刚性物体复杂运动以及多目标大位移运动等情况下具有较高的计算精度、较好的鲁棒性.     

基于梯度场的彩色图像序列光流场算法

采用动态图像模型,针对实际环境中亮度改变的特点,充分利用彩色图像的色彩信息,提出基于梯度场的彩色图像序列光流法.试验结果表明,本文方法能在光照改变的条件下,得到各种复杂运动连续而一致的光流场.     

光流法在冠状动脉运动分析中的应用

采用光流法,由单面冠状动脉造影图像序列估计冠状动脉血管的二维运动。通过分析冠状动脉血管造影图像序列,计算出相关的血管运动参数,得到对心脏运动的定量估计。分别介绍了梯度光流法和特征光流法2种算法,并对其优缺点进行了比较。为了验证该运动估计方法的准确性,对临床得到的造影图像进行了实验。实验结果表明,算法具有可行性。     

一种基于灰度投影算法的车载电子稳像方法

通过分析车辆载体运动的特点和产生车载摄像系统动态图像抖动的原因,阐明了对车载摄像系统动态图像系列进行电子稳像的必要性.运用灰度投影算法对车载动态图像系列进行实验,通过计算互信息值检验电子稳像效果,初步探讨了适用于车载电子稳像运动矢量估计的算法.实验表明了对车载动态图像系列进行稳像是必要的,验证了在只存在平移量或者旋转量较小的情况下,灰度投影算法的有效性.     

基于语义分割的双目场景流估计

针对现有场景流计算方法在复杂场景、大位移和运动遮挡等情况下易产生运动边缘模糊的问题,提出一种基于语义分割的双目场景流估计方法.首先,根据图像中的语义信息类别,通过深度学习的卷积神经网络模型将图像划分为带有语义标签的区域;针对不同语义类别的图像区域分别进行运动建模,利用语义知识计算光流信息并通过双目立体匹配的半全局匹配方法计算图像视差信息.然后,对输入图像进行超像素分割,通过最小二乘法耦合光流和视差信息,分别求解每个超像素块的运动参数.最后,在优化能量函数中添加语义分割边界的约束信息,通过更新像素到超像素块的映射关系和超像素块到移动平面的映射关系得到最终的场景流估计结果.采用KITTI 2015标准测试图像序列对本文方法和代表性的场景流计算方法进行对比分析.实验结果表明,本文方法具有较高的精度和鲁棒性,尤其对于复杂场景、运动遮挡和运动边缘模糊的图像具有较好的边缘保护作用.     

一种基于小波变换和HSI的改进视频光流场估计算法

为了避免传统基于RGB颜色模型方法在方程组中各等式线性相关和存在孔径的问题,提出一种在HSI颜色模型下结合小波变换的方法计算彩色图像视频序列光流场的计算方法,这里将传统的灰度图像光流估计方法与HSI颜色模型估计方法相结合,并且用小波变换方法对光流矢量场的异常数据点或因为匹配错误而产生的异常块数据进行剔除,从而有效提高光流场估计精度,得到精密的彩色图像光流矢量场特征。     

A robust optical flow computation

This paper presents a new method for robust and accurate optical flow estimation. The significance of this work is twofold. Firstly, the idea of bi-directional scheme is adopted to reduce the model error of optical flow equation, which allows the second order Taylor＇s expansion of optical flow equation for accurate solution without much extra computational burden; Secondly, this paper establishs a new optical flow equation based on LSCM （Local Structure Constancy Model） instead of BCM （Brightness Constancy Model）, namely the optical flow equation does not act on scalar but on tensor-valued （matrix-valued） field, due to the two reason： （1） structure tensor-value contains local spatial structure information, which provides us more useable cues for computation than scalar; （2） local image structure is less sensitive to illumination variation than intensity, which weakens the disturbance of non-uniform illumination in real sequences. Qualitative and quantitative results for synthetic and real-world scenes show that the new method can produce an accurate and robust results.     

稳健的预分析多直线全局运动估计方法

本文提出了RTSG图像预分析和多直线全局运动估计方法,该方法首先根据光流场方程得到RTSG图像,并对RTSG图像进行预分析以去除图像中的外点和确定全局运动模型,然后提取多个直线特征元,利用直线特征元估计局部运动参数,最后用局部运动参数和与之相关的权值进行全局运动估计。     

一种快速、鲁棒的压缩视频光流场估计算法

该文针对视频运动特性的快速分析需求,提出了一种压缩域中的光流场估计算法。首先利用DCT变换后的两个AC系数估计出图像的空间偏导数,在此基础上再利用预测残差以及运动矢量对图像的时间偏导数进行估计。另外对编码过程中未进行前向运动预测的宏块特性进行了详细的分析,给出了这些宏块相对于前向参考帧的运动信息估计方法,并对时域不连续的图像块给出了一种修正的偏导数估计方法,以此解决遮挡、切换等现象。然后通过最小二乘法并结合图像的偏导数进行光流场估计。实验表明该方法在准确度上可以达到或超过像素域中的L-K估计方法,比起现有的压缩域估计方法也有一定提高,而在计算时间上相比像素域估计有了大幅度降低。     

一种改进的光流场计算方法

本文在基本约束方程和平滑性约束条件下,提出了一种改进的瞬时位置速度估计方法。这种方法不仅能够克服Ｈｏｒｎ方法在计算临近界的非运动点速度“漂移”问题,而且能加快算法的收敛速度,提高预测的准确性。通过对２Ｄ运动图像光流场计算,恢复和峰值信噪比的实验研究表明,这一新方法是有效的。     

Optical flow computation using extended constraints

Several approaches for optical flow estimation use partial differential equations to model changes in image brightness throughout time. A commonly used equation is the so-called optical flow constraint (OFC), which assumes that the image brightness is stationary with respect to time. More recently, a different constraint referred to as the extended optical flow constraint (EOFC) has been introduced, which also contains the divergence of the flow field of image brightness. There is no agreement in the literature about which of these constraints provides the best estimation of the velocity field. Two new solutions for optical flow computation are proposed, which are based on an approximation of the constraint equations. The two techniques have been used with both EOFC and OFC constraint equations. Results achieved by using these solutions have been compared with several well-known computational methods for optical flow estimation in different motion conditions. Estimation errors have also been measured and compared for different types of motion.     

视频DSP中运动估计的快速实现

运动估计是运动补偿技术的核心部分。本文在比较了VDSP中几种运动估计算法（光流分析法、块匹配法和象素递归法）的基础上,详细介绍了硬件复杂度较低、易于实现的块匹配法的典型电路。结合这种设计思路,设计出了具有良好前景的VDSP专用芯片。