基于ZYNQ的稠密光流法软硬件协同处理

光流法是计算机视觉中一个基础性的算法,可广泛应用于运动检测、运动估计、视频分析等领域。但光流法最大的问题是计算复杂、速度慢,限制了它在实际系统尤其是嵌入式系统中的应用。利用最新的高层综合（HLS）语言与传统的硬件描述语言相结合,在Xilinx的FPGA异构系统芯片（即ZYNQ）平台上,以软硬件协同的工作方式,设计了基于Horn-Schunck稠密光流法的硬件加速器。实验证明,对于640×480大小的图片,软硬件协同处理比纯软件处理的计算性能提高了34倍,执行时间从24.40 s降低到0.71 s。     

基于近似最近邻搜索的并行光流计算

Barnes近似最近邻算法是当前匹配性能优秀的近似块匹配算法,将其应用于稠密光流的计算中,并与OpenCV中实现的两种稠密光流算法进行对比。针对Barnes算法不易并行化的不足,对Barnes算法中的传播过程进行修改,使其易于在GPU上实现并行加速。实验表明,经并行加速后的光流算法比原算法快两倍以上,而在精确度上与原算法接近,并且都优于OpenCV实现的两种稠密光流算法。     

基于FPGA的轮廓提取并行计算系统研究及实现

针对高质量的轮廓提取算法计算量大、实时性差的问题,提出了一种基于现场可编程门阵列（FPGA）的图像轮廓并行计算系统。通过设计适合的硬件结构及相应的算法改进,采用了多种不同的并行方式加速算法的计算。实现了一种高质量的轮廓提取算法--Pb（Probability Boundary）算法的高速计算。实验结果表明,在FPGA工作频率200 MHz时,被处理图像分辨率为481×321时,该系统处理速度可达39帧/s,为将Pb算法应用于实际系统提供了条件。     

一种基于光流和能量的图像匹配算法

结合光流与图像信息,提出一种获取稠密视差的图像匹配算法.首先对于基线较大的左右图像,在多分辨率框架下采用由粗到精的策略计算光流,从而实现大偏移量时的光流获取.其次为了避免光流在图像边界上的不可靠性,通过光流计算所得的光流场作为初始视差图,采用基于能量的方法依据对应的图像梯度场对光流场内部进行平滑并保持边缘的不连续性,最终得到精准稠密的视差图.实验验证,该方法是一种行之有效的图像匹配算法.     

基于改进光流算法的机器人目标跟踪系统

基于计算机视觉的机器人运动目标检测与跟踪,就是建立起一种机器人视觉与电机驱动相关联的系统。光流算法在此类系统中有着广泛应用,但是求取所需稠密光流场的运算量过大是其明显的缺点。为减少计算时间,提高跟踪系统响应速度,引入均值平滑算法对传统H-S(Horn和Schunck)光流算法进行改进,并在此改进算法基础上建立起目标跟踪系统。通过此系统,机器人可以根据采集到的图像的光流场变化来检测运动目标,再通过对光流场的奇异值分解,对跟踪系统模型所需参数进行估算,并驱动机器人做出相应动作,保持对目标的跟踪,从而使机器人对周围环境变化做出及时、准确的动作。经过实验证明改进后的光流算法有效的减少了计算时间,增强跟踪系统的实时性能。     

基于自适应聚合的立体视觉合作算法

提出了一种恢复高质量稠密视差图的立体视觉合作算法.该算法采用基于形态学相似性的自适应加权方法,迭代地进行局部邻域的自适应聚合和抑制放大,实现高效率和高质量稠密视差图计算.将该算法推广到三目摄像机立体匹配系统中,通过重建摄像机坐标系实现图像校正,并根据连续性假设和唯一性假设,建立视差空间中的支持关系和三目摄像机之间的抑制关系.实验结果表明,三目立体合作算法能够得到精确的场景视差映射,并可以实现多基线方向的遮挡检测.该算法特别适用于由多个廉价摄像机组成的立体视觉系统,在几乎不增加软件和硬件资源的情况下,就可以得到高质量的稠密视差图.     

融合IMU去除运动模糊的改进光流匹配算法

为进一步提高视觉SLAM中的光流匹配精度和速度,提出一种融合惯性测量单元（inertial measurement unit,IMU）去除运动模糊的改进光流匹配算法。该算法首先利用IMU运动信息计算的点扩散函数去除运动模糊,提高特征点匹配率;其次在LK（Lucas-Kanade）光流的基础上引入梯度误差,并使用图像梯度L1范数作为正则项模拟稀疏噪声,构建代价函数;然后利用IMU预测特征点位置作为该算法初始值,并加入BB（Barzilar-Borwein）步长改进原有的高斯牛顿算法,提高计算速度。实验表明,通过两帧之间比较,该算法的效率和精度均优于LK光流法;然后将该算法集成到VINS-Mono框架,在数据集EuRoC上结果显示,该算法提高了原有框架的定位精度和鲁棒性。     

基于深度卷积特征光流的形变医学图像配准算法

光流法是一种基于光流场模型的重要而有效的形变配准算法。针对现有光流法所用特征质量不高使得配准结果不够准确的问题，将深度卷积神经网络特征和光流法相结合，提出了基于深度卷积特征光流（DCFOF）的形变医学图像配准算法。首先利用深度卷积神经网络稠密地提取图像中每个像素所在图像块的深度卷积特征，然后基于固定图像和浮动图像间的深度卷积特征差异求解光流场。通过提取图像的更为精确和鲁棒的深度学习特征，使求得的光流场更接近真实形变场，提升了配准精度。实验结果表明，所提算法能够更有效地解决形变医学图像配准问题，其配准精度优于Demons算法、尺度不变特征变换(SIFT) Flow算法以及医学图像专业配准软件Elastix。     

基于深度匹配的由稀疏到稠密大位移运动光流估计

针对非刚性大位移运动场景的光流计算准确性与鲁棒性问题, 提出一种基于深度匹配的由稀疏到稠密大位移运动光流估计方法. 首先利用深度匹配模型计算图像序列相邻帧的初始稀疏运动场; 其次采用网格化邻域支持优化模型筛选具有较高置信度的图像网格和匹配像素点, 获得鲁棒的稀疏运动场; 然后对稀疏运动场进行边缘保护稠密插值, 并设计全局能量泛函优化求解稠密光流场. 最后分别利用MPI-Sintel和KITTI数据库提供的测试图像集对本文方法和Classic + NL, DeepFlow, EpicFlow以及FlowNetS等变分模型、匹配策略和深度学习光流计算方法进行综合对比与分析, 实验结果表明本文方法相对于其他方法具有更高的光流计算精度, 尤其在非刚性大位移和运动遮挡区域具有更好的鲁棒性与可靠性.     

基于CLG光流算法的云的运动分析与研究

将光流算法应用到云的运动分析中,同时探讨光流变化与云的运动之间的关系.文中采用了局部与全局(CLG)相结合的光流算法分析云的运动.CLG算法同时其备局部光流算法和全局光流算法的优点,利用 CLG光流算法能得到鲁棒而且稠密的云的运动流场.文中首先详细分析了CLG 三种光流算法:空间CLG、时空CLG、非线性CLG光流算法.然后将这三种算法应用到云的运动视频中,并对三种CLG光流算法红云的运动上进行了分析和比较.实验证明,光流算法对于测量云的运动有良好的效果,云的运动与光流之间具有正比关系.     

基于密集轨迹和光流二值化图的行为识别算法

针对改进的密集轨迹算法（improved dense trajectories,iDT）提取的轨迹数量较为庞大的问题,提出了一种轨迹滤除方法。密集采样兴趣点,利用光流图计算每个兴趣点下一帧的位置进而组成轨迹,对每帧光流图进行最大值归一化以及二值化,得到光流二值化图,以此反映该点的运动是否相对显著。利用光流二值化图统计轨迹上各点的有效性从而判断轨迹是否满足有效条件,并将不满足条件的轨迹滤除,得到提纯的轨迹。为了验证算法的有效性,使用了行为识别领域的常用数据集KTH和UCF sports对算法进行验证,实验结果表明,该算法能在保证准确率的同时减少轨迹数量,并且计算量较小。     

基于光流法的迭代反投影超分辨率重构算法

为了提高重构图像或者视频的分辨率．提出把新型的基于光流法的图像配准算法应用于迭代反投影（IBP）超分辨率算法中。在所提出的方法中．基于光流法的图像配准算法用来提高图像配准的准确性。首先,为了得到像素级别的运动矢量．基于光流法的图像配准算法被用于估计图像间的运动矢量。以得到更加准确的运动矢量矩阵。接着,利用所获得的运动矢量矩阵结合迭代反投影算法重构高分辨率的图像。同时．由于基于光流法的图像配准能够很好地估计视频图像间的运动．所提出的方法同样适用于视频图像的超分辨。实验结果表明．提出的方法对于图像或者视频的超分辨率效果．在主观效果和客观评价上都有一定的提升。     

一种局部和全局相结合的光流计算方法

光流场是计算机视觉的一个研究方向,微分法是计算光流场的一个常用方法,它分为全局方法和局部方法,全局方法能够得到100％的致密的光流场,而局部方法大多只能得到稀疏的光流场,但它在噪声情况下具有更好的鲁棒性。本文提出一种局部和全局相结合的方法．首先给出五点光流约束的局部方法,再结合全局方法,计算得到了既致密又 鲁棒的光流场。     

Dense versus Sparse Approaches for Estimating the Fundamental Matrix

There are two main strategies for solving correspondence problems in computer vision: sparse local feature based approaches and dense global energy based methods. While sparse feature based methods are often used for estimating the fundamental matrix by matching a small set of sophistically optimised interest points, dense energy based methods mark the state of the art in optical flow computation. The goal of our paper is to show that this separation into different application domains is unnecessary and can be bridged in a natural way. As a first contribution we present a new application of dense optical flow for estimating the fundamental matrix. Comparing our results with those obtained by feature based techniques we identify cases in which dense methods have advantages over sparse approaches. Motivated by these promising results we propose, as a second contribution, a new variational model that recovers the fundamental matrix and the optical flow simultaneously as the minimisers of a single energy functional. In experiments we show that our coupled approach is able to further improve the estimates of both the fundamental matrix and the optical flow. Our results prove that dense variational methods can be a serious alternative even in classical application domains of sparse feature based approaches.     

Neural network-based optical flow versus traditional optical flow techniques with thermal aerial imaging in real-world settings

The study explores the feasibility of optical flow-based neural network from real-world thermal aerial imagery. While traditional optical flow techniques have shown adequate performance, sparse techniques do not work well during cold-soaked low-contrast conditions, and dense algorithms are more accurate in low-contrast conditions but suffer from the aperture problem in some scenes. On the other hand, optical flow from convolutional neural networks has demonstrated good performance with strong generalization from several synthetic public data set benchmarks. Ground truth was generated from real-world thermal data estimated with traditional dense optical flow techniques. The state-of-the-art Recurrent All-Pairs Field Transform for the Optical Flow model was trained with both color synthetic data and the captured real-world thermal data across various thermal contrast conditions. The results showed strong performance of the deep-learning network against established sparse and dense optical flow techniques in various environments and weather conditions, at the cost of higher computational demand.     

基于LBP和HOG特征分层融合的步态识别

针对步态能量图（GEI）在提取人体信息时只描绘出了轮廓信息,而丢失了内部特征的局限性,提出一种基于人体目标图像的局部二值模式（LBP）与方向梯度直方图（HOG）分层融合的GEI识别算法。该算法步骤包括：首先用光流法提取步态周期,获得一个周期的步态能量图（GEI）;然后分三层提取GEI的LBP特征,得到三层的LBP图像;依次提取每层LBP图像的HOG特征,最后将每层提取的LBP和HOG特征融合,得到每层的新特征;最后将三个新特征依次融合成可以用于识别的最终特征。通过几种方法对CASIA和USF步态数据库的实验对比,提出的算法取得了更高的识别率。     

基于VOD块匹配准则的四旋翼飞行器悬停研究

针对四旋翼飞行器悬停控制不准确的问题,提出一种基于光流传感器的四旋翼飞行器悬停控制方法。设计了一种基于STM32F407为核心的飞行器主控平台,其中光流传感器模块采用PX4FLOW;为加快计算图像光流场的速度,将VOD（Variance of Difference）块匹配准则的SEA算法应用到采集到的连续帧间图像光流场的计算上;最后采用增量式PID（Proportion Integration Differentiation）控制算法以达到比较精确的悬停控制。实验结果表明：该方法能够有效地提高四旋翼飞行器的悬停稳定性,悬停时在水平方向的控制范围在±10?cm之间,且计算相对简单,能满足实际需求。     

基于Apex帧光流和卷积自编码器的微表情识别

针对跨库微表情识别问题,提出了一种基于Apex帧光流和卷积自编码器的微表情识别方法。该方法包括预处理、特征提取、微表情分类三部分。预处理部分对微表情进行Apex帧定位以及人脸检测和对齐;特征提取部分首先计算预处理过的Apex帧的TVL1光流,然后使用得到的水平和竖直光流分量图像训练卷积自编码器得到最优结构和参数;最后将两个分量自编码器中间层的特征融合后作为微表情的特征;微表情分类就是使用支持向量机（Support Vector Machine,SVM）对上一步中提取到的特征进行分类。实验结果较基准方法（LBP-TOP）有了很大的提高,UF1提高了0.134 4,UAR提高了0.140 6。该方法为微表情特征提取和识别提供了新的思路。