深度光流估计方法研究进展

结合深度学习模型实现光流端到端的计算是当前计算机视觉领域的一个研究热点.文中对基于深度学习的光流估计方法进行总结和梳理.首先,介绍了光流的起源与定义;其次,总结了现有的数据集合和评价指标;最重要的是,着重从3个方面回顾了深度光流估计方法,包括有监督的深度光流估计方法、无监督的深度光流估计方法以及对现有光流估计方法的性能...     

基于深度学习的光流插帧边信息生成算法

在分布式视频编码(DVC)中,如何在各种运动场景下生成高质量的边信息并提升解码性能是一个重点研究领域。提出一种基于深度学习的光流插帧边信息生成算法(optical flow interpolation, OFI),编码端采用区间重叠的分布式算术编码(distributed arithmetic coding, DAC)对视频进行编码,解码端生成边信息时提取已解码关键帧,输入深度学习光流插帧网络。网络采用多层光流模块产生光流,并结合光流向后弯曲关键帧产生初步的边信息估计,再由融合过程消除遮挡产生更加细化的结果,最后边信息辅助解码树完成解码。实验结果表明,与现有方法相比,该方法PSNR最大可提升2.25 dB,主要体现在线性运动场景下。同时在线性和非线性场景下SSIM指标可提升0.001 5～0.064 8,在解码视频率失真曲线上也体现出一致的结果,证明了该算法对线性运动边信息估计有较好的提升,对非线性运动边信息结构也有良好的恢复性。     

点线光流预测机制的图像序列运动直线跟踪

目的 针对复杂场景图像序列中运动直线特征的提取、跟踪问题,提出一种基于点、线光流预测机制的图像序列运动直线跟踪方法。方法 首先根据图像直线的表达式定义点、线光流基本约束方程,由基本约束方程推导出关于点光流与直线光流对应关系的3个重要推论。然后依据点、线光流对应关系,利用图像序列中直线特征上的像素点光流计算直线光流的估计值并根据直线光流阈值筛选图像序列运动直线。最后由筛选出的运动直线及直线光流估计值计算直线的预测坐标并在Hough域内进行跟踪匹配,得到图像序列运动直线跟踪结果。结果 通过合成及真实图像序列实验验证,本文方法能够准确地筛选出图像序列中感兴趣的运动直线,并对运动直线进行稳定地跟踪、匹配,直线跟踪结果未产生干扰直线的误匹配,直线跟踪时间消耗不超过12 s。结论 相对于传统的直线跟踪、匹配方法,本文方法具有较高地直线跟踪精度和较好的鲁棒性,更适用于复杂场景下的运动直线跟踪、匹配问题。     

基于光流的快速人体姿态估计

针对目前深度学习领域人体姿态估计算法计算复杂度高的问题,提出了一种基于光流的快速人体姿态估计算法.在原算法的基础上,首先利用视频帧之间的时间相关性,将原始视频序列分为关键帧和非关键帧分别处理（相邻两关键帧之间的图像和前向关键帧组成一个视频帧组,同一视频帧组内的视频帧相似）,仅在关键帧上运用人体姿态估计算法,并通过轻量级光流场将关键帧识别结果传播到其他非关键帧.其次针对视频中运动场的动态特性,提出一种基于局部光流场的自适应关键帧检测算法,以根据视频的局部时域特性确定视频关键帧的位置.在OutdoorPose和HumanEvaI数据集上的实验结果表明,对于存在背景复杂、部件遮挡等问题的视频序列中,所提算法较原算法检测性能略有提升,检测速度平均可提升89.6%.     

基于多尺度变形卷积的特征金字塔光流计算方法

针对现有深度学习光流计算方法的运动边缘模糊问题, 提出了一种基于多尺度变形卷积的特征金字塔光流计算方法. 首先, 构造基于多尺度变形卷积的特征提取模型, 显著提高图像边缘区域特征提取的准确性; 然后, 将多尺度变形卷积特征提取模型与特征金字塔光流计算网络耦合, 提出一种基于多尺度变形卷积的特征金字塔光流计算模型; 最后, 设计一种结合图像与运动边缘约束的混合损失函数, 通过指导模型学习更加精准的边缘信息, 克服了光流计算运动边缘模糊问题. 分别采用 MPI-Sintel 和 KITTI2015 测试图像集对该方法与代表性的深度学习光流计算方法进行综合对比分析. 实验结果表明, 该方法具有更高的光流计算精度, 有效解决了光流计算的边缘模糊问题.     

存储系统中数据冗余去除技术

存储系统中存储着海量数据,目的是为用户提供高效的、可靠的、低开销的服务。随着信息量爆发,人类进入大数据时代,数据具有海量化、多样化、分散化的特征。在海量数据中,存在着大量的冗余数据,这无疑会浪费资源、降低存储空间利用率。本文列举出基于不同机制的去除数据冗余的方法,同时分析其优缺点,并分析了大数据时代去重技术的缺陷以及需要迎接的挑战。     

基于视觉传感器采集光流特征的精神疾病识别方法

目前,精神疾病的筛查主要依靠临床医生的访谈和问卷进行评估,具有高成本、主观性等问题。本文提出了一种基于视觉传感器采集光流特征的精神疾病识别方法,可以实时监测和预警,以较低的成本和非侵入性的方式来进行精神疾病的辅助筛查。该算法通过视觉传感器全面采集患者的面部数据来提取光流特征,输入TSMOSNet进行训练。TSMOSNet以TSM为基础网络进行改进,替换普通卷积为光流提取头,针对视觉传感器采集而来的光流特征图进行密集采样,并添加了时序注意力模块、DML蒸馏和VideoMix数据增强等方法,增强了视觉特征,以提高精神疾病识别的准确率。实验结果表明,在H7-BDSN数据集上相比于其他方法,本文提出的识别算法在精神疾病的筛查任务中取得了最好的效果,准确率为85%,F1分值为0.84。     

基于深度学习的人体动作识别方法

对基于机器视觉的人体动作识别的成果进行研究,为提高视频数据集中人体动作的识别率,提出一种改进的深度网络模型。采用稠密光流方法处理数据,结合二维卷积神经网络(2DCNN)、三维卷积神经网络(3DCNN)和长短期记忆神经网络(LSTM)对动作特征进行提取,利用Softmax分类器识别分类。通过KTH数据集进行实验对比验证,分析结果表明,改进模型相比其它已有模型具有更高的识别率,动作识别效果更优。     

基于双向GRU和注意力机制模型的人体动作预测

针对人体动作预测中由于受到运动速度、运动幅度等不确定因素的影响,导致预测的第1帧动作不连续且准确预测时间较短的问题,提出一种基于双向门控循环单元(GRU)和注意力机制的端到端模型——BiAGRU-seq2seq.该模型的编码器部分采用双向GRU结构,使数据从正反2个方向同时输入;解码器部分采用单向GRU结构并加入了注意力机制,使编码器输出编码成一个包含多个子集的向量序列;然后将解码器的输入和输出数据同时送入残差架构中,用来模拟人体运动速度,使预测值更接近真实值.在TensorFlow框架下,利用目前动作捕捉数据最大的公开数据集human3.6m进行人体动作预测实验的结果表明,文中模型不仅能极大地降低短期动作预测的误差,也能较为准确地预测出多帧动作.     

基于机器学习的人体动作深度信息识别方法分析

本文分析和探索了机器学习的人体动作深度信息识别方法,先探究了人体动作深度信息识别,再分析了人体动作深度信息识别方法,最后对机器学习的人体动作深度信息识别方法的优化措施提出了一些简单的建议与意见。     

字符识别中毛刺的去除方法

在字符识别中提取字符特征前经常需要将图像细化,但细化过程会受到照明系统和字符本身质量的影响而产生毛刺。毛刺会使特征提取发生错误,进而影响最终的字符识别结果。针对此问题提出一种基于搜索毛刺生长点的毛刺去除方法,利用此方法可以将毛刺剔除并且保证图像的其它有用信息不被破坏。     

字符识别中毛刺的去除方法

在字符识别中提取字符特征前经常需要将图像细化，但细化过程会受到照明系统和字符本身质量的影响而产生毛刺。毛刺会使特征提取发生错误，进而影响最终的字符识别结果。针对此问题提出一种基于搜索毛刺生长点的毛刺去除方法，利用此方法可以将毛刺剔除并且保证图像的其它有用信息不被破坏。     

运动细节估计的光流场方法

针对现有的光流方法在处理大位移和估计运动图像细节方面存在的问题,提出一种结合图像细节特征的变分光流场模型.首先通过增加特征点的对应,采用自适应的保持边缘的正则项以及引入occlusion检测函数对经典光流模型进行了改进;其次,采用基于变分框架下的高斯金字塔方法以及加权中值滤波的方法对所提出的模型进行求解.大量的实验结果...     

一种基于生成树的分类去除关联规则冗余方法

在信息及数据爆炸的时代,冗余问题已经成为数据挖掘者获得知识的重大障碍,而目前解决的方法会导致关联规则的不完整性。基于此,文中引入了有向超图表示关联规则,重定义了邻接矩阵,介绍了冗余规则分类处理思想,将冗余规则分为从属规则和重复路径规则,通过VB编程去除了从属规则冗余,以及利用生成树算法去除了重复路径规则冗余。实验结果证明,此方法创新性地结合了图论中有向超图、生成树与关联规则的知识,维护了关联规则的完整性和准确性,同时去除了全部冗余规则。     

时序行为提名的上下文信息融合方法

在针对视频的人体活动定位和识别领域中,现有的时序行为提名方法无法很好地解决行为特征长期依赖性而导致提名召回率较低.针对此问题,提出了一种上下文信息融合的时序行为提名方法.该方法首先采用三维卷积网络提取视频单元的时空特征,然后采用双向门控循环网络构建上下文关系预测出时序行为区间.针对门控循环单元(GRU)存在参数较多和梯...     

基于多阶信息融合的行为识别方法研究

双流卷积神经网络能够获取视频局部空间和时间特征的一阶统计信息, 测试阶段将多个视频局部特征的分类器分数平均作为最终的预测. 但是, 一阶统计信息不能充分建模空间和时间特征分布, 测试阶段也未考虑使用多个视频局部特征之间的更高阶统计信息. 针对这两个问题, 本文提出一种基于二阶聚合的视频多阶信息融合方法. 首先, 通过建立二阶双流模型得到视频局部特征的二阶统计信息, 与一阶统计信息形成多阶信息. 其次, 将基于多阶信息的视频局部特征分别进行二阶聚合, 形成高阶视频全局表达. 最后, 采用两种策略融合该表达. 实验表明, 本文方法能够有效提高行为识别精度, 在HMDB51和UCF101数据集上的识别准确率比双流卷积神经网络分别提升了8 % 和2.1 %, 融合改进的密集点轨迹(Improved dense trajectory, IDT) 特征之后, 其性能进一步提升.     

A New Parallel Differential Method for Optical Flow Estimation

Optical flow estimation is a recurrent problem in several disciplines and assumes a primary importance in a number of applicative fields such as medical imaging [12], computer vision [6], productive process control [4], etc. In this paper, a differential method for optical flow evaluation is being presented. It employs a new error formulation that ensures a more than satisfactory image reconstruction in those points which are free of motion discontinuity. A dynamic scheme of brightness-sample processing has been used to regularise the motion field. A technique based on the concurrent processing of sequences with multiple pairs of images has also been developed for improving detection and resolution of mobile objects on the scene, if they exist. This approach permits to detect motions ranging from a fraction of a pixel to a few pixels per frame. Good results, even on noisy sequences and without the need of a filtering pre-processing stage, can be achieved. The intrinsic method structure can be exploited for favourable implementation on multi-processor systems with a scalable degree of parallelism. Several sequences, some with noise and presenting various types of motions, have been used for evaluating the performances and the effectiveness of the method. Carmelo Lodato received his Dr. Ing. Degree in Civil Engineering from the University of Palermo, Italy, in 1987. He is Researcher at the High Performance Computing and Networking Institute (ICAR) of the Italian National Research Council (CNR). His current research interests include computer vision, image processing, motion analysis, optimization and stochastic algorithms. Salvatore Lopes received his Dr. Ing. Degree (summa com laude) in Nuclear Engineering from the University of Palermo, Italy, in 1988. He is Researcher at the High Performance Computing and Networking Institute (ICAR) of the Italian National Research Council (CNR). His current research interests include computer vision, image processing, motion analysis, optimization and stochastic algorithms.     

基于时空信息的交通流预测

交通流量预测是城市道路交通信号控制中的重要组成部分。为了提高预测的准确性,基于路口视频检测器数据,提出了一种交通流量预测的交通数据分析方法。随着逐年提高的计算能力,深度学习方法进行短时交通流预测越来越流行,经典的交通流量预测方法通常只能根据被预测道路自身的数据进行分析和决策,而往往较少考虑由同一区域不同道路之间的交通流量关联性。基于城市核心路网交通数据,提出一种基于时空信息的TS-LSTM模型,并与其他经典模型进行比较,所得出的结果验证了相比其他方法而言,该模型具有较高的预测精度。     

一种平稳化短时交通流预测方法

支持向量机回归模型是以预测噪声具有对称性概率分布为假设条件,而实际的短时交通流数据序列具有非平稳特征,这就使得在采用支持向量机回归模型进行短时交通流预测时,难以保证预测噪声的对称性概率分布,从而会影响到预测精度.针对上述问题,在证明支持向量机回归模型对平稳时间序列的预测噪声具有对称性概率分布的基础上,分别针对平稳化和未平稳化的短时交通流观测序列进行了仿真预测,并对预测结果进行了比对分析.分析结果表明,采用平稳化短时交通流预测方法可将预测的均方根误差降低约21.6％,绝对值误差降低约21.3％,相对误差降低约17.3％,仿真结果验证了所提方法的有效性.     

消除VLIW结构上的循环体间冗余流相关

数据相关是并行处理的基本依据.该文指出,VLIW(very long instruction word)特有的锁步性质使其数据相关性分析具有与众不同的特点.同一体差上的流相关形成一个线序集合,多体差上的特征流相关之间也存在包含关系.据此,提出一种用于VLIW的消除循环体间冗余流相关的方法.该方法是完备的,可以去除所有冗余的体间流相关,从而减轻循环调度的负担.文章给出判定单体差和多体差存在冗余的充分必要条件,以及消除冗余的线性复杂度的算法.这种方法具有普遍意义,可作为VLIW上软件流水和多指令流调度的基础.