基于组反馈融合机制的视频超分辨率模型

视频超分辨率（video super-resolution,VSR）的目的是利用多个相邻帧的信息来生成参考帧的高分辨率版本。现有的许多VSR工作都集中在如何有效地对齐相邻帧以更好地融合相邻帧信息,而很少在相邻帧信息融合这一重要步骤上进行研究。针对该问题,提出了基于组反馈融合机制的视频超分辩模型（GFFMVSR）。具体来说,在相邻帧对齐后,将对齐视频序列输入第一重时间注意力模块;然后,将序列分成几个小组,各小组依次通过组内融合模块实现初步融合。不同小组的融合结果经过第二重时间注意力模块;然后,各小组逐组输入反馈融合模块,利用反馈机制反馈融合不同组别的信息,最后将融合结果输出重建。经验证,该模型具有较强的信息融合能力,在客观评价指标和主观视觉效果上都优于现有的模型。     

基于运动估计与时空结合的多帧融合去雨网络

降雨天气会导致视觉质量下降,从而影响目标识别和追踪等视觉任务的处理效果。为了减小雨的影响,完成对运动视频背景细节的有效恢复,近年来相关研究者在视频去雨方向提出了很多方法。其中基于卷积神经网络的视频去雨方法使用最为广泛,它们大多采用单帧增强后多帧融合去雨的方式。但由于直接单帧增强使相邻帧之间部分像素的移动无法完成时间维度上的对齐,不能有效实现端到端的训练,因此丢失了大量细节信息,使得最终得到的去雨效果不尽人意。为有效解决上述问题,文中提出了一个基于运动估计与时空结合的多帧融合去雨网络(ME-Derain)。首先通过光流估计算法将相邻帧对齐到当前帧来有效利用时间信息;然后引入基于残差连接的编码器-解码器结构,结合与时间相关的注意力增强机制一起构成多帧融合网络来有效融合多帧信息;最后利用空间相关的多尺度增强模块来进一步增强去雨效果和得到最终的去雨视频。在多个数据集上的大量实验结果表明,所提算法优于现阶段大部分视频去雨算法,能够获得更好的去雨效果。     

基于卷积神经网络的视频图像超分辨率重建方法

为了进一步增强视频图像超分辨率重建的效果,研究利用卷积神经网络的特性进行视频图像的空间分辨率重建,提出了一种基于卷积神经网络的视频图像重建模型。采取预训练的策略用于重建模型参数的初始化,同时在多帧视频图像的空间和时间维度上进行训练,提取描述主要运动信息的特征进行学习,充分利用视频帧间图像的信息互补进行中间帧的重建。针对帧间图像的运动模糊,采用自适应运动补偿加以处理,对通道进行优化输出得到高分辨率的重建图像。实验表明,重建视频图像在平均客观评价指标上均有较大提升（PSNR +0.4 dB / SSIM +0.02）,并且有效减少了图像在主观视觉效果上的边缘模糊现象。与其他传统算法相比,在图像评价的客观指标和主观视觉效果上均有明显的提升,为视频图像的超分辨率重建提供了一种基于卷积神经网络的新颖架构,也为进一步探索基于深度学习的视频图像超分辨率重建方法提供了思路。     

基于多尺度融合网络的视频快照压缩感知重建

视频快照压缩感知基于压缩感知理论,仅在一次曝光过程中将多帧画面投影至二维快照测量,进而实现高速成像。为了从二维快照测量信号恢复出原视频信号,经典的重建算法基于视频的稀疏性先验进行迭代优化求解,但重建质量较低,且耗时过长。深度学习因优异的学习能力而受到广泛关注,基于深度学习的视频快照压缩重建方法也得到关注,但现有深度方法缺乏对于时空特征的有效表达,重建质量仍有待进一步提高。本文提出视频快照压缩感知重建的多尺度融合重构网络（MSF-Net）,该网络从横向的卷积深度和纵向的分辨率2个维度展开,分辨率维度利用三维卷积进行不同尺度的视频特征的提取,横向维度利用伪三维卷积残差模块对同分辨率尺度的特征图进行层级提取,并通过不同尺度下的特征交叉融合来学习视频的时空特征。实验结果表明,本文方法能够同时提升重建质量与重建速度。     

基于光流残差的视频超分辨率重建算法

随着卷积神经网络的发展,视频超分辨率算法取得了显著的成功。因为帧与帧之间的依赖关系比较复杂,所以传统方法缺乏对复杂的依赖关系进行建模的能力,难以对视频超分辨率重建的过程进行精确地运动估计和补偿。因此提出一个基于光流残差的重建网络,在低分辨率空间使用密集残差网络得到相邻视频帧的互补信息,通过金字塔的结构来预测高分辨率视频帧的光流,通过亚像素卷积层将低分辨率的视频帧变成高分辨率视频帧,并将高分辨率的视频帧与预测的高分辨率光流进行运动补偿,将其输入到超分辨率融合网络来得到更好的效果,提出新的损失函数训练网络,能够更好地对网络进行约束。在公开数据集上的实验结果表明,重建效果在峰值信噪比、结构相似度、主观视觉的效果上均有提升。     

联合时域虚拟帧的多帧视频质量增强方法

基于神经网络的视频质量增强方法能够明显减少视频压缩噪声,提高压缩视频的主观与客观质量.目前,大多研究采用的是空域单帧增强策略.然而,视频图像在时域也具备高度相关性,这些信息还未在视频增强上得到充分利用.为此,提出了一种联合时空域信息的重建视频增强方法.首先,使用自适应网络,根据前后重建帧预测得到当前帧的虚拟帧;该虚拟帧携带了大量时域信息,当前帧在空域又有高度相关性,因此,提出使用渐进融合网络进一步融合两者信息,从而增强当前帧的质量.实验结果表明,在随机访问编码模式测试条件下,文中方法与H.265/HEVC相比,平均可获得0.38dBPSNR增益;与仅用单帧增强相比,可获得0.06dBPSNR增益;与已有的多帧增强方法(multi-frame quality enhancement, MFQE)相比,可获得0.26 dB PSNR增益,且参数量仅为MFQE的12.2%.此外,文中方法对重建视频的主观质量也有明显改善.     

基于注意力融合网络的视频超分辨率重建

基于深度学习的视频超分辨率方法主要关注视频帧内和帧间的时空关系,但以往的方法在视频帧的特征对齐和融合方面存在运动信息估计不精确、特征融合不充分等问题。针对这些问题,采用反向投影原理并结合多种注意力机制和融合策略构建了一个基于注意力融合网络（AFN）的视频超分辨率模型。首先,在特征提取阶段,为了处理相邻帧和参考帧之间的多种运动,采用反向投影结构来获取运动信息的误差反馈;然后,使用时间、空间和通道注意力融合模块来进行多维度的特征挖掘和融合;最后,在重建阶段,将得到的高维特征经过卷积重建出高分辨率的视频帧。通过学习视频帧内和帧间特征的不同权重,充分挖掘了视频帧之间的相关关系,并利用迭代网络结构采取渐进的方式由粗到精地处理提取到的特征。在两个公开的基准数据集上的实验结果表明,AFN能够有效处理包含多种运动和遮挡的视频,与一些主流方法相比在量化指标上提升较大,如对于4倍重建任务,AFN产生的视频帧的峰值信噪比（PSNR）在Vid4数据集上比帧循环视频超分辨率网络（FRVSR）产生的视频帧的PSNR提高了13.2%,在SPMCS数据集上比动态上采样滤波视频超分辨率网络（VSR-DUF）产生的视频帧的PSNR提高了15.3%。     

轻量级注意力约束对齐网络的视频超分重建

目的 深度学习在视频超分辨率重建领域表现出优异的性能,本文提出了一种轻量级注意力约束的可变形对齐网络,旨在用一个模型参数少的网络重建出逼真的高分辨率视频帧。方法 本文网络由特征提取模块、注意力约束对齐子网络和动态融合分支3部分组成。1)共享权重的特征提取模块在不增加参数量的前提下充分提取输入帧的多尺度语义信息。2)将提取到的特征送入注意力约束对齐子网络中生成具有精准匹配关系的对齐特征。3)将拼接好的对齐特征作为共享条件输入动态融合分支,融合前向神经网络中参考帧的时域对齐特征和原始低分辨率(low-resolution,LR)帧在不同阶段的空间特征。4)通过上采样重建高分辨率(high-resolution,HR)帧。结果 实验在两个基准测试数据集(Vid4(Vimeo-90k)和REDS4(realistic and diverse scenes dataset))上进行了定量评估,与较先进的视频超分辨率网络相比,本文方法在图像质量指标峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)方面获得...     

基于递归对齐网络的黑白老卡通高清重制

黑白老卡通视频在数字化的过程中会出现诸如划痕、脏点、模糊和分辨率过低等复合问题,老卡通视频增强是视频增强的一类特殊子问题,当前尚缺乏针对性算法,因此提出一种多帧联合的递归对齐增强网络解决老卡通中的复合问题。首先通过递归结构传递重建历史中的长时域信息对划痕与脏点进行修复,解决了连续性划痕与脏点的处理难题。然后在递归单元中通过基于可变形卷积的对齐模块进行相邻帧特征对齐,改善了网络在卡通大幅度运动场景中提取和补充帧间细节的能力。在递归单元末端设计了级联金字塔结构的多尺度重建模块促进特征聚合,以充分挖掘重建所需的时间和空间细节信息。实验使用峰值信噪比等客观评估标准,在降质数据集和真实老卡通数据集上进行实验测试,并与其他主流方法进行对比。实验结果表明,该方法相比于其他主流视频增强方法有较为明显提升,同时在真实黑白老卡通上可获取高视觉质量的重建结果。     

复杂扰动背景下时空特征动态融合的视频显著性检测

现有的运动目标显著性提取算法对具有树枝摇晃、水波荡漾等复杂扰动背景的视频处理效果较差,无法排除背景对显著目标提取的干扰.针对此类视频,提出一种基于时空显著性信息动态融合的目标提取算法.在空间上,利用简单线性迭代聚类(SLIC)超像素分割算法计算重建误差,得到每帧图像上完整的显著目标;在时间上,考虑到显著目标内部各像素具有运动一致性的特点,利用连续多帧图像的运动估计引入运动熵来表征,同时利用中心周边差的机制来区分目标和背景的运动;最后由于人的视觉系统对运动信息更敏感,根据时间显著性的大小设置动态权重进行时空显著性融合,得到最终能兼顾动静两种情况的视频显著图.在4个视频数据库上的实验结果表明,该方法能够较好地抑制复杂扰动背景对于运动显著目标提取的干扰,优于对比方法.     

基于自适应可分离卷积核的视频压缩伪影去除算法

针对目前视频质量增强和超分辨率重建等任务中常采用的光流估计相关算法只能估计像素点间线性运动的问题，提出了一种新型多帧去压缩伪影网络结构。该网络由运动补偿模块和去压缩伪影模块组成。运动补偿模块采用自适应可分离卷积代替传统的光流估计算法，能够很好地处理光流法不能解决的像素点间的曲线运动问题。对于不同视频帧，运动补偿模块预测出符合该图像结构和像素局部位移的卷积核，通过局部卷积的方式实现对后一帧像素的运动偏移估计和像素补偿。将得到的运动补偿帧和原始后一帧联结起来作为去压缩伪影模块的输入，通过融合包含不同像素信息的两视频帧，得到对该帧去除压缩伪影后的结果。与目前最先进的多帧质量增强（MFQE）算法在相同的训练集和测试集上训练并测试，实验结果表明，峰值信噪比提升（ΔPSNR）较MFQE最大增加0.44 dB，平均增加0.32 dB，验证了所提出网络具有良好的去除视频压缩伪影的效果。     

Video flickering removal using temporal reconstruction optimization

In this paper, we introduce an approach to remove the flickers in the videos, and the flickers are caused by applying image-based processing methods to original videos frame by frame. First, we propose a multi-frame based video flicker removal method. We utilize multiple temporally corresponding frames to reconstruct the flickering frame. Compared with traditional methods, which reconstruct the flickering frame just from an adjacent frame, reconstruction with multiple temporally corresponding frames reduces the warp inaccuracy. Then, we optimize our video flickering method from following aspects. On the one hand, we detect the flickering frames in the video sequence with temporal consistency metrics, and just reconstructing the flickering frames can accelerate the algorithm greatly. On the other hand, we just choose the previous temporally corresponding frames to reconstruct the output frames. We also accelerate our video flicker removal with GPU. Qualitative experimental results demonstrate the efficiency of our proposed video flicker method. With algorithmic optimization and GPU acceleration, the time complexity of our method also outperforms traditional video temporal coherence methods.

     

一种整体的视频匹配方法

给出一种视频时空配准的整体方法,提出一种视频内匹配与视频间匹配相结合的空间配准策略,改进动态时间扭曲方法以用于时间维的对齐.视频内匹配跟踪视频内各帧图像的特征点并记录其轨迹,视频间匹配配准不同视频的帧图像,使用轨迹对应提供图像配准所需的初始特征点对应,根据图像配准得到的特征点对应建立和更新轨迹对应.该匹配策略充分利用了视频的连贯性提高了匹配的稳定性和效率,同时提高了配准视频的连贯性.改进的动态时间扭曲方法通过极小化两段视频的整体距离建立视频之间的帧对应关系,保持视频内部各帧之间的时序关系并能处理非线性偏移     

Unsupervised Video Hashing via Deep Neural Network

Hashing is a common solution for content-based multimedia retrieval by encoding high-dimensional feature vectors into short binary codes. Previous works mainly focus on image hashing problem. However, these methods can not be directly used for video hashing, as videos contain not only spatial structure within each frame, but also temporal correlation between successive frames. Several researchers proposed to handle this by encoding the extracted key frames, but these frame-based methods are time-consuming in real applications. Other researchers proposed to characterize the video by averaging the spatial features of frames and then the existing hashing methods can be adopted. Unfortunately, the sort of “video” features does not take the correlation between frames into consideration and may lead to the loss of the temporal information. Therefore, in this paper, we propose a novel unsupervised video hashing framework via deep neural network, which performs video hashing by incorporating the temporal structure as well as the conventional spatial structure. Specially, the spatial features of videos are obtained by utilizing convolutional neural network, and the temporal features are established via long-short term memory. After that, the time series pooling strategy is employed to obtain the single feature vector for each video. The obtained spatio-temporal feature can be applied to many existing unsupervised hashing methods. Experimental results on two real datasets indicate that by employing the spatio-temporal features, our hashing method significantly improves the performance of existing methods which only deploy the spatial features, and meanwhile obtains higher mean average precision compared with the state-of-the-art video hashing methods.     

基于目标时空上下文融合的视频异常检测算法

视频异常检测旨在发现视频中的异常事件,异常事件的主体多为人、车等目标,每个目标都具有丰富的时空上下文信息,而现有检测方法大多只关注时间上下文,较少考虑代表检测目标和周围目标之间关系的空间上下文。提出一种融合目标时空上下文的视频异常检测算法。采用特征金字塔网络提取视频帧中的目标以减少背景干扰,同时计算相邻两帧的光流图,通过时空双流网络分别对目标的RGB帧和光流图进行编码,得到目标的外观特征和运动特征。在此基础上,利用视频帧中的多个目标构建空间上下文,对目标外观和运动特征重新编码,并通过时空双流网络重构上述特征,以重构误差作为异常分数对外观异常和运动异常进行联合检测。实验结果表明,该算法在UCSD-ped2和Avenue数据集上帧级AUC分别达到98.5%和86.3%,在UCSD-ped2数据集上使用时空双流网络相对于只用时间流和空间流网络分别提升5.1和0.3个百分点,采用空间上下文编码后进一步提升1个百分点,验证了融合方法的有效性。     

Malicious inter-frame video tampering detection in MPEG videos using time and spatial domain analysis of quantization effects

In this paper, a new algorithm is proposed for forgery detection in MPEG videos using spatial and time domain analysis of quantization effect on DCT coefficients of I and residual errors of P frames. The proposed algorithm consists of three modules, including double compression detection, malicious tampering detection and decision fusion. Double compression detection module employs spatial domain analysis using first significant digit distribution of DCT coefficients in I frames to detect single and double compressed videos using an SVM classifier. Double compression does not necessarily imply the existence of malignant tampering in the video. Therefore, malicious tampering detection module utilizes time domain analysis of quantization effect on residual errors of P frames to identify malicious inter-frame forgery comprising frame insertion or deletion. Finally, decision fusion module is used to classify input videos into three categories, including single compressed videos, double compressed videos without malicious tampering and double compressed videos with malicious tampering. The experimental results and the comparison of the results of the proposed method with those of other methods show the efficiency of the proposed algorithm.     

Automatic detection and restoration of frame pixel-shift in videos

Defect detection and restoration of degraded videos is an important topic in media content management systems. Frame pixel-shift is a common form of severe defect in videos caused by loss of consecutive pixels by the video transmission system. Pixel-shift refers to the large amount of pixel shifts one by one due to a small quantity of image data loss. The damaged region in the affected frame is usually quite large, causing serious degradation of visual quality. This paper addresses the issue of how to automatically detect and restore frame pixel-shift in videos. Pixel-shift frame detection relies on spatio-temporal information and motion estimation. Accurate measurement of pixels shift is achieved based on the analysis of temporal frequency information and restoration is accomplished by reversing the pixels shift and spatio-temporal interpolation. Performance evaluation using real video sequences demonstrate the good performance of our algorithm.