基于压缩与精化深度体素流模型的视频插值

视频插值是利用视频相邻帧的图像信息合成中间帧,可直接应用于慢动作视频回放、高频视频合成、动画制作等领域。现有基于深度体素流的视频插值模型存在合成精度低、参数量大的问题,限制其在移动端的部署应用。提出一种压缩驱动的精化深度体素流插值模型。通过预训练深度体素流模型提高视频的插值质量并确定高精度参数,利用稀疏压缩技术裁剪卷积通道数,以减少参数量并得到粗体素流,同时将输入视频帧、粗体素流和粗中间帧作为精体素流网络的输入,获得精体素流。在此基础上,通过三线性插值方法计算得到精中间帧,以增强模型对边缘信息的捕获能力,从而提高中间帧质量。在Vimeo 90K和UCF101数据集上的实验结果表明,相比DVF、SepConv、CDFI等模型,该模型的峰值信噪比和结构相似性分别平均提高1.59 dB和0.015,在保证参数量增幅较小的前提下,能够有效优化视频合成效果。     

基于深度学习特征匹配的视频超分辨率方法

视频复原的目标是从给定的退化视频序列中把潜在的高质量视频复原出来。现有的视频复原方法主要集中在如何有效地找到相邻帧之间的运动信息,然后利用运动信息建立相邻帧之间的匹配。与这些方法不同,文中提出了基于深度学习特征匹配的方法来解决视频超分辨率问题。首先,通过深度卷积神经网络计算出相邻帧之间的运动信息;然后,采用一个浅层深度卷积神经网络从输入的视频帧中提取特征,基于估计到的运动信息,将浅层深度卷积神经网络提取到的特征匹配到中间视频帧对应的特征中,并将得到的特征进行有效融合;最后,采用一个深度卷积神经网络重建视频帧。大量的实验结果验证了基于深度学习特征匹配的方法能有效地解决视频超分辨率问题。与现有的基于视频帧匹配的方法相比,所提方法在现有的公开视频超分辨率数据集上取得了较好的效果。     

基于卷积网络的帧率提升算法研究*

基于运动补偿的帧率提升算法是目前主要的帧率提升方法。为减小内插帧中的块效应、孔洞和遮挡问题,提高插值帧质量,本文提出一种基于卷积神经网络（convolutional neural network）的自学习帧率提升（frame rate up-conversion）方法。卷积神经网络用于利用两相邻帧预测待插值帧。在卷积神经网络的训练阶段,我们假设高帧率视频是存在的,网络参数由高帧率视频与低帧率视频训练而来。最后视频数据以低帧率视频加网络参数的形式传输,在接收端就可以利用卷积神经网络重建高帧率视频。实质上,我们这样做是通过增加视频发布者的负担以提供给视频接受者更多便利。对于视频点播网站来说,这是提升用户体验的重要因素。实验表明,我们的方案相对于传统的基于运动补偿的帧率提升算法,平均PSNR提升至少0.6 DB,取得较大程度提升。并且,我们的方法是基于全局的帧预测方法,可以有效避免快效应、孔洞和遮挡问题。     

基于卷积神经网络的视频图像超分辨率重建方法

为了进一步增强视频图像超分辨率重建的效果,研究利用卷积神经网络的特性进行视频图像的空间分辨率重建,提出了一种基于卷积神经网络的视频图像重建模型。采取预训练的策略用于重建模型参数的初始化,同时在多帧视频图像的空间和时间维度上进行训练,提取描述主要运动信息的特征进行学习,充分利用视频帧间图像的信息互补进行中间帧的重建。针对帧间图像的运动模糊,采用自适应运动补偿加以处理,对通道进行优化输出得到高分辨率的重建图像。实验表明,重建视频图像在平均客观评价指标上均有较大提升（PSNR +0.4 dB / SSIM +0.02）,并且有效减少了图像在主观视觉效果上的边缘模糊现象。与其他传统算法相比,在图像评价的客观指标和主观视觉效果上均有明显的提升,为视频图像的超分辨率重建提供了一种基于卷积神经网络的新颖架构,也为进一步探索基于深度学习的视频图像超分辨率重建方法提供了思路。     

一种多尺度光流预测与融合的实时视频插帧方法

普通摄像设备拍摄的视频帧速率有限,从而影响观众的特殊观感体验,提高视频帧速率的后处理过程是必不可少的,视频插帧就是其中关键技术之一.视频插帧是指根据两个连续视频帧合成中间帧数据,在影视作品、体育比赛精彩视频片段慢动作回放等方面有广泛的应用.基于光流的视频插帧方法能有效解决视频中场景、目标的移动估计问题,但是其受制于光流估计的速度,无法很好地应用于实时视频任务.本文提出一种新的光流预测模型,并将其用于视频插帧任务中.首先对于输入的两张连续视频帧数据进行多次信息无损的下采样,获得不同尺度的输入数据;之后通过卷积神经网络进行特征提取,并对提取的特征建立注意力掩码,增强特征表达能力,根据该特征生成对应尺度的光流;最后使用融合网络,将多尺度的光流信息聚合为统一的尺度作为最终输出.本文方法能够被端到端的优化训练,并在大规模视频插帧基准数据集上进行了训练和验证测试.结果表明该方法能够获得高质量的插帧效果并能够达到实时的插帧速率,而且比其它先进方法更具优越性.     

基于运动分割的视频去模糊

针对目前视频去模糊方法难以处理大幅度相对运动模糊,并且很难得到在时间和空间都保持一致性的去模糊结果的问题,提出基于运动分割的视频去模糊方法.基于视频序列清晰程度不同的前提下,用视频中的清晰块恢复模糊帧.根据模糊帧与其相邻的清晰帧的光流信息,将2帧之间存在的相对运动分割为独立的处理对象;不同运动对象分别估计模糊函数,并利用该模糊函数将清晰帧模糊处理;对模糊帧中的每一块区域,在被模糊处理后的帧中查找最相似的区域,利用对应清晰区域替换模糊区域;不同区域之间采用纹理融合,重建出清晰帧,实现对视频中大幅度相对运动去模糊.该方法基于并行思想设计和实现,利用GPU并行能力完成加速.实验结果证明,采用该方法不仅速度快,而且有效地解决了视频中大幅度相对运动模糊,并可以保持运动对象纹理结构的完整性.     

三维视频跳帧缺帧动态补偿方法仿真

针对传统视频跳帧缺帧补偿方法存在效率低且补偿不完整问题,提出一种基于帧间投影算法的三维视频跳帧缺帧动态补偿方法.使用帧间投影算法使帧间运行转化为两个单独波形,得出参考帧在水平方向与垂直方向运动矢量,并利用逆变转化限制旋转、平移等基础变形,减少后续补偿的干扰向量,分析三维视频补偿需求构建相应深度卷积神经网络,利用训练模块对两种波形进行训练,通过不同方法测定三维视频补偿效率,获取三维视频跳帧缺帧动态补偿完整性.实验结果得出,所提方法在三维视频跳帧、缺帧补偿上效率更高,并且较比传统方法更快.据此可得出结论为所提三维视频跳帧缺帧补偿方法的性能更好.     

基于光流残差的视频超分辨率重建算法

随着卷积神经网络的发展,视频超分辨率算法取得了显著的成功。因为帧与帧之间的依赖关系比较复杂,所以传统方法缺乏对复杂的依赖关系进行建模的能力,难以对视频超分辨率重建的过程进行精确地运动估计和补偿。因此提出一个基于光流残差的重建网络,在低分辨率空间使用密集残差网络得到相邻视频帧的互补信息,通过金字塔的结构来预测高分辨率视频帧的光流,通过亚像素卷积层将低分辨率的视频帧变成高分辨率视频帧,并将高分辨率的视频帧与预测的高分辨率光流进行运动补偿,将其输入到超分辨率融合网络来得到更好的效果,提出新的损失函数训练网络,能够更好地对网络进行约束。在公开数据集上的实验结果表明,重建效果在峰值信噪比、结构相似度、主观视觉的效果上均有提升。     

轻量级目标识别深度神经网络及其应用

针对当前一些主流的深度神经网络模型旨在追求准确率的提升,而忽略了模型的实时性及模型大小问题,提出了一种轻量级目标识别深度神经网络。基于深度分离卷积、分组卷积等轻量化的高效卷积方式,设计了用于图像特征提取的不变分辨率卷积模块和下采样模块,并依此构建了深度主干网络,并对网络进行了减枝。在创建的数据集上对视觉感知的目标识别模型进行了实验验证,获得了72.7%的mAP,在NVIDIA 1080Ti GPU上推理速度达到66.7 帧/s。     

基于视频时空特征的行为识别方法

针对双流网络提取运动信息需要预先计算光流图,从而无法实现端到端的识别以及三维卷积网络参数量巨大的问题,提出了一种基于视频时空特征的行为识别方法。该方法能够高效提取视频中的时空信息,且无需添加任何光流计算和三维卷积操作。首先,利用基于注意力机制的运动信息提取模块捕获相邻两帧之间的运动位移信息,从而模拟双流网络中光流图的作用;其次,提出了一种解耦的时空信息提取模块代替三维卷积,从而实现时空信息的编码;最后,在将两个模块嵌入二维的残差网络中后,完成端到端的行为识别。将所提方法在几个主流的行为识别数据集上进行实验,结果表明在仅使用RGB视频帧作为输入的情况下,在UCF101、HMDB51、Something-Something-V1数据集上的识别准确率分别为96.5%、73.1%和46.6%,与使用双流结构的时间分段网络（TSN）方法相比,在UCF101数据集上的识别准确率提高了2.5个百分点。可见,所提方法能够高效提取视频中的时空特征。     

基于双分支融合的反馈迭代金字塔去模糊和超分辨率算法

针对低分辨率模糊图像实施超分辨率重建后出现大量伪影和边缘纹理不清晰问题,提出了一种双分支融合的反馈迭代金字塔算法.首先采用不同的分支模块分别提取低分辨率模糊图像中潜在的去模糊特征和超分辨率特征信息;然后采用自适应融合机制将两种不同性质的特征进行信息匹配,使网络在去模糊和超分辨率重建模块中更加关注模糊区域;其次使用迭代金字塔重建模块将低分辨率模糊图像渐进重建为逼近真实分布的超分辨率清晰图像;最后重建图像通过分支反馈模块生成清晰低分辨率图像,构建反馈监督.在GOPRO数据集中与现有算法的对比实验结果表明,所提算法能够生成纹理细节更加清晰的超分辨率图像.     

Coded exposure HDR light‐field video recording

Capturing exposure sequences to compute high dynamic range (HDR) images causes motion blur in cases of camera movement. This also applies to light‐field cameras: frames rendered from multiple blurred HDR light‐field perspectives are also blurred. While the recording times of exposure sequences cannot be reduced for a single‐sensor camera, we demonstrate how this can be achieved for a camera array. Thus, we decrease capturing time and reduce motion blur for HDR light‐field video recording. Applying a spatio‐temporal exposure pattern while capturing frames with a camera array reduces the overall recording time and enables the estimation of camera movement within one light‐field video frame. By estimating depth maps and local point spread functions (PSFs) from multiple perspectives with the same exposure, regional motion deblurring can be supported. Missing exposures at various perspectives are then interpolated.     

Video frame interpolation via optical flow estimation with image inpainting

As we all know, video frame rate determines the quality of the video. The higher the frame rate, the smoother the movements in the picture, the clearer the information expressed, and the better the viewing experience for people. Video interpolation aims to increase the video frame rate by generating a new frame image using the relevant information between two consecutive frames, which is essential in the field of computer vision. The traditional motion compensation interpolation method will cause holes and overlaps in the reconstructed frame, and is easily affected by the quality of optical flow. Therefore, this paper proposes a video frame interpolation method via optical flow estimation with image inpainting. First, the optical flow between the input frames is estimated via combined local and global-total variation (CLG-TV) optical flow estimation model. Then, the intermediate frames are synthesized under the guidance of the optical flow. Finally, the nonlocal self-similarity between the video frames is used to solve the optimization problem, to fix the pixel loss area in the interpolated frame. Quantitative and qualitative experimental results show that this method can effectively improve the quality of optical flow estimation, generate realistic and smooth video frames, and effectively increase the video frame rate.     

基于条件对抗生成孪生网络的目标跟踪

为解决被跟踪目标在快速剧烈运动时,因运动模糊和低分辨率使模型发生漂移,导致跟踪器跟踪效果变差甚至跟踪失败的问题,对全卷积孪生网络跟踪算法(SiamFC)进行改进,提出一种基于条件对抗生成孪生网络的目标跟踪算法(CGANSiamFC).首先,在SiamFC框架的基础上嵌入条件对抗生成网络模块,对输入的低分辨率模糊视频帧去...     

Local motion deblurring using an effective image prior based on both the first- and second-order gradients

Local motion deblurring is a highly challenging problem as both the blurred region and the blur kernel are unknown. Most existing methods for local deblurring require a specialized hardware, an alpha matte, or user annotation of the blurred region. In this paper, an automatic method is proposed for local motion deblurring in which a segmentation step is performed to extract the blurred region. Then, for blind deblurring, i.e., simultaneously estimating both the blur kernel and the latent image, an optimization problem in the form of maximum-a-posteriori (MAP) is introduced. An effective image prior is used in the MAP based on both the first- and second-order gradients of the image. This prior assists to well reconstruct salient edges, providing reliable edge information for kernel estimation, in the intermediate latent image. We examined the proposed method for both global and local deblurring. The efficiency of the proposed method for global deblurring is demonstrated by performing several quantitative and qualitative comparisons with the state-of-the-art methods, on both a benchmark image dataset and real-world motion blurred images. In addition, in order to demonstrate the efficiency in local motion deblurring, the proposed method is examined to deblur some real-world locally linear motion blurred images. The qualitative results show the efficiency of the proposed method for local deblurring at various blur levels.     

深度特征融合注意力与双尺度的运动去模糊

目的 拍摄运动物体时,图像易出现运动模糊,这将影响计算机视觉任务的完成。为提升运动图像去模糊的质量,提出了基于深度特征融合注意力的双尺度去运动模糊网络。方法 首先,设计了双尺度网络,在网络结构上设计高低尺度通路,在低尺度上增加对模糊区域的注意力,在高尺度上提升网络的高频细节恢复能力,增强了模型去模糊效果。其次,设计了深度特征融合注意力模块,通过融合全尺度特征、构建通道注意力,将编码的全尺度特征与解码的同级特征进行拼接融合,进一步增强了网络的去模糊性能和细节恢复能力。最后,在双尺度的基础上,引入多尺度损失,使模型更加关注高频细节的恢复。结果 在3个数据集上,与12种去模糊方法进行了对比实验。在GoPro数据集上得到了最优结果,相比SRN （scale-recurrent network）方法,平均峰值信噪比提升了2.29 dB,能够恢复出更多的细节信息。在Kohler数据集上,得到了最高的峰值信噪比（29.91 dB）。在Lai数据集上,视觉上有最好的去模糊效果。结论 实验结果表明,本文方法可以有效去除运动模糊并恢复细节。     

用于单幅模糊图像超分辨的Transformer融合网络

目的 以卷积神经网络为代表的深度学习方法已经在单帧图像超分辨领域取得了丰硕成果,这些方法大多假设低分辨图像不存在模糊效应。然而,由于相机抖动、物体运动等原因,真实场景下的低分辨率图像通常会伴随着模糊现象。因此,为了解决模糊图像的超分辨问题,提出了一种新颖的Transformer融合网络。方法 首先使用去模糊模块和细节纹理特征提取模块分别提取清晰边缘轮廓特征和细节纹理特征。然后,通过多头自注意力机制计算特征图任一局部信息对于全局信息的响应,从而使Transformer融合模块对边缘特征和纹理特征进行全局语义级的特征融合。最后,通过一个高清图像重建模块将融合特征恢复成高分辨率图像。结果 实验在2个公开数据集上与最新的9种方法进行了比较,在GOPRO数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN(gated fusion network),峰值信噪比(peak signal-to-noive ratio,PSNR)分别提高了0.12 d B、0.18 d B、0.07 d B;在Kohler数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN,PSNR值分别...     

基于最大后验概率的单视频时间超分辨率重建算法

任何视频摄像设备均具有一定的时间分辨率限制,时间分辨率不足会造成视频中存在运动模糊和运动混叠现象。针对这一问题常用的解决方法是空间去模糊和时间插值,然而这些方法无法从根本上解决问题。提出一种基于最大后验概率(MAP)的单视频时间超分辨率重建方法,该方法通过重建约束来确定条件概率模型,然后利用视频自身具有的时间自相似先验信息得到先验信息模型,最后求得基于最大后验概率的估计值,即通过对单个低时间分辨率视频重建来得到高时间分辨率视频,从而有效解决由于相机曝光时间过长所造成的“运动模糊”和相机帧率不足引起的“运动混叠”现象。通过理论分析与实验,证明了所提方法的有效性。     

基于注意力融合网络的视频超分辨率重建

基于深度学习的视频超分辨率方法主要关注视频帧内和帧间的时空关系,但以往的方法在视频帧的特征对齐和融合方面存在运动信息估计不精确、特征融合不充分等问题。针对这些问题,采用反向投影原理并结合多种注意力机制和融合策略构建了一个基于注意力融合网络（AFN）的视频超分辨率模型。首先,在特征提取阶段,为了处理相邻帧和参考帧之间的多种运动,采用反向投影结构来获取运动信息的误差反馈;然后,使用时间、空间和通道注意力融合模块来进行多维度的特征挖掘和融合;最后,在重建阶段,将得到的高维特征经过卷积重建出高分辨率的视频帧。通过学习视频帧内和帧间特征的不同权重,充分挖掘了视频帧之间的相关关系,并利用迭代网络结构采取渐进的方式由粗到精地处理提取到的特征。在两个公开的基准数据集上的实验结果表明,AFN能够有效处理包含多种运动和遮挡的视频,与一些主流方法相比在量化指标上提升较大,如对于4倍重建任务,AFN产生的视频帧的峰值信噪比（PSNR）在Vid4数据集上比帧循环视频超分辨率网络（FRVSR）产生的视频帧的PSNR提高了13.2%,在SPMCS数据集上比动态上采样滤波视频超分辨率网络（VSR-DUF）产生的视频帧的PSNR提高了15.3%。