基于深度体素流的模糊视频插帧方法

针对视频运动模糊严重影响插帧效果的情况,提出了一种新型的模糊视频插帧方法。首先,提出一种多任务融合卷积神经网络,该网络结构由两个模块组成：去模糊模块和插帧模块。其中,去模糊模块采用残差块堆叠的深度卷积神经网络（CNN）,提取并学习深度模糊特征以实现两帧输入图像的运动模糊去除;插帧模块用于估计帧间的体素流,所得体素流将用于指导像素进行三线性插值以合成中间帧。其次,制作了大型模糊视频仿真数据集,并提出一种先分后合、由粗略至细致的训练策略,实验结果表明该策略促进了多任务网络有效收敛。最后,对比前沿的去模糊和插帧算法组合,实验指标显示所提方法合成中间帧时峰值信噪比最少提高1.41 dB,结构相似性提升0.020,插值误差降低1.99。视觉对比及重制序列展示表明,所提模型对于模糊视频有着显著的帧率上转换效果,即能够将两帧模糊视频帧端对端重制为清晰且视觉连贯的三帧视频帧。     

基于自适应码率分配的压缩传感深度视频编码方法

压缩传感深度视频(CSDV)是由深度视频经过压缩得到,它的冗余信息仍然巨大,由此,文中提出基于高斯混合模型和边缘码率分配的深度视频编码方法.在时域方向上,使用压缩传感,压缩八帧深度视频,得到一帧CSDV图像.为了减小量化的计算复杂度,将一帧CSDV图像分割成一系列大小相同且互不重合的视频块,使用Canny算子作为边界提取工具提取视频块的边界.根据每个视频块中非零像素所占的百分比,给不同的视频块分配不同的比特数.在模型中,使用高斯混合模型建模这些视频块,用于设计乘积矢量量化器,再使用乘积矢量量化器量化这些视频块.     

一种多尺度光流预测与融合的实时视频插帧方法

普通摄像设备拍摄的视频帧速率有限,从而影响观众的特殊观感体验,提高视频帧速率的后处理过程是必不可少的,视频插帧就是其中关键技术之一.视频插帧是指根据两个连续视频帧合成中间帧数据,在影视作品、体育比赛精彩视频片段慢动作回放等方面有广泛的应用.基于光流的视频插帧方法能有效解决视频中场景、目标的移动估计问题,但是其受制于光流估计的速度,无法很好地应用于实时视频任务.本文提出一种新的光流预测模型,并将其用于视频插帧任务中.首先对于输入的两张连续视频帧数据进行多次信息无损的下采样,获得不同尺度的输入数据;之后通过卷积神经网络进行特征提取,并对提取的特征建立注意力掩码,增强特征表达能力,根据该特征生成对应尺度的光流;最后使用融合网络,将多尺度的光流信息聚合为统一的尺度作为最终输出.本文方法能够被端到端的优化训练,并在大规模视频插帧基准数据集上进行了训练和验证测试.结果表明该方法能够获得高质量的插帧效果并能够达到实时的插帧速率,而且比其它先进方法更具优越性.     

一种有效的初始量化参数选择算法

在网络环境中,码率控制是影响数字视频质量的重要机制之一。针对提案JVT-G012算法中I帧量化参数选择的不合理造成的视频图像质量(PSNR)低、波动大的问题,提出了一种基于R-Q模型的I帧量化参数选择算法。首先,通过曲线拟合得到I帧的R-Q模型;其次,利用已编码帧的信息更新I帧相对于P帧的权重,为I帧分配合理的目标比特数;最后,在该目标比特下由R-Q模型计算得到I帧量化参数。实验结果表明: 与H.264/AVC原算法相比,改进的算法在准确控制码率的同时,视频图像平均质量得到提高且更加平稳。     

基于时间注意力机制和EfficientNet的视频暴力行为检测

针对一般的暴力行为检测方法模型参数量大、计算复杂度高、准确率较低等问题,提出一种基于时间注意力机制和EfficientNet的视频暴力行为检测方法。首先将通过对数据集进行预处理计算得到的前景图输入到网络模型中提取视频特征,同时利用轻量化EfficientNet提取前景图中的帧级空间暴力特征,并利用卷积长短时记忆网络（ConvLSTM）进一步提取视频序列的全局时空特征;接着,结合时间注意力机制,计算得到视频级特征表示;最后将视频级特征表示映射到分类空间,并利用Softmax分类器进行视频暴力行为分类并输出检测结果,实现视频的暴力行为检测。实验结果表明,该方法能够减少模型参数量,降低计算复杂度,在有限的资源下提高暴力行为检测准确率,提升模型的综合性能。     

基于Mask R-CNN的监控视频码率控制研究

码率控制是视频编码中非常重要的技术模块,在能接受的视频质量范围内控制视频流码流大小,对视频尽可能地压缩以提高带宽利用率。对于监控视频而言,前后景划分较为明显,前景一般为感兴趣区域,含有更多重要信息。本文基于MaskR-CNN深度学习算法,将监控视频的前后景进行分离,在主流的编码标准HEVC中,根于监控视频特点,将前景占比高的帧分配更多的比特数,改进原始R-λ模型,提高视频编码性能。实验显示,视频比特率平均降低7.59kbps,PSNR平均提升0.1141dB。     

一种3维动画中间帧非线性插值算法

关键帧动画是3维动画制作的常用模式，中间帧插值又是关键帧动画中最为繁琐的环节。提出了一种针对无骨架3维网格模型的非线性插值算法，用于对网格模型的关键帧姿态进行插补，自动生成中间帧动画序列。该算法首先计算动画角色的网格模型各三角片在相邻关键帧中的仿射变换，并据此生成变形梯度向量，作为3维网格模型的形变信息，这种表示形式体现了变形过程中网格顶点之间的局部互相关关系。随后将各仿射变换分解为旋转成分与拉伸缩放成分，对拉伸缩放成分进行线性插值，而对旋转成分采用四元数插值算法进行非线性插值，合成中间帧姿态的变形梯度向量，并据此计算出中间帧网格模型。当相邻关键帧姿态存在较大差异时，该算法也能快速生成平稳而生动的中间帧动画，可有效减少关键帧的数量，提高动画制作效率。     

联合时域虚拟帧的多帧视频质量增强方法

基于神经网络的视频质量增强方法能够明显减少视频压缩噪声,提高压缩视频的主观与客观质量.目前,大多研究采用的是空域单帧增强策略.然而,视频图像在时域也具备高度相关性,这些信息还未在视频增强上得到充分利用.为此,提出了一种联合时空域信息的重建视频增强方法.首先,使用自适应网络,根据前后重建帧预测得到当前帧的虚拟帧;该虚拟帧携带了大量时域信息,当前帧在空域又有高度相关性,因此,提出使用渐进融合网络进一步融合两者信息,从而增强当前帧的质量.实验结果表明,在随机访问编码模式测试条件下,文中方法与H.265/HEVC相比,平均可获得0.38dBPSNR增益;与仅用单帧增强相比,可获得0.06dBPSNR增益;与已有的多帧增强方法(multi-frame quality enhancement, MFQE)相比,可获得0.26 dB PSNR增益,且参数量仅为MFQE的12.2%.此外,文中方法对重建视频的主观质量也有明显改善.     

基于深度学习特征匹配的视频超分辨率方法

视频复原的目标是从给定的退化视频序列中把潜在的高质量视频复原出来。现有的视频复原方法主要集中在如何有效地找到相邻帧之间的运动信息,然后利用运动信息建立相邻帧之间的匹配。与这些方法不同,文中提出了基于深度学习特征匹配的方法来解决视频超分辨率问题。首先,通过深度卷积神经网络计算出相邻帧之间的运动信息;然后,采用一个浅层深度卷积神经网络从输入的视频帧中提取特征,基于估计到的运动信息,将浅层深度卷积神经网络提取到的特征匹配到中间视频帧对应的特征中,并将得到的特征进行有效融合;最后,采用一个深度卷积神经网络重建视频帧。大量的实验结果验证了基于深度学习特征匹配的方法能有效地解决视频超分辨率问题。与现有的基于视频帧匹配的方法相比,所提方法在现有的公开视频超分辨率数据集上取得了较好的效果。     

视频解码计算复杂度的线性建模理论及在线预测方法

视频解码是一类最典型的多媒体应用,其计算量大、耗能高.现代多媒体计算平台可利用视频解码计算复杂度固有的动态变化特征来自适应地调整所需计算资源,从而节省能耗,其前提是对视频解码计算复杂度进行准确估计.作者基于解码计算复杂度与帧长之间的线性关系,提出了一种利用状态变量法对解码计算复杂度进行理论建模和在线估计的方法.与传统的直接对帧长和计算复杂度之间的输入-输出依赖关系进行建模所不同,这里将视频解码系统表征为由视频内容特征的状态变化所驱动的系统.首先从语义层面对解码器各模块的解码复杂度进行分析,并导出各模块计算复杂度与语义参数间的依赖关系模型,总解码复杂度为各子模块的复杂度之和.经过化简得到解码计算复杂度与帧长之间的线性模型,其中模型系数为上述语义参数的函数,表征了视频内容特征的状态变化,被定义为状态变量.再结合压缩视频流中相邻帧语义参数之间的相关性,将系统状态方程定义为反映视频内容变化程度的分段线性函数.根据Ⅰ帧和P帧状态轨迹特性及其在压缩码流中位置属性的不同,分别进行计算复杂度在线估计:对于I帧,采用统计分析方法获得其状态变量的均值并进行在线估计;而对P帧,则是在运行过程中利用状态方程对状态变量进行实时更新和计算复杂度估计.在基于SimpleScalar的软件仿真平台和基于DSP的嵌入式硬件平台上分别对H.264、MPEG-4压缩码流的解码计算复杂度进行在线估计,实验结果表明:对解码计算复杂度的平均估计误差在7％以内,预测精度非常高,而且状态方程更新过程简单,在线运行复杂度低,特别适用于嵌入式移动设备.     

Video frame interpolation via optical flow estimation with image inpainting

As we all know, video frame rate determines the quality of the video. The higher the frame rate, the smoother the movements in the picture, the clearer the information expressed, and the better the viewing experience for people. Video interpolation aims to increase the video frame rate by generating a new frame image using the relevant information between two consecutive frames, which is essential in the field of computer vision. The traditional motion compensation interpolation method will cause holes and overlaps in the reconstructed frame, and is easily affected by the quality of optical flow. Therefore, this paper proposes a video frame interpolation method via optical flow estimation with image inpainting. First, the optical flow between the input frames is estimated via combined local and global-total variation (CLG-TV) optical flow estimation model. Then, the intermediate frames are synthesized under the guidance of the optical flow. Finally, the nonlocal self-similarity between the video frames is used to solve the optimization problem, to fix the pixel loss area in the interpolated frame. Quantitative and qualitative experimental results show that this method can effectively improve the quality of optical flow estimation, generate realistic and smooth video frames, and effectively increase the video frame rate.     

Human Body Model Acquisition and Tracking Using Voxel Data

We present an integrated system for automatic acquisition of the human body model and motion tracking using input from multiple synchronized video streams. The video frames are segmented and the 3D voxel reconstructions of the human body shape in each frame are computed from the foreground silhouettes. These reconstructions are then used as input to the model acquisition and tracking algorithms.The human body model consists of ellipsoids and cylinders and is described using the twists framework resulting in a non-redundant set of model parameters. Model acquisition starts with a simple body part localization procedure based on template fitting and growing, which uses prior knowledge of average body part shapes and dimensions. The initial model is then refined using a Bayesian network that imposes human body proportions onto the body part size estimates. The tracker is an extended Kalman filter that estimates model parameters based on the measurements made on the labeled voxel data. A voxel labeling procedure that handles large frame-to-frame displacements was designed resulting in very robust tracking performance.Extensive evaluation shows that the system performs very reliably on sequences that include different types of motion such as walking, sitting, dancing, running and jumping and people of very different body sizes, from a nine year old girl to a tall adult male.     

使用PSNR周期特性检测视频帧率上转伪造

帧率上转（FRUC）是最常用的一种视频编辑技术,它在原始视频帧间周期性地插入新的帧,以便增加视频的帧率,这种技术经常用于两段不同帧率的视频拼接伪造中。为了减少视觉痕迹,高级的FRUC方法通常采用运动补偿的插值方式,这也带来了针对这种插值伪造检测的挑战。在本文,我们提出一种新的简单但有效的方法,可正确检测出这种伪造,并能估计出视频的原始帧率。该方法利用了FRUC算法生成的插值帧与相邻原始帧构成的视频序列再次插值重建得到的帧对在PSNR上的周期性差异。测试序列的实验结果表明本文方法检测准确率高,其中对有损压缩视频序列的测试结果进一步证实了该方法的实际使用价值。     

时空特征局部保持的运动视频关键帧提取

为提高运动视频关键帧的运动表达能力和压缩率,提出柔性姿态估计和时空特征嵌入结合的运动视频关键帧提取技术。首先,利用人体动作的时间连续性保持建立具有时间约束限制的柔性部件铰接人体（ST-FMP）模型,通过非确定性人体部位动作连续性约束,采用N-best算法估计单帧图像中的人体姿态参数;接着,采用人体部位的相对位置和运动方向描述人体运动特征,通过拉普拉斯分值法实施数据降维,获得局部拓扑结构表达能力强的判别性人体运动特征向量;最后,采用迭代自组织数据分析技术（ISODATA）算法动态地确定关键帧。在健美操动作视频关键帧提取实验中,ST-FMP模型将柔性混合铰接人体模型（FMP）的非确定性人体部位的识别准确率提高约15个百分点,取得了81%的关键帧提取准确率,优于KFE和运动块的关键帧算法。所提算法对人体运动特征和人体姿态敏感,适用于运动视频批注审阅。     

结合帧率变换与HEVC标准的新型视频压缩编码算法

相比于之前主流的H.264视频压缩编码标准,HEVC在保证重建视频质量相同的前提下,可以将码率降低近50%,节省了传输所需的带宽.即便如此,由于一些特定的网络带宽限制,为继续改善HEVC视频编码性能,进一步提升对视频的压缩效率仍然是当前研究的热点.本文提出一种HEVC标准编码与帧率变换方法相结合的新型的视频压缩编码算法,首先在编码端,提出一种自适应抽帧方法,降低原视频帧率,减少所需传输数据量,对低帧率视频进行编解码;在解码端,结合从HEVC传输码流中提取的运动信息以及针对HEVC编码特定的视频帧的分块模式信息等,对丢失帧运动信息进行估计;最后,通过本文提出的改进基于块覆盖双向运动补偿插帧方法对视频进行恢复重建.实验结果证实了本文所提算法的有效性.     

基于自适应可分离卷积核的视频压缩伪影去除算法

针对目前视频质量增强和超分辨率重建等任务中常采用的光流估计相关算法只能估计像素点间线性运动的问题，提出了一种新型多帧去压缩伪影网络结构。该网络由运动补偿模块和去压缩伪影模块组成。运动补偿模块采用自适应可分离卷积代替传统的光流估计算法，能够很好地处理光流法不能解决的像素点间的曲线运动问题。对于不同视频帧，运动补偿模块预测出符合该图像结构和像素局部位移的卷积核，通过局部卷积的方式实现对后一帧像素的运动偏移估计和像素补偿。将得到的运动补偿帧和原始后一帧联结起来作为去压缩伪影模块的输入，通过融合包含不同像素信息的两视频帧，得到对该帧去除压缩伪影后的结果。与目前最先进的多帧质量增强（MFQE）算法在相同的训练集和测试集上训练并测试，实验结果表明，峰值信噪比提升（ΔPSNR）较MFQE最大增加0.44 dB，平均增加0.32 dB，验证了所提出网络具有良好的去除视频压缩伪影的效果。     

基于光流周期特性的视频帧率上转篡改检测

视频帧率上转是视频时域篡改的一种常见篡改手段,它通过周期性地在两个视频帧中间插入中间帧的方式,实现将视频由低帧率转换到高帧率的目标.本文提出了一种基于光流周期特性的视频帧率上转篡改检测算法,首先将视频转为帧图像序列,然后采用Horn-Schunck光流法计算每帧图像每个像素点的光流矢量,并计算相邻帧图像光流的变化率.最后利用快速傅里叶变换对光流变化率数据进行频谱分析,根据最高谱线的幅值与平均幅值的比值阈值来判别视频是否经过篡改.实验表明,算法不仅能够准确识别待测视频是否经过帧率上转篡改,并且提高了视频压缩的鲁棒性能,具有一定的实际应用价值.     

基于混合POCS的视频图像超分辨率重建

提出混合凸集投影算法HPOCS对视频图像进行超分辨率重建,利用连续视频图像间的互异信息生成更高分辨率的视频图像.该算法首先采用图像匹配估计视频图像间的运动位移;然后进行基于的APEX盲解卷积,估计点扩散函数和理想视频图像;最后在凸集投影的理论框架下进行图像重建.实验表明,HPOCS重建后,视频图像的分辨率相对于原始图像、双线性内插图像和POCS重建图像明显提高,图像边缘更加清晰,细节信息更加突出.     

基于线性动态系统的视频压缩感知自适应改进

线性动态系统的视频压缩感知(CS-LDS)是指从随机采样数据中直接估计出模型参数,然而对所有视频帧采取同样的采样方式,使得采样数据存在一定的时间冗余.针对这一问题,结合自适应压缩采样技术提出了一种自适应的改进算法.首先,对视频信号建立线性动态系统(LDS)模型;然后,通过自适应压缩采样方法得到视频信号的采样数据;最后,通过采样数据估计出系统模型参数,实现视频信号的重构.实验结果表明,在不影响视频重构质量的条件下,所提方法相对于CS-LDS算法,不仅能够节省统一测量过程中20%~40%的采样数据,而且平均每帧能够节省0.1~0.3 s的运行时间.改进后的算法降低了采样数目与算法运行时间.