针对视频序列分类的快速抠像技术

针对视频序列分类的问题提出了一种快速抠像技术.根据视频序列间的相关度进行关键帧的区分,得到关键帧、序列间变化细微的非关键帧、序列间变化较大的非关键帧;对于关键帧,采用闭合式的抠像方法来进行处理,获得透明度值、前景像素值和背景像素值;对于变化细微的非关键帧,提出了一种基于帧间连续性的透明度值估计和优化方法;对于变化较大的非关键帧,提出了一种基于特征流传递的机制来传递关键帧的有效信息.实验结果表明,最终在获得与传统方法相比可接受的抠像效果条件下,这种快速抠像技术缩短了处理时间.     

保留边缘与细节的压缩采样视频复原算法*

已有的压缩感知视频复原算法因过平滑效应难以保留视频帧的边缘与细节信息,对此提出一种基于混合稀疏性测量的压缩采样视频复原算法。编码端将视频序列分为关键帧与非关键帧,并使用相同的感知矩阵对帧的每块进行采样。解码端则设计了考虑局部稀疏性与全局稀疏性的混合稀疏性测量方案,并将其作为压缩感知视频复原问题的正则项;然后,通过分裂Bregman迭代算法对关键帧进行解码,并考虑视频帧间的时间相关性对非关键帧进行细化处理。基于多组仿真实验的结果表明,本算法获得了较好的视频复原精度,并具有理想的计算时间性能。     

融合多路特征和注意力机制的强化学习关键帧提取算法

针对现有视频关键帧提取算法对运动类视频中运动特征提取不准导致的漏检和误检问题,提出一种融合多路特征和注意力机制的强化学习关键帧提取算法。该算法首先通过人体姿态识别算法对视频序列进行人体骨骼关节点提取;然后使用S-GCN和ResNet50网络分别提取视频序列中的运动特征和静态特征,并将两者进行加权融合;最后应用注意力机制对特征序列进行视频帧重要性计算,并利用强化学习进行关键帧的提取和优化。实验结果表明,该算法能较好地解决运动类视频在关键帧提取中出现的漏误检问题,在检测含有关键性动作的视频帧时表现较好,算法准确率高、稳定性强。     

基于运动特征融合的快速视频超分辨率重构方法

基于深度学习的视频超分辨率重构方法常面临重构精度不高或重构时间过长的问题,难以实时获得高精度的重构结果.针对此问题,文中提出基于深度残差网络的视频超分辨率重构方法,可以快速地对视频进行高精度重构,并在较小分辨率视频的重构过程中达到实时重构的要求.自适应关键帧判别子网自适应地从视频帧中判别关键帧,关键帧经过高精度关键帧重构子网进行重构.对于非关键帧,将其特征与邻近关键帧间的运动估计特征和邻近关键帧的特征逐层融合,直接获得非关键帧的特征,从而快速获得非关键帧的重构结果.在公开数据集上的实验表明,文中方法能实现对视频的快速、高精度重构,鲁棒性较好.     

多媒体传感器网络视频的帧分类联合重构

为降低多媒体传感器网络中视频压缩感知的计算复杂度,提出一种基于帧分类的多媒体传感器网络视频联合重构算法。依据视频数据的联合稀疏模型将视频帧分为关键帧和非关键帧。对于压缩感知重构中欠定线性方程组,可利用关键帧和非关键帧之间的相关边信息进行重构初始化,同时运用有界约束二次规划对其进行求解。从仿真结果可知,相对于传统的视频压缩感知算法而言,在保证视频重构质量的前提下,所提方法在重构算法复杂度上不但能有效降低,同时,在视频重构上能提高其实时性。     

基于局部注意的快速视频目标检测方法

视频目标检测是对视频内的目标进行准确分类与定位。现有基于深度学习的视频目标检测方法通过光流传播特征,不仅存在模型参数量大的问题,而且直接将光流应用于高层特征难以建立准确的空间对应关系。提出一种轻量级的视频目标检测方法。通过设计一种特征传播模型,在不同帧的局部区域内将高层特征从关键帧传播到非关键帧,并将有限的计算资源分配给关键帧,以加快检测速度。构建动态分配关键帧模块,根据目标运动速度动态地调整关键帧选择间隔,以减少计算量并提高检测精度。在此基础上,为进一步降低最大延迟,提出异步检测模式,使得特征传播模型和关键帧选择模块协同工作。实验结果表明,该方法的检测速度和最大延迟分别为31.8 frame/s和31 ms,与基于内存增强的全局-局部聚合方法相比,其在保证检测精度的前提下,具有较快的检测速度,并且实现实时在线的视频目标检测。     

一种压缩域中基于镜头的关键帧提取改进算法*

关键帧提取技术是基于内容视频检索的基础。针对压缩视频序列提出一种基于镜头的关键帧提取改进算法。其核心是根据压缩视频序列的编码特点,只需要对其进行部分解码,利用I帧信息的直流分量信息构造DC缩微图,并结合图像帧不同区域DC信息的重要程度差异进行相似性度量,进而实现关键帧提取。实验证明,该算法较之传统算法,在查全率和检索时间两项指标上均有显著改善,尤其适用于新闻纪录片、电影片等局部运动较为剧烈的视频序列。     

基于关键帧标识的视频人脸识别技术研究

针对人脸检测与跟踪问题提出在监控视频中面向复杂背景、多姿态的快速人脸检测。使用了基于Haar特征,并结合有效的预处理手段跟搜索策略,另外在检测算法的基础上,考虑到监控视频的序列的特点,结合背景差、肤色、前帧参考等因素,提出一套基于帧间差分法来识别视频中人脸内容变动并标识此关键帧的方法,并以视频日志的形式记录下来。实验证明,此方法可以在针对检测特定目标提高监控视频人脸识别的正确率和检测速度。     

基于光流场的鲁棒性视频水印算法

为改善视频水印抗H.264压缩的性能,提出一种基于光流场的视频水印算法。根据视频图像中各点的光流速度,计算其帧图片的总光流,再根据总光流的差值来选定视频关键帧,在这些关键帧中利用DCT分块变换来嵌入水印信息。实验结果表明,该算法能有效对抗H.264的3种压缩模式,满足了水印的鲁棒性和视频高压缩率的双重要求。     

基于少量关键序列帧的人体姿态识别方法

针对传统人体姿态识别数据采集易受环境干扰、难以解决人体运动姿态的相似性和 人体运动执行者的特征差异性等问题,提出一种基于少量关键序列帧的人体姿态识别方法。首先 对原有运动序列进行预选,通过运动轨迹取极值的方法构造初选关键帧序列,再利用帧消减算法 获取最终关键帧序列;然后对不同人体姿态分别建立隐马尔科夫模型,利用 Baum-Welch 算法计 算得到初始概率矩阵、混淆矩阵、状态转移矩阵,获得训练后模型;最后输入待测数据,应用前 向算法,得到对于每个模型的概率,比较并选取最大概率对应的姿态作为识别结果。实验结果表 明,该方法能够有效的选取原始运动序列的关键帧,提高人体姿态识别的准确性。     

基于纹理信息的室内场景语义标注学习方法

针对目前室内场景视频中关键物体的检测、跟踪及信息编辑等方面主要是采用人工处理方式,存在效率低、精度不高等问题,提出了一种基于纹理信息的室内场景语义标注学习方法。首先,采用光流方法获取视频帧间的运动信息,利用关键帧标注和帧间运动信息进行非关键帧的标注初始化;然后,利用非关键帧的图像纹理信息约束及其初始化标注构建能量方程;最后,利用图割方法优化得到该能量方程的解,即为非关键帧语义标注。标注的准确率和视觉效果的实验结果表明,与运动估计法和基于模型的学习法相比较,所提基于纹理信息的室内场景语义标注学习法具有较好的效果。该方法可以为服务机器人、智能家居、应急响应等低时延决策系统提供参考。     

时空特征局部保持的运动视频关键帧提取

为提高运动视频关键帧的运动表达能力和压缩率,提出柔性姿态估计和时空特征嵌入结合的运动视频关键帧提取技术。首先,利用人体动作的时间连续性保持建立具有时间约束限制的柔性部件铰接人体（ST-FMP）模型,通过非确定性人体部位动作连续性约束,采用N-best算法估计单帧图像中的人体姿态参数;接着,采用人体部位的相对位置和运动方向描述人体运动特征,通过拉普拉斯分值法实施数据降维,获得局部拓扑结构表达能力强的判别性人体运动特征向量;最后,采用迭代自组织数据分析技术（ISODATA）算法动态地确定关键帧。在健美操动作视频关键帧提取实验中,ST-FMP模型将柔性混合铰接人体模型（FMP）的非确定性人体部位的识别准确率提高约15个百分点,取得了81%的关键帧提取准确率,优于KFE和运动块的关键帧算法。所提算法对人体运动特征和人体姿态敏感,适用于运动视频批注审阅。     

一种视频序列的拼接算法

提出了一种视频序列的拼接算法。首先在同一镜头下的视频序列中提取若干关键帧,利用关键帧拼接表示序列的拼接;其次利用光流场算法计算出的运动位移量引导相邻关键帧间特征点的匹配,并结合随机抽样一致性（RANSAC）鲁棒估计算法和单映矩阵的级联性,得到相邻关键帧、非相邻关键帧间的对应矩阵;最后通过融合实现了序列的无缝拼接。实验验证了这种方法的有效性。     

Human steering angle estimation in video based on key point detection and Kalman filter

Human pose recognition and estimation in video is pervasive. However, the process noise and local occlusion bring great challenge to pose recognition. In this paper, we introduce the Kalman filter into pose recognition to reduce noise and solve local occlusion problem. The core of pose recognition in video is the fast detection of key points and the calculation of human steering angles. Thus, we first build a human key point detection model. Frame skipping is performed based on the Hamming distance of the hash value of every two adjacent frames in video. Noise reduction is performed on key point coordinates with the Kalman filter. To calculate the human steering angle, current state information of key points is predicted using the optimal estimation of key points at the previous time. Then human steering angle can be calculated based on current and previous state information. The improved SENet, NLNet and GCNet modules are integrated into key point detection model for improving accuracy. Tests are also given to illustrate the effectiveness of the proposed algorithm.     

Video frame interpolation via optical flow estimation with image inpainting

As we all know, video frame rate determines the quality of the video. The higher the frame rate, the smoother the movements in the picture, the clearer the information expressed, and the better the viewing experience for people. Video interpolation aims to increase the video frame rate by generating a new frame image using the relevant information between two consecutive frames, which is essential in the field of computer vision. The traditional motion compensation interpolation method will cause holes and overlaps in the reconstructed frame, and is easily affected by the quality of optical flow. Therefore, this paper proposes a video frame interpolation method via optical flow estimation with image inpainting. First, the optical flow between the input frames is estimated via combined local and global-total variation (CLG-TV) optical flow estimation model. Then, the intermediate frames are synthesized under the guidance of the optical flow. Finally, the nonlocal self-similarity between the video frames is used to solve the optimization problem, to fix the pixel loss area in the interpolated frame. Quantitative and qualitative experimental results show that this method can effectively improve the quality of optical flow estimation, generate realistic and smooth video frames, and effectively increase the video frame rate.     

基于半像素运动估计的DCVS残差重建算法

针对分布式视频压缩感知中非关键帧重建质量较差的问题进行了研究,提出了一种基于半像素插值技术的残差多假设块迭代重建算法。该算法先对重建后的相邻关键帧进行半像素插值运动估计生成当前非关键帧的边信息;然后,在测量域内对非关键帧与边信息求残差并对残差进行多假设重建;最后,将重建的残差与边信息进行融合得到重建的非关键帧。仿真结果表明,基于半像素插值的改进残差多假设块迭代重建算法比多假设迭代重建算法重建质量平均提高了0.3~1.4dB,提高了非关键帧的重建质量。     

基于自适应可分离卷积核的视频压缩伪影去除算法

针对目前视频质量增强和超分辨率重建等任务中常采用的光流估计相关算法只能估计像素点间线性运动的问题，提出了一种新型多帧去压缩伪影网络结构。该网络由运动补偿模块和去压缩伪影模块组成。运动补偿模块采用自适应可分离卷积代替传统的光流估计算法，能够很好地处理光流法不能解决的像素点间的曲线运动问题。对于不同视频帧，运动补偿模块预测出符合该图像结构和像素局部位移的卷积核，通过局部卷积的方式实现对后一帧像素的运动偏移估计和像素补偿。将得到的运动补偿帧和原始后一帧联结起来作为去压缩伪影模块的输入，通过融合包含不同像素信息的两视频帧，得到对该帧去除压缩伪影后的结果。与目前最先进的多帧质量增强（MFQE）算法在相同的训练集和测试集上训练并测试，实验结果表明，峰值信噪比提升（ΔPSNR）较MFQE最大增加0.44 dB，平均增加0.32 dB，验证了所提出网络具有良好的去除视频压缩伪影的效果。