MC-EZBC中改进的运动编码

在层次式可变大小块匹配(HVSBM)运动估计/补偿中,运动信息由两部分组成:映射信息和运动向量。在传统的运动编码方案中,映射信息为直接编码和Huffman编码,而运动向量为差分算术编码。文章提出了基于上下文的自适应编码方法对这两部分信息进行编码。实验结果表明,采用新方法可以提高运动向量编码效率25%以上,提高视频编码的性能,特别是在低码率场合下。     

一种针对MPEG-4 AVC/H.264的用于快速码流生成的运动信息描述算法

由于MPEG-4 AVC/H.264采用了可变块尺寸(variable block size)和率失真最优化(rate distortion optimization)两项技术,视频编码流程中复杂度最高的运动估计(motion estimation)模块变得更加复杂.另一显著的变化就是,所获取的运动信息与目标码率紧密相关.这给传统的快速转码技术带来了很大困难.该文首先提出了一种分层模型,按由粗到细的方式描述每个宏块(macroblock)的运动信息.基于这个分层模型,文中提出了一种通过预编码获取运动信息的算法,从而生成视频序列运动特性的完整描述.有了这种运动信息描述,在编码或是转码的过程中,编码器可以跳过运动估计过程,编码复杂度因此大大减少.为进一步加快编码速度,还提出了从运动信息描述中抽取最优运动信息的快速算法.实验结果验证了所提算法的有效性,在大大降低编码复杂度的同时,编码性能与最优的MPEG-4 AVC/H.264非常接近.     

联合运动估计的多视点视频视差估计新方法

针对多视点视频编码中运动估计和视差估计运算量大的特点,提出了一种联合运动估计的多视点视频视差估计方法。在时域上对每个视点的宏块的运动状态建立 Kalman 滤波器,预测当前宏块的运动矢量。在运动估计基础上结合空域信息,分析了视差矢量和运动矢量的几何关系,计算了当前宏块的视差矢量。实验结果表明,本文方法和全搜索算法及快速算法相比,在大幅节省了编码时间基础上又提高了率失真性能。     

基于运动估计的无人机视频与遥测同步方法

针对无人机遥测数据和视频由于通讯延迟、链路不稳等因素,视频和遥测数据无法一一对应起来,需要对其进行同步处理的技术需求,提出了基于运动估计的视频与遥测同步方法。对于无人机飞行获取的遥测数据和视频数据,分别进行运动估计,得到基于遥测数据的运动编码和基于视频数据的运动编码,然后基于分析得到的运动编码进行匹配,进而根据匹配结果,对遥测数据进行插值处理,实现遥测与视频的同步。通过对总体运动模式的匹配,在载荷和无人机的遥测协议具体内容未知的情况下,根据运动模式实现视频与遥测的同步。通过灰度投影的方法进行针对无人机遥测数据和视频由于通讯延迟、链路不稳等因素,视频和遥测数据无法一一对应起来,需要对其进行同步处理的技术需求,提出了基于运动估计的视频与遥测同步方法。对于无人机飞行获取的遥测数据和视频数据,分别进行运动估计,得到基于遥测数据的运动编码和基于视频数据的运动编码,然后基于分析得到的运动编码进行匹配,进而根据匹配结果,对遥测数据进行插值处理,实现遥测与视频的同步。通过对总体运动模式的匹配,在载荷和无人机的遥测协议具体内容未知的情况下,根据运动模式实现视频与遥测的同步。通过灰度投影的方法进行运动估计以完成视频的运动编码,大大提高了视频运动估计的效率和速度,最终实现视频与遥测的同步。实现对遥测数据的高精度匹配和插值,提高同步的精度。运动估计以完成视频的运动编码,大大提高了视频运动估计的效率和速度,最终实现视频与遥测的同步。实现对遥测数据的高精度匹配和插值,提高同步的精度。     

Wyner-Ziv视频编码中边信息估计研究

Wyner-Ziv视频编码是一种典型的分布式视频编码。为了产生较为精确的边信息,提出了一种基于运动估计双向预测边信息的方法,构造了运动补偿内插框架以及改进了算法。Matlab仿真结果表明,改进方法的率失真性能比H.264帧内编码高出0.1~9.0 dB,比基于Turbo码的Discover软件高出0.01~0.90 dB。     

基于可分级视频编码的双向双维运动信息可分级*

为进一步提高基于一种运动信息可分级模型的可分级视频编码的编码效率,减小运动信息可分级的最低码率限制,对该运动可分级模型的二维多向性进行了具体研究与改进,更新了运动估计的流程,提出了多向上的两个运动可分级维度的运动分级等级一致性原则以及二维数据的渐进式存储存取结构,从而实现了二维多向上的运动可分级。实验测试结果证明该二维多向的运动信息模型优于不可分级的运动信息,能有效提高可分级视频编码系统的效率。     

一种基于DCT系数分布特性的块匹配准则

视频编码通过运动估计消除时间冗余信息，块匹配方法是目前所有视频编码标准采用的运动估计方法。根据运动估计的残差图像的DCT变换后交流系数的统计分布规律，推导出了一种块匹配运动估计的匹配准则．这种匹配准则在对有亮度变化的帧进行运动估计时特别有效．实验结果表明该匹配准则可以取得比SAD匹配准则更好的效果．     

H.266/VVC中一种改进的仿射运动估计算法

通用视频编码标准H.266/VVC通过引入多种新的编码技术,如仿射运动补偿预测、自适应运动矢量精度、多核变换等,以支持360°视频和HDR视频的编解码,从而为用户提供最优的视频质量,但是在H.266/VVC帧间预测过程中,仿射运动估计计算复杂度高导致编码时间显著增加。针对该问题,提出一种改进的仿射运动估计算法。通过对仿射高级矢量预测（AAMVP）候选列表的构建过程进行改进,并构建一种AAMVP候选列表候选项筛选准则,使得列表的候选项更接近编码块真实的运动矢量,从而缩短编码时间。同时对仿射运动估计中迭代搜索最优仿射运动矢量的迭代过程进行优化,以加快迭代搜索速度。实验结果表明,在低时延的编码器配置下,相比VVC原始算法,当BD-BR增加了0.023%时,该算法的总体编码时间平均缩短13%,在保证编码质量的前提下能够有效降低编码的计算复杂度。     

基于H．264标准的混合编码算法分析

H.264标准是ITUT/VCEG和ISO/MPEG委员会联合制定的视频通信新编码标准,它在继承现有混合编码视频标准分块变换、运动估计/补偿、量化和熵编码等成熟技术的基础上,还采用了多种新技术,保证了编码的有效性。本文介绍了最新H.264标准中的差分编码、块匹配运动预测法、归一化准则、可变尺寸块运动补偿、多假设运动补偿。最后,对运动补偿中不同的块大小编码方法进行了实验分析,实验结果表明:对于通常视频内容,选择8×8及更大的分块模式、1/4像素运动补偿精度和混合编码,能够获得最经济的压缩效果。     

基于视差估计算法的多视点视频预测方案

多视点视频编码是立体视频的关键技术,视差估计是目前多视点视频编码中常用的方法之一.探讨了多视点视频编码中的视差估计算法原理,对当前应用视差估计算法的几种典型预测结构进行了深入分析,提出一种结合分级B图与视点相关性的多视点编码方案,该方案在H.264/AVC的编码模型JM下实现.实验表明,该方案在兼顾随机访问性能的同时,实现了较高的编码效率,尤其适合视点间相关性较高的运动图像序列.     

通用抽取引擎框架:一种新的Web信息抽取方法的研究

大规模的网络视频信息既为用户信息分享带来了方便,同时也为国家监管部门带来了新的挑战。考虑到效率问题,在线视频监管则主要考虑视频描述信息。主要研究了网络视频描述信息的抽取问题,提出了一种新的Web信息抽取方法:通用抽取引擎框架,其主要包括对视频描述信息抽取问题的形式化描述和用户感知的视频网站逻辑模型。该方法在国家某部委的视频监管项目中已得到应用,并取得了很好的效果。实验结果表明,该方法的扩展性、通用性和抽取准确率大大优于其他方法。     

基于运动特征的视频信息检索综述

随着各种视频压缩标准的制定、计算机软硬件与网络技术的发展，基于内容的视频信息检索从20世纪90年代开始，逐步成为研究热点，其中基于运动特征的视频信息检索则是一个重要的研究分支。本文从运动信息的提取、运动特征的表示和基于运动特征的检索算法这三个方面回顾基于运动特征的视频信息检索技术的研究进展。     

Quality assessment of perceptual color video based on a top-down framework and quaternion

Objective video quality assessment is of great importance in a variety of video processing applications. Most existing video quality metrics either focus primarily on capturing spatial artifacts in the video signal, or are designed to assess only grayscale video thereby ignoring important chrominance information. In this paper, on the basis of the top-down visual analysis of cognitive understanding and video features, we propose and develop a novel full-reference perceptual video assessment technique that accepts visual information inputs in the form of a quaternion consisting of contour, color and temporal information. Because of the more important role of chrominance information in the “border-to-surface” mechanism at early stages of cognitive visual processing, our new metric takes into account the chrominance information rather than the luminance information utilized in conventional video quality assessment. Our perceptual quaternion model employs singular value decomposition (SVD) and utilizes the human visual psychological features for SVD block weighting to better reflect perceptual focus and interest. Our major contributions include: a new perceptual quaternion that takes chrominance as one spatial feature, and temporal information to model motion or changes across adjacent frames; a three-level video quality measure to reflect visual psychology; and the two weighting methods based on entropy and frame correlation. Our experimental validation on the video quality experts’ group (VQEG) Phase I FR-TV test dataset demonstrated that our new assessment metric outperforms PSNR, SSIM, PVQM (P8) and has high correlation with perceived video quality.     

基于视频深度学习的时空双流人物动作识别模型

深度学习在人物动作识别方面已取得较好的成效,但当前仍然需要充分利用视频中人物的外形信息和运动信息。为利用视频中的空间信息和时间信息来识别人物行为动作,提出一种时空双流视频人物动作识别模型。该模型首先利用两个卷积神经网络分别抽取视频动作片段空间和时间特征,接着融合这两个卷积神经网络并提取中层时空特征,最后将提取的中层特征输入到3D卷积神经网络来完成视频中人物动作的识别。在数据集UCF101和HMDB51上,进行视频人物动作识别实验。实验结果表明,所提出的基于时空双流的3D卷积神经网络模型能够有效地识别视频人物动作。     

多头注意力与语义视频标注

在序列到序列的视频标注模型中，视频信息在经过编码之后被大幅压缩导致解码器端不能充分利用。为了解决这一问题，在模型中引入多头注意力机制和语义信息。多头注意力使得模型在生成不同的单词时可以焦距编码端视频信息的不同部分。语义信息由语义探测单元通过多标签分类方式生成视频的语义概率信息方式引入，给解码端提供额外指导，改进后的模型仍然是端到端的。实验结果表明，改进后的模型标注效果取得了显著的提升，采用的改进方法对提升标注能力有明显作用。     

视频图像文字检测综述

自动从视频图像中提取文字信息,对于监控视频图像内容、添加视频标签和建立视频图像检索系统,有重要的意义。文字检测是文字信息提取系统的前端,是文字信息提取中最关键的一步。近年来,视频图像文字信息检测领域有了新的重要的发展,综述从基于区域和基于纹理的文字检测方法进行归纳、比较和分析,概括了近年来文字检测技术的主要进展。此外,为了突出综合性方法的重要性,对其专门进行了总结。最后对视频图像中的文字检测技术的难点进行总结,并对其发展趋势进行展望。     

基于空间信息辅助的视频分割研究*

现有视频分割方法大都从计算机图像处理角度进行,而实际上视频本身具备丰富的地理空间信息,有效利用这种信息将使分割过程更加准确便利。从GIS应用的角度对基于空间信息辅助的视频分割方法进行一种新的探索,为构建可定位视频数据的组织与存储,建立基于影像帧层次与视频内容检索的高效索引机制奠定了基础。     

一种保密性可分级的视频加密方案

在不同的应用场合对视频信息有不同级别的安全性需求。分析了现有的两种可分级视频加密方案,进而基于视频的信源特征,提出了一种不改变码流格式的保密性可分级的视频加密方案。方案定义了视频码流中的几种关键信息作为加密的对象,然后通过选择加密信息类型的不同组合来实现不同的保密级别。试验结果表明该加密方案不改变视频码流格式、不影响视频的实时传输、不增加额外带宽,根据选用不同的密级可以适用不同安全性需求的应用场合。     

基于运动矢量相位角和卷积码的大容量视频隐写算法

为提高视频隐写中秘密信息的嵌入容量,提出一种基于运动矢量相位角和卷积码的大容量视频隐写算法。通过研究视频流中每一个帧组里的Ｐ帧和Ｂ帧上的运动信息,将秘密信息经过交织变换,用相位角的值表示不同的数字序列并作为卷积码的基本生成矩阵,使用卷积码来嵌入秘密信息。实验表明,该算法具有嵌入容量大、不可见性好和稳健性强等特点,在保持良好视频质量的前提下,可以达到视频隐写中大容量嵌入的目的。