基于加权非局部相似性的视频压缩感知多假设重构算法

分布式视频压缩感知(Distributed Compressed Video Sensing,DCVS)多假设重构算法将传统视频编码中的多假设预测运动估计思想引入到分布式压缩感知视频编码系统中,改善了对视频序列的重构质量。在该算法中,大变化块采用本帧邻域块信息作为参考,而当本帧邻域块含有较多纹理和细节时,算法性能有待提高。为此,对非局部相似性的思想进行改进,提出基于加权非局部相似性的分布式视频压缩感知多假设重构算法。在该算法中,对大变化块中的纹理块采用加权非局部相似性在相邻已重构帧中寻找自相似块,最终生成辅助重构信息块;对于非纹理块,则简单利用加权非局部相似性生成相似块。对不同特点的视频序列的仿真实验结果表明,改进后的算法有效改善了视频序列的重构质量,具有较优的重构SSIM,PSNR指标,其中PSNR约提高1dB。     

空时形状预测与高效编码

目的 形状是视觉对象的关键特征,形状编码是对象基图像和视频处理中的关键技术,但现有无损形状编码方法压缩效率普遍不高.为此,提出一种基于链码表示和空时预测的高效无损形状编码新算法.方法 首先逐帧提取视觉对象的形状轮廓并转化为链码表示;然后基于对象轮廓的帧间活动性将形状视频序列分成帧内预测编码帧和帧间预测编码帧,并基于轮廓链码的空域相关性和时域相关性对二者分别进行空域和时域补偿与预测;最后基于链码的方向约束特性对预测后的位移矢量和预测残差进行高效编码压缩.结果 为了检验所提算法的性能,基于MPEG-4标准形状测试序列进行了编码实验测试.与现有主要方法相比本文算法能提高压缩效率6%到71.6%不等.结论 本文算法可广泛应用于对象基编码、基于内容的图像检索、图像分析与理解等领域.     

帧内块复制中的位移矢量参数编码算法

目的 随着云计算和移动互联网技术的飞速发展,屏幕图像编码已成为视频压缩领域新的研究热点。帧内块复制（intra block copy,IBC）算法是屏幕内容编码（screen content coding,SCC）中的核心算法,已经成为高效视频编码（high efficiency video coding,HEVC）等标准中屏幕内容编码的重要组成部分。为了进一步消除IBC算法中的位移矢量（displacement vector,DV）参数编码的冗余,根据DV参数具有的固有帧内块匹配特性和相关性,提出了一种DV参数编码算法。方法 首先,对待编码DV采用邻近块与最近块相结合的DV预测编码方案,进一步提高DV的预测编码效率;然后,对预测编码效率不高的DV,提出了一种基于区域划分与调整的高效DV直接编码方案。对SCC标准测试数据集合中的17个测试数据集合的3种编码配置从编码效率和复杂度两方面进行了评测。结果 实验结果表明,对于SCC标准测试数据集合中移动的文字和图形序列类别,在全帧内、随机接入和低延迟这3种有损编码配置下,提出的DV算法与HEVC SCC中的IBC算法相比,在编解码复杂度没有任何影响的前提下,Y分量的BD（Bjφntegaard Delta）-rate平均降低率分别为1.04%、0.87%和0.93%,全帧内配置下Y分量的BD-rate降低率可达2.99%。结论 本文方法优于HEVC-SCC中的IBC算法中的DV编码算法,能有效提升编码效率。     

基于模式特征的H.264/AVC可逆视频水印

目的 针对当前可逆视频水印隐蔽性和篡改定位能力不足问题,提出一种新颖的基于帧内预测模式的可逆视频水印算法。方法 首先,深入分析I帧亮度分量的预测模式对不同类型篡改的敏感性,提取每个帧内编码宏块的预测模式,通过预测模式生成特征码。然后,结合H.264/AVC编码特性和误差补偿算法,在每个亮度4×4残差块中筛选出误差最小系数。最后,运用差值扩展的方法将特征信息作为水印可逆的嵌入到所选系数。结果 在含水印视频未受到篡改时,解码端提取水印后可对原始视频进行无损恢复。当视频受到篡改时,算法能精确定位篡改区域并且篡改定位精度达到4×4子块级。由于水印嵌入在误差最小的系数中,能够有效地降低水印嵌入对于视频质量的影响,嵌入水印后图像的PSNR值比现有的基于H.264/AVC可逆水印方案平均提高10%,测试序列的码率增量平均降低了22%左右。结论 本文算法较现有算法具有更好的嵌入率、隐蔽性、篡改检测精度, 适用于医学、军事、卫星等领域。     

多模式3维视频形状编码

目的 具有立体感和高端真实感的3D视频正越来越受到学术界和产业界的关注和重视,未来在3D影视、机器视觉、远程医疗、军事航天等领域将有着广泛的应用前景。对象基3D视频是未来3D视频技术的重要发展趋势,其中高效形状编码是对象基3D视频应用中的关键问题。但现有形状编码方法主要针对图像和视频对象,面向3D视频的形状编码算法还很少。为此,基于对象基3D视频的应用需求,提出一种基于轮廓和链码表示的高效多模式3D视频形状编码方法。方法 对于给定的3D视频形状序列逐帧进行对象轮廓提取并预处理后,进行对象轮廓活动性分析,将形状图像分成帧内模式编码图像和帧间预测模式编码图像。对于帧内编码图像,基于轮廓内链码方向约束和线性特征进行高效编码。对于帧间编码图像,采用基于链码表示的轮廓基运动补偿预测、视差补偿预测、联合运动与视差补偿预测等多种模式进行编码,以充分利用视点内对象轮廓的帧间时域相关性和视点间对象轮廓的空域相关性,从而达到高效编码的目的。结果 实验仿真结果显示所提算法性能优于经典和现有的最新同类方法,压缩效率平均能提高9.3%到64.8%不等。结论 提出的多模式3D视频形状编码方法可以有效去除对象轮廓的帧间和视点间冗余,能够进行高效编码压缩,性能优于现有同类方法,可广泛应用于对象基编码、对象基检索、对象基内容分析与理解等。     

无人机侦察视频超分辨率重建方法

目的 无人机摄像资料的分辨率直接影响目标识别与信息获取,所以摄像分辨率的提高具有重大意义。为了改善无人机侦察视频质量,针对目前无人机摄像、照相数据的特点,提出一种无人机侦察视频超分辨率重建方法。方法 首先提出基于AGAST-Difference与Fast Retina Keypoint (FREAK)的特征匹配算法对视频目标帧与相邻帧之间配准,然后提出匹配区域搜索方法找到目标帧与航片的对应关系,利用航片对视频帧进行高频补偿,最后采用凸集投影方法对补偿后视频帧进行迭代优化。结果 基于AGAST-Difference与FREAK的特征匹配算法在尺度、旋转、视点等变化及运行速度上存在很大优势,匹配区域搜索方法使无人机视频的高频补偿连续性更好,凸集投影迭代优化提高了重建的边缘保持能力,与一种简单有效的视频序列超分辨率复原算法相比,本文算法重建质量提高约4 dB,运行速度提高约5倍。结论 提出了一种针对无人机的视频超分辨率重建方法,分析了无人机视频超分辨率问题的核心所在,并且提出基于AGAST-Difference与FREAK的特征匹配算法与匹配区域搜索方法来解决图像配准与高频补偿问题。实验结果表明,本文算法强化了重建图像的一致性与保真度,特别是对图像边缘细节部分等效果极为明显,且处理速度更快。     

基于数学形态学的视频帧间压缩算法研究与实现

常用视频压缩算法DCT存在方块效应和飞蚊噪声,在低速率传输下更为明显,难以满足视频传输中带宽窄、质量高的要求。基于数学形态学的视频图像帧间编码技术,是运用帧间运动补偿的编码算法,该算法通过复合形态变换,用结构元素对宏块中的不规则小块进行开、闭运算,选取并滤出不规则小块,再对不规则小块的大小和运动矢量进行运动估计编码,采用绝对差分和找出匹配块,实现帧间预测。通过仿真可达到比较精细的补偿,提高了编码效率,在相同压缩比下可提高视频质量,弥补了DCT算法在图像传输中的不足,改善了图像传输效果,降低了运算复杂度,对网络视频图像的编解码及传输具有一定的实用意义。     

基于双边信息的分布式视频压缩感知模型研究

针对传统视频编码技术计算量大和复杂度高的缺点,提出一种基于双边信息的分布式视频压缩感知算法。该算法将压缩感知技术与分布式视频编码技术相结合,把视频序列分为Key帧和CS帧,Key帧运用传统的帧内编码和解码,CS帧编码端运用压缩感知编码,解码端运用视频块内与视频块间的双边信息和梯度投影算法进行优化重构。通过双边信息的运动估计和压缩编码器的设计,实现基于双边信息的分布式视频压缩感知模型的构建。仿真结果表明该模型既可以实现高效编码,又可以实现复杂度由编码端向解码端转移,在较低的采样率下,提高视频的压缩能力和传输速度。     

视频压缩感知多假设局部增强重构算法

在基于多假设预测的视频压缩感知重构中, 不同图像块对应的假设集匹配程度差异较大, 因此重构难度差异明显. 本文提出多假设局部增强重构算法(Local enhancement reconstruction algorithm based on multi-hypothesis prediction, MH-LE), 利用帧间相关性对图像块进行分类后针对运动图像块提出像素域双路匹配策略, 通过强化图像块基本特征来提高相似块匹配效果, 获取更高质量的假设集; 同时将结构相似度评价标准引入假设块权值分配过程, 提高预测精度. 仿真结果表明, 所提算法的重构质量明显优于其他多假设预测重构算法. 和基于组稀疏的重构算法相比, 所提算法具有更快的重构速度, 在大部分的采样率条件下具有更高的重构质量.     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

求取真实运动矢量的一种算法

针对物体基视频编码与分割应用,提出了求取特征区域真实运动矢量的一种算法。首先,利用运动检测器将图像序列的每一帧分割成静止区域与运动区域。然后只对运动区域进行运动估计。为了克服传统块匹配法的固有缺点,本文算法采用变尺寸块匹配法,大的均匀区用大方块,运动物体的边缘区用小方块;在进行块匹配搜索期间,在易误匹配的区域,为了不遗漏真实的运动矢量,先按照ＭＡＥ准则预选出多个候选运动矢量,尽可能保证真实的运动矢量包含其中,接着再根据相邻块运动矢量的相关性,从多个候选运动矢量中选出一个比较可靠的运动矢量。实验结果表明,该算法产生的运动矢量真实可靠,而且一致性好,可用于识别可靠的运动区域。     

利用平稳光流估计的海上视频去抖

目的 海上拍摄的视频存在大面积的无纹理区域,传统基于特征点检测和跟踪的视频去抖方法处理这类视频时往往效果较差。为此提出一种基于平稳光流估计的海上视频去抖算法。方法 该算法以层次化块匹配作为基础,引入平滑性约束计算基于层次块的光流,能够快速计算海上视频的近似光流场;然后利用基于平稳光流的能量函数优化,实现海上视频的高效去抖动。结果 分别进行了光流估计运行时间对比、视频稳定运行时间对比和用户体验比较共3组实验。相比于能处理海上视频去抖的SteadyFlow算法,本文的光流估计算法较SteadFlow算法的运动估计方法快10倍左右,整个视频去抖算法在处理速度上能提升70%以上。本文算法能够有效地实现海上视频去抖,获得稳定的输出视频。结论 提出了一种基于平稳光流估计的海上视频去抖算法,相对于传统方法,本文方法更适合处理海上视频的去抖。     

面向视频会议的运动估计快速算法

针对H.264/AVC视频压缩算法中运动估计模块计算复杂度高的问题,提出了一种基于积分图像的运动估计快速算法.算法通过对单元块进行预计算求和,在块匹配运算时使用单元块级绝对差值.该算法能够在保证视频编码质量的前提下,大幅度提高运动估计模块的计算效率.算法适用于视频会议等要求视频实时压缩的应用.     

改进的自适应十字模型搜索运动估计算法

运动估计是视频编码中的一个关键问题,直接影响着编码的速度和质量。根据相邻块的运动矢量特性,将图像序列中每一帧分成3个不同的区域,在预测方法和搜索策略上分别采用不同的方式,提出一种改进的运动估计算法。实验测试表明,该算法在图像质量和搜索点数量减少方面具有较好效果。     

位平面匹配的电子稳像算法的改进

针对位平面匹配算法很难对视频图像中存在的旋转运动进行估计的缺陷,提出了一种改进的电子稳像算法。该算法采用钻石搜索策略的位平面法来估计并补偿视频图像序列间的平移运动,对参考帧图像进行拉普拉斯变换,在靠近图像边缘处选取若干个特征小块与当前帧进行块匹配,进一步计算并补偿其可能存在的旋转运动。通过理论分析和实验仿真表明：在处理存在旋转运动的视频图像时,改进后的算法在满足实时性的同时提高了稳像精度。     

An efficient multi-layer reference frame motion estimation for video coding

Most of the fast search motion estimation algorithms reduce the computational complexity of motion estimation (ME) greatly by checking only a few search points inside the search area. In this paper, we propose a new algorithm—multi-layer motion estimation (MME) which reduces the computational complexity of each distortion measure instead of reducing the number of search points. The conventional fast search motion estimation algorithms perform ME on the reference frame with full distortion measure; on the contrary, the MME performs ME on the layers with partial distortion measures to enhance the computational speed of ME. A layer is an image which is derived from the reference frame; each macro-pixel value in the layer represents the sum of the values of the corresponding pixels in the reference frame. A hierarchical quad-tree structure is employed in this paper to construct multiple layers from the reference frame. Experimental results on different video sequences show evidence that many motion vectors have been found similar both in the reference frame and the layers. The effectiveness of the proposed MME algorithm is compared with that of some state-of-the-art fast block matching algorithms with respect to speed and motion prediction quality. Experimental results on a wide variety of video sequences show that the proposed algorithm outperforms the other popular conventional fast search motion estimation algorithms computationally while maintaining the motion prediction quality very close to the full-search algorithm. Moreover, the proposed algorithm can achieve a maximum of 97.99 % speed-improvement rate against the fast full-search motion estimation algorithms which are based on hierarchical block matching process. The proposed MME performs the motion estimation on the layers by using three types of search patterns. The derivation of these search patterns exploits the characteristic of the center-biased motion vector distribution and that of less intensive block distortion measurement of the layers.     

基于平面拟合恢复运动矢量的错误隐藏算法

针对压缩视频码流在无线信道传输过程中由于运动矢量失配导致重构图像质量的问题,提出了一种基于平面拟合恢复运动矢量的错误隐藏算法。首先,根据H.264视频标准具有多参考帧且相邻宏块间的相关性的特点,通过把与受损宏块直接相邻的每个分块的运动矢量定义为一个点,采用平面拟合方法表征小范围内相邻运动矢量的变化趋势,对受损宏块运动矢量进行重建,然后利用改进的边界匹配函数,选取最优运动矢量对受损图像进行恢复。实验结果表明,该算法不仅避免了AIC算法产生的块效应,而且在不同的RTP丢包概率下,该算法比AIC算法得到的峰值信噪比有0.3~2.5 dB的提升。     

一种精确而快速的块匹配算法

为提高基于块的运动预测的搜索精度,该文基于块匹配准则,提出最小绝对差分误差和(SADD)算法。SADD以SAD为基础,利用块匹配中相邻像素点误差之间相关性,将块内各像素误差按一定顺序进行差分,消除了相邻点误差之间的冗余。该算法更精确地表达了块与快之间的相似程度。实验结果表明,该算法可有效降低码率,提高PSNR值,而且其鲁棒性好,可适用于各种序列。     

基于冗余小波变换的自适应运动估计与补偿算法研究*

为进一步提高运动估计和补偿的效果,提出了一种基于冗余离散小波变换（RDWT）的自适应运动估计算法。该算法提出了一种自适应块匹配和用于划分块运动状况的自适应阈值的计算方法;对静止块不进行估计,只对运动块采用自适应搜索起点预测方法和自适应阈值算法进行运动估计与补偿。实验结果表明,该方法能在保持较高峰值信噪比的情况下提高运动估计效率,且重建图像主观质量很好,较现有RDWT域运动估计算法有明显优势。