一种基于分层率失真优化的容错性视频转码算法

容错性视频转码能够在已压缩视频流中嵌入容错性工具,以增强视频流面向无线信道的抗误码能力.但是容错性工具的嵌入在降低失真的同时也会增加码率,因此需要进行率失真优化.针对这一问题,文中提出了一种基于分层率失真优化的容错性转码算法.该算法通过在帧层和宏块层分别对重同步标记的插人和帧内宏块的刷新进行不同粒度的优化来提高算法的灵活性,通过在帧层考虑帧内宏块刷新、帧内预测和运动矢量预测的影响来提高算法的精确性,通过在宏块层减少候选模式的数量来降低算法的复杂度.实验表明,该算法与基于单层率失真优化的算法相比,信噪比可获得0.6～1.1dB的增益,复杂度最多可降低25%.     

面向视频播放场景的屏幕编码码率控制方法

针对屏幕中同时出现视频和文字图片时现有码率控制方法的局限性,提出一种新的码率控制方法。以视频缓存检验器和恒定码率因子控制模式为基础,通过视频窗口检测算法将屏幕内容划分为视频区域和非视频区域,并对不同的区域采取不同的码率控制算法。结合视频区域识别算法,新的码率控制方法分别对帧层和宏块层采用如下方法实现优化:对于帧层,若当前帧为P帧且在I帧周围一定范围内,则该帧通过采用P_SKIP模式降低非视频区域的帧率以补偿I帧的整体质量,提高屏幕视频序列的整体视觉效果;对于宏块层,则根据当前宏块所处区域(视频区域或非视频区域)对宏块量化参数及其波动范围作一定调整。实验结果表明,与x264原有的VBV+CRF模式相比,新的码率控制方法获得的主观评价评分要高40%。     

基于纹理合成和视觉显著度的视频编码方法

针对现有基于纹理分析合成的视频编码方法难以对纹理实现自动分割的问题,提出基于纹理合成和视觉显著度的视频编码方法,将编码可移除的纹理宏块定义为宏块内图像信息包含在周围宏块中的宏块,被移除宏块移除后,能够使用周围宏块信息进行重建,同时,为了保证重建图像的主观质量,对视觉显著的图像区域,强制地不被标记为纹理移除块。在解码端,采用了全局运动补偿和纹理优化的组合方式对纹理移除宏块进行重建,以确保连续帧之间的纹理时空一致性。与H.264/AVC编码方法相比,在相同主观质量的情况下,本编码方法能够降低码率5%到20%,与Njiki-Nya Patrick等人提出的基于纹理分析合成的编码方法相比,本编码方法不但能够实现自动的纹理提取,在低码率端,编码效率提高一倍以上。     

AVS中B帧宏块模式选择快速方法

为了降低AVS中B帧宏块模式选择的计算复杂度,提出了一种基于率失真优化（RDO）的宏块模式快速选择算法。根据人眼对图像边缘比较敏感的特点,提出了视觉阈值模型;利用sobel算子提取出宏块的边缘信息,并应用到视觉阈值模型中,从而得到了边缘点模型。在对图像水平、垂直纹理复杂度分析的基础上,对边缘点模型进行了选择,得到了宏块分割模式的快速算法;根据图像序列的时/空相关性提出了帧内预测判决算法。仿真结果表明,与原AVS全搜索算法相比,本算法在比特率略有增加和信噪比基本保持不变的条件下,使整个图像的总编码时间减少了40%左右,从而大大提高了AVS编码速度。     

分布式视频编码中的边信息改进算法

边信息是影响分布式视频编码系统率失真性能的关键因素之一。针对传统的运动补偿帧内插方案的固定宏块划分法忽略了视频序列中各区域运动强烈程度不均的特性,提出基于图像活跃度的灵活宏块划分算法。在前向运动估计之前,对相部关键帧的差值图像统计活跃度,根据各区域的运动强烈程度自适应地调整宏块大小。实验结果表明,对于不同运动特性的序列,本算法可以明显提升边信息帧的重建质量,使系统的率失真性能提高0.3~1.3dB有效提高了系统性能。     

基于码率优化分配的感兴趣区域编码算法

提出一种基于码率优化分配的感兴趣区域(ROI)编码算法,根据码率优化分配的原理,在压缩后率失真优化理论基础上,通过感兴趣因子对ROI有贡献的码块进行失真估计的缩放,为ROI码块分配较多的码率,以提高ROI在编码时的优先权。实验结果表明该算法实现了低码率时ROI的优先编码,同时保持一定的背景效果。     

基于视觉敏感的视频差错复原算法

根据人眼更多的注意感兴趣的区域和倾向对背景的改变不太敏感的视觉特性,提出基于视觉敏感图像分割的视频差错复原算法,实现支持该算法的H.264编解码器。利用灵活宏块排序技术(FMO)对图像帧进行分割,将图像帧分割为前景子图像和背景子图像。与背景子图像相比,对前景子图像按更高图像质量的要求进行编码,并且对前景子图像的传输进行更有效的保护。实验结果表明,提出的基于图像分割的差错复原算法具有良好的容错性能,重建图像的主客观质量良好。     

在H.264/AVC中使用模糊度量进行码率控制

H.264中常用的码率控制算法都采用简单但不符合人眼视觉特性的平均绝对值差值（MAD）作为衡量编码失真的主要依据。采用基于模糊积分的图像失真度量代替MAD，提出一种基于宏块条的自适应码率控制算法。实验结果表明，所提出的方法无论是在CBR还是VBR下，码率控制都相当准确，并且能获得较高的峰值信噪比（PSNR）和主观视觉质量。     

基于视觉显著性的多视点纹理视频编码算法

针对多视点视频的压缩问题,提出一种基于视觉显著性分析的编码算法。该算法根据人眼对显著性区域的失真更加敏感这一特性,通过控制显著性区域与非显著性区域的编码质量来有效提高多视点视频编码的效率。首先,利用融合颜色与运动信息的视频显著性滤波器提取出多视点视频图像像素级精度的视觉显著性图;然后,将所有视点视频的视觉显著性图转换为编码宏块的显著性表示;最后,利用感知视频编码的原理实现基于显著性的宏块质量自适应控制。实验结果表明,该算法有效地提高了多视点视频编码的率失真效率及主观视频质量。     

融合视觉感知特性的HEVC率失真优化

目的 高效视频编码(HEVC)采用率失真优化技术选择最佳的编码参数,实现编码比特率和视频图像失真之间的平衡。失真度量通常采用均方误差和绝对误差和,这些方法并没有考虑人眼的主观感受。为了提高视频编码的主观感知质量,提出一个融合视觉感知特性的率失真优化算法,并应用于帧间率失真优化过程中。方法 首先定义了一个视觉感知因子,该因子考虑了人类视觉系统对视频图像的空域活动性区域、纹理区域、时域运动性区域和亮度的感知特性,然后以编码树单元为单位对拉格朗日乘子进行自适应调整,最后根据拉格朗日乘子与量化参数之间的关系,对量化参数做进一步的修正。结果 与HEVC参考软件相比,本文算法明显提高了率失真性能,对于相同的结构相似度(SSIM)分值,本文算法在随机访问和低延时配置下平均分别节省3.1%,4.9%的码率,最高能节省9.0%的码率。与代表性文献算法相比,对于相同的SSIM,本文算法在随机访问和低延时配置下平均分别增加了0.7%,2.2%的码率节省。结论 本文率失真优化策略能够根据图像不同的视觉特性自适应的调整率失真优化过程中的拉格朗日乘子,在保持编码质量基本不变的情况下,节省了码率,提高了HEVC的编码性能。     

Automatically-Determined Region of Interest in JPEG 2000

This work presents an automatically-determined region of interest (ROI) scheme embedded in JPEG 2000. The proposed scheme analyzes the image content and then determines the probable ROI masks by examining the significant states of high-frequency subbands generated from embedded block coding with optimized truncation (EBCOT). Additionally, probable ROI masks are constructed in all bit planes of subbands by categorizing sub-blocks as either interesting or uninteresting, smoothing subblocks of interest, and grouping these subblocks based on an or no initial point. The rate-distortion (RD) pairs corresponding to all probable ROI masks are then estimated from the RD distribution during the Tier-2 coding process of EBCOT. Based on these estimations, the Lagrangian multiplier method is employed in the RD function to obtain the optimized ROI mask from the probable masks by minimizing the distortion of the ROI-encoded image at a given bit-rate constraint. ROI-encoded images obtained using the proposed scheme outperform ROI-encoded images obtained via the conventional schemes using fixed-square and object-segmentation masks, as judged by subjective visual perception and objective measurement in terms of peak signal-to-noise ratio. Particularly, the proposed scheme can easily adapt the ROI region with varied sizes and shapes according to the bit-rate constraint whereas the conventional schemes only adopt the fixed-square region and fixed segmented objects. Furthermore, when the proposed scheme is applied to motion JPEG 2000 for video compression, the centroid of the ROI mask in the previous frame can be used as an initial point for merging the subblocks of interest in the current frame to track the ROI masks in a video sequence. Therefore, the proposed scheme can easily be employed to improve the perceptual and objective performance in the ROI coding associated with JPEG 2000 and motion JPEG 2000.     

基于H.26L的视频抗误码策略

概括了H．26L视频编码层和网络适应层的主要特性，结合H.26L介绍了帧内刷新、错误掩盖、多参考帧运动估计、DP、FMO等典型的误码控制策略，并针对H．26L典型的FMO抗误码技术与率失真优化算法结合进行了实验仿真，证明FMO的抗误码性能优于一般的Slicc结构，率失真优化有效地提高了视频的鲁棒性能。     

基于纹理特性与空域相关的高效视频编码帧内分级快速算法

为了降低高效视频编码(HEVC)标准的编码复杂度,提出一种基于纹理特性与空域相关性的帧内分级快速算法。首先,采用最大编码单元(LCU)级的快速算法,通过利用相邻LCU的编码深度值加权预测得到当前LCU的预测深度,并利用块标准差和自适应阈值策略确定当前LCU的纹理复杂度,将当前LCU的预测深度和纹理复杂度相结合来预测当前LCU的最有可能深度范围(MPDR);其次,采用编码单元(CU)级的深度判决快速算法(CUDD-FA),将基于边缘图的CU深度预判策略和基于率失真(RD)代价相关性的CU提前中止策略相结合,实现了CU级深度的提前确定,进一步降低了帧内编码复杂度。与原始HEVC算法相比,所提算法在全I帧编码模式下编码时间平均减少41.81%,BD-rate(Bjøntegaard Delta bit rate)仅上升0.74%,BDPSNR(Bjøntegaard Delta Peak Signal-to-Noise Rate)仅降低0.038 dB;与代表性文献算法相比,所提算法在编码时间节省更多的情况下率失真性能更好。实验结果表明,在率失真性能损失可以忽略不计的前提下,所提算法能有效降低HEVC帧内编码复杂度,特别是高分辨率视频序列,有利于HEVC的实时视频应用。     

Simple intra prediction algorithms for heterogeneous MPEG-2/H.264 video transcoders

Recent developments have given birth to H.264/AVC: a video coding standard offering better bandwidth to video quality ratios than MPEG-2. It is expected that the H.264/AVC will take over the digital video market, replacing the use of MPEG-2 in most digital video applications. The complete migration to the new video-coding algorithm will take several years given the wide scale use of MPEG-2 in the market place today. This creates an important need for MPEG-2/H264 transcoding technologies. However, given the significant differences between both encoding algorithms, the transcoding process of such systems is much more complex to other heterogeneous video transcoding processes. In this work, we start by analyzing the methods defined in the H.264 video coding standard for the intra prediction: a central element of every H.264 encoder. We then introduce and evaluate six fast intra mode decision algorithms which should enable the development of MPEG-2 to H.264 transcoders. Having evaluated all the proposed methods, we have come out with a high-efficient method, namely DC-ABS pixel. Our results show that our algorithm considerable reduces the complexity involved in the intra prediction with respect the mode decision algorithms used in H.264 JM reference software, while exhibiting a slight degradation on the RD function.. Finally, we analyze a comparative study with two of the most prominent fast intra prediction methods presented in the literature. The results show that the proposed DC-ABS pixel method achieves the best results for video transcoding applications.

基于HEVC的帧内预测模式决策和编码单元划分快速算法

针对高效视频编码（HEVC）帧内预测过程中的高计算复杂度问题,提出一种基于纹理特征的预测模式选择和编码单元划分的快速帧内预测算法。利用每一深度层纹理方向强度判断编码单元是否需要进行分割,并且减少候选模式数量。首先,在每一深度层编码单元上结合像素方差,以像素点为单位计算相应的纹理方向强度,确定其纹理复杂度并结合阈值策略预测最终划分深度;其次,比较垂直和水平方向强度关系及统计预测候选模式概率分布,以减少预测模式数量,确定最优候选模式子集,进一步降低编码复杂度。所提算法与平台HM15.0相比,编码时间平均节省51.997%,BDPSNR（Bjontegaard Delta Peak Signal-to-Noise Rate）仅降低0.059 dB,BDBR（Bjontegaard Delta Bit Rate）仅上升了1.018%。实验数据表明,在保证信噪比和比特率基本不变的同时,所提算法能有效降低编码复杂度,利于HEVC的实时视频应用。     

H.264帧内4×4块预测模式选择快速算法研究

在H．264视频编码过程中，编码时间受诸多因素的影响，如帧间／帧内模式选择、运动估计（ME）、率失真优化（RDO）等。为了以较快速度和较好质量进行编码，针对H．264帧内模式选择，提出了一种适用于H．264帧内4×4块预测的模式选择快速算法。该算法利用帧内4×4块最优预测模式与和它相邻的预测模式之间率失真代价（RDCost）的高相关性，以及绝对变换误差和（SATD）与率失真（RD）性能之间的强相关性，有效地跳过一些不太可能的预测模式，从而使帧内4×4块模式选择过程只需进行4次率失真代价计算即可。实验结果显示，该算法在编码性能和编码速度之间取得了很好的折衷。     

An illumination invariant framework for real-time foreground detection

Journal of Real-Time Image Processing - The detection of interesting objects in a video sequence is a challenging problem, with many applications in automated surveillance and video analytic...     

高效视频编码帧内快速深度决策算法

针对新一代高效视频编码（HEVC）帧内预测中编码单元（CU）的编码深度选择过程中计算复杂度较高的问题,提出了一种基于空域相关性的帧内快速深度决策算法。首先,利用相邻已编码树单元（CTU）的深度通过线性加权得到当前CTU深度估计值;然后,对当前CTU深度估计值设置较为合适的深度双阈值提前终止编码树单元的划分或跳过CTU的某些深度,来缩小当前CTU的深度范围,从而减少不必要的深度计算。实验结果表明：与HM12.0相比,所提算法对比较简单的视频序列编码时间的减少比较明显,在亮度峰值信噪比（Y-PSNR）几乎不变的情况下（平均降低0.02 dB）,编码时间平均减少了34.6%。此外,所提算法容易与其他算法进行融合,能进一步降低HEVC的帧内计算复杂度,最终达到实时传送高清视频的目的。     

H.264/AVC高档次标准快速帧内模式选择算法研究

针对H.264/AVC高档次标准中帧内模式选择计算复杂度高的问题,提出一种新颖的基于纹理信息的快速帧内模式选择方法。利用绝对误差均值检测宏块的复杂度,选择块尺寸模式;利用平均绝对相邻像素差来检测图像块的纹理方向,筛选候选预测模式。实验结果表明,上述两部分算法单独使用都能够有效降低帧内模式选择的计算复杂度,使编码速度分别提高27%和64%,并且对率失真性能的影响可以忽略不计。利用整合后的综合算法,在率失真性能几乎保持不变的情况下,帧内编码速度提高超过70%以上。     

Video summarization via exploring the global and local importance

Video Summarization is to generate an important or interesting short video from a long video. It is important to reduce the time required to analyze the same archived video by removing unnecessary video data. This work proposes a novel method to generate dynamic video summarization by fusing the global importance and local importance based on multiple features and image quality. First, videos are split into several suitable video clips. Second, video frames are extracted from each video clip, and the center parts of frames are also extracted. Third, for each frame and the center part, the global importance and the local importance are calculated by using a set of features and image quality. Finally, the global importance and the local importance are fused to select an optimal subset for generating video summarization. Extensive experiments are conducted to demonstrate that the proposed method enables to generate high-quality video summarization.