参数重用的HEVC多描述视频编码

为了提高视频编码的容错性能,保证视频经不可靠信道传输后的重建质量。本文提出了一种面向高效视频编码标准（High Efficiency Video Coding,HEVC）的基于参数重用的多描述视频编码方法。原始视频进行空间梅花下采样,生成四个行列交错的子序列,其中两个子序列采用标准编码器进行编码,并在编码过程中提取视频中每个编码单元（Coding Unit,CU）的深度信息、预测单元（Predicting Unit,PU）的分割方式以及帧内预测模式。而其余两个子序列利用已编码的视频序列信息,进行简化的编码过程。选取一个经标准编码的子序列,与一个简化编码的子序列,结合生成描述1,其余子序列生成描述2,不同描述分信道传输。多描述的编码结构可以保证即使只接收到单一描述也能保证视频的重建质量,参数重用的方法利用子序列间的相关性,减少了冗余信息,降低了编码开销。实验结果表明,参数重用的HEVC多描述视频编码针对高清视频编码效果明显,边缘解码质量PSNR值仅略低于中心解码0.7 dB,有效地提高了高清视频编码的容错性能。进行简化编码子序列的平均编码时间节省了91.7%,实现了高编码效率、低复杂度的HEVC容错编码。      

基于特征金字塔融合表征网络的跨模态哈希方法

随着多模态数据的爆发式增长,跨模态检索作为一种搜索多模态数据的最常用方法,受到越来越多的关注。然而,目前存在的大多数深度学习的方法仅仅采用模型后端最后一个全连接层输出作为模态独有的高层语义表征,忽视了多个层次上不同尺度特征之间的语义相关性,具有一定的局限性。为此,本文提出一种基于特征金字塔融合表征网络的跨模态哈希检索方法。该方法设计了一种特征金字塔融合表征网络,通过在多个层次和不同尺度上进行特征提取并融合,挖掘多个层次上不同尺度下模态特征的语义相关性,充分利用模态特有的特征,使网络输出的语义表征更具有代表性。最后设计了三重损失函数:模态间损失,模态内损失和汉明空间损失对模型进行训练学习。实验结果表明,本文所提方法在MIRFLICKR-25K和NUS-WIDE数据集上均获得了良好的跨模态检索效果。      

结合时空梯度感知特征的HEVC-SCC码率控制算法

针对屏幕内容视频具有大量文字、图形区域以及锐利边缘的特点，本文在HEVC-SCC编码标准上提出一种结合时空梯度感知特征的HEVC-SCC码率控制算法。考虑把有效的码率用在对于人眼视觉系统更加敏感的特性上，本算法主要从空域和时域两方面进行屏幕内容视频感知特性的提取。在空域方面，采用差分算子提取梯度幅值信息，得到空域特征的描述子；在时域方面，采用可以较好描述屏幕内容视频感知特征的梯度相似性度量信息，结合相邻帧间的相关性，得到时域特征的描述子。将时空梯度感知特性进行融合，用以控制屏幕内容视频编码的码率。实验结果表明，在随机接入模式下，本算法和原始HEVC-SCC算法相比，在略微降低误码率、节省码率开销的同时提高了视频的感知质量。      

基于结构张量的H.266帧内预测快速算法

新一代视频编码标准H.266将帧内预测模式从35种扩展到67种,提高预测准确率的同时大大增加了编码的计算复杂度。本文根据视频内容纹理方向和帧内预测模式选择相关性强的特点提出了一种基于结构张量的H.266帧内预测模式快速选择算法,以编码单元CU为单位,计算其结构张量矩阵,再依据结构张量奇异值分解后得到的特征向量来确定当前CU的纹理方向,缩小候选模式的选择范围,减少进行代价计算的模式数量。实验结果表明,在全I帧条件下,该算法相较于H.266 VTM-7.3标准平台在节省17.28%编码时间的同时只增加1.12%的码率,有效地降低了编码复杂度。      

结合内容特性与纹理类型的HEVC-SCC帧内预测快速算法

本文提出了一种结合内容特性与纹理类型的HEVC-SCC帧内预测快速算法。利用自然内容和屏幕内容视频DCT变换后系数能量分布不同的特点,结合当前预测单元（Prediction Unit, PU）梯度信息,将编码树单元（Coding Tree Unit, CTU）分成自然内容CTU,简单屏幕内容CTU和复杂屏幕内容CTU。对于自然内容CTU,选择35种传统帧内模式作为候选模式,跳过帧内块复制（Intra Block Copy, IBC）和调色板（Palette mode, PLT）模式;对于简单屏幕内容CTU,选择DC,PLANAR,水平和垂直模式作为候选模式,跳过IBC和PLT模式;对于复杂屏幕内容CTU,选择IBC和PLT模式,跳过其他候选模式。实验结果表明,在全I帧条件下,该算法相较于SCM-8.3可以节省38.55%的编码时间,大幅度降低了编码复杂度的同时只增加了1.82%的码率。      

基于多尺度特征残差学习卷积神经网络的视频超分辨率方法

本文提出了一种基于多尺度特征残差学习卷积神经网络的视频超分辨率方法,考虑到视频帧间的时空相关性,所提的方法采用由双三次插值预处理后的连续五帧视频作为卷积神经网络的输入,经由网络重建中间帧作为输出,依次按顺序重建直至获得整个高分辨率视频。本文所提出的卷积神经网络主要由多尺度特征提取、残差学习、亚像素卷积层、残差连接(skip-connection)四大部分组成,通过对视频的多尺度特征的提取获得更丰富的不同尺度特征和残差学习达到较好地恢复高频信息的目的。本文采用峰值信噪比（PSNR）和结构相似性指数（SSIM）作为损失函数优化网络。实验结果表明,本方法在平均评价指标上较其他方法均有一定的提升（PSNR +3.151dB,SSIM +0.102）,从主观评价上看可以有效地减少视频边缘模糊的现象。      

针对对比度变化的图像质量评价方法

由于对比度变化容易引入图像亮度和色彩等失真,本文提出了一种面向对比度变化的图像质量评价方法CCIQA。所提方法先将图像进行亮度和色度分离,再分别根据亮度强度变化和明暗对比度变化提取亮度失真因子和根据色度相似性提取色度失真因子,接着依照基于亮度强度的权重图进行融合并计算得到最终图像质量评价分数。所提CCIQA方法在4个常用的数据库,TID2008,TID2013,CID2013和CCID2014进行广泛测试。实验结果表明所提CCIQA算法符合人眼视觉对对比度变化的主观感知,且算法性能优于多个最新图像质量评价方法。      

采用新型纹理特征的2DLDA人脸识别算法

针对现有基于纹理特征的人脸识别算法中纹理特征维数偏大且对噪声较敏感等不足,提出了用于描述人脸图像大尺度局部特征的中心四点二元模式（Center Quad Binary Pattern, C-QBP）和用于描述图像小尺度局部特征的简化四点二元模式（Simplified Quad Binary Pattern, S-QBP）两种互补的新型纹理特征。在此基础上,实现基于新型纹理特征的2DLDA人脸识别算法。首先对人脸图像进行多级分割,再对所产生的图像块提取C-QBP和S-QBP纹理特征,构建纹理特征矩阵。最后,采用2DLDA子空间学习算法实现基于新型纹理特征的人脸识别。实验结果表明,本文所提出的人脸识别算法的识别率明显高于其他基于纹理特征和子空间学习的人脸识别算法。当每一类训练样本数统一设置为5,特征维数为48×4时,在ORL人脸库上,本文所提出的人脸识别算法的识别率达98.68%;在YALE人脸库上,特征维数为48×36时,识别率达99.42%;在FERET人脸库上,特征维数为48×26时,识别率为91.73%。      

基于多细节卷积神经网络的单幅图像去雨方法

本文提出一种基于多细节卷积神经网络的单幅图像去雨方法。考虑到雨条信息大都存在于有雨图像的高频部分，所提方法将有雨图像通过引导滤波进行多次分解得到平滑图像和不同频率分布的多细节图像，提出多细节卷积神经网络学习有雨图像和无雨图像之间的映射关系，从而获得无雨图像。考虑到实际收集相同场景下的有雨图像和无雨图像难度较大，本文采用无雨图像和人工合成的有雨图像作为训练数据，而测试部分则采用合成的雨图和真实的雨图。实验结果表明，本文所提方法能够有效去除图像中的雨条信息。