空域频域相结合的唇型篡改检测方法

近年来,社交网络中的“换脸”视频层出不穷,对说话者进行唇型篡改是其中的视频代表之一,这给大众生活增添娱乐的同时,对于网络空间中的个人隐私、财产安全也带来了不小隐患。大多数唇型篡改检测方法在无损条件下取得了较好的表现,但广泛存在于社交媒体平台、人脸识别等场景中的压缩操作,在节约像素和时间冗余的同时,会对视频质量造成影响,破坏空域上像素与像素、帧与帧之间的连贯完整性,导致其检测性能的下降,从而引发对真实视频的错判情况。当空域信息无法提供足够有效的特征时,能够抵抗压缩干扰的频域信息就自然而然地成为重点研究对象。针对这一问题,通过分析频率信息在图像结构和梯度反馈上的优势,提出了空域频域相结合的唇型篡改检测方法,有效利用空域、频域信息的各自特点。对于空域上的唇型特征,设计了自适应提取网络和轻量级的注意力模块;对于频域上的频率特征,设计了不同分量的分离提取与融合模块。随后,通过对空域上的唇型特征和频域上的频率特征进行有侧重的融合,保留更多关键纹理信息。此外,在训练中设计细粒度约束,分开真假唇型特征类间距离的同时,拉近类内距离。实验结果表明,得益于频率信息,所提方法能有效改善压缩情况下的检测准确性,...     

结合时空特征和视觉感知的全参考视频质量评价

视频失真主要来源于空间和时间失真导致的视频质量退化。针对这两种视频质量退化,提出了一种结合时空特征和视觉感知的全参考视频质量评价方法STPFVQA。首先,使用ResNet50卷积网络从参考视频和失真视频中提取空间感知特征;其次将提取的空间感知特征送入transformer编解码器中,用来构建视频的序列化关系,同时对比参考视频和失真视频,探索失真对视频序列关系造成的影响;然后将transformer的输出送入预测头,形成帧级分数;最后为了模拟人类视觉系统感知的滞后性,从短期、长期和全局记忆效应来综合考虑获得最终的视频质量分数。为了验证方法的可行性,在LIVE、IVC-IC、CSIQ和IVPL四个公开数据集上进行了实验。实验结果表明提出模型更符合人类视觉系统感知情况。在IVC-IC和CSIQ数据集上相比最先进的序列依赖模型（serial dependence modeling,SDM）,SROCC评价指标分别高出2.6%和3.1%,KROCC评价指标高出6.1%和7.9%,PLCC评价指标高出2.3%和5.5%。     

结合感知特征和自然场景统计的无参考图像质量评价

为了更有效的评价各种失真类型的图像,本文提出了一种新颖的通用型无参考图像质量评价方法,它采取学习感知特征和空域自然统计特征相结合的方法来构建图像质量评价模型。方法是在提取显著分块的36个空域自然统计特征的基础上,增加基于相位一致性熵、基于相位一致性均值、梯度均值以及失真图像的熵四个感知特征,采用支持向量机回归的学习方式来构建图像特征与人的主观分数的映射关系,进而根据所提取特征预测图像质量。在LIVE图像库上的实验表明,文中算法预测质量分数与人的主观分数具有较高的一致性,基本呈线性关系,鲁棒性较好,运行时间较短,综合性能较好。     

基于互信息熵的全景视频关键帧数据实时提取系统设计

摘要：关键帧数据提取可以降低全景视频检索中产生的数据量,为了提高全景视频镜头边缘的检测与关键帧的提取的处理能力,提出基于互信息熵的全景视频关键帧数据实时提取系统设计。根据全景视频关键帧数据提取系统的硬件结构,分析视频播放器和镜头边缘检测器的工作原理;在系统的软件设计中,将待检测的两帧图像随机划分为子图像块,通过计算子图像块之间的互信息熵,获取全景视频图像的突变帧,将关键图像帧的特征差值曲线作为全景视频关键帧的时序特征,完成全景视频中关键帧数据的特征匹配,选择一个能够体现全景视频图像属性的特征,描述视频中的主要信息,利用数值化分析的方式,将全景视频帧的特征转换成数组形式的特征向量,通过计算互信息熵值,提取全景视频关键帧数。系统测试结果表明,文中系统将关键帧数据提取的查全率和查准率分别提高到95%和98%以上。能够准确提取出全景监控视频的关键帧数据,具有更好的全景视频处理能力。     

基于视觉运动特性的视频时空显著性区域提取方法

为了更准确有效地提取人眼观察视频的显著性区域,提出一种基于视觉运动特性的视频时空显著性区域提取方法。该方法首先通过分析视频每帧的频域对数谱得到空域显著图,利用全局运动估计和块匹配得到时域显著图,再结合人眼观察视频时的视觉特性,根据对不同运动特性视频的主观感知,动态融合时空显著图。实验分析从主客观两个方面衡量。视觉观测和量化指标均表明, 与其他经典方法相比,所提方法提取的显著性区域能够更准确地反映人眼的视觉注视区域。     

基于时空域特征的视频拷贝检测方法

提出一种仿射不变、紧致的视频时空域特征,并基于该特征进行视频拷贝检测。该方法着眼于宏观的特征同样可较好地表征视频,并且宏观特征更符合人类视觉的感知特点。首先将视频的若干连续帧堆叠成一个三维视频块;然后使用地形中分水岭的概念在视频块中检测出若干最大稳定极值块(MSEB);接着用一系列三维不变矩作为视频时空域特征来表征这些MSEB;最后,基于这些视频时空域特征来进行视频拷贝检测。实验表明,该方法与其它方法相比,检测精度和特征匹配速度均有大幅提升。     

基于交互信息量和联合熵的镜头检测算法

镜头检测在视频检索中起着关键作用。文章提出了一种基于信息论的镜头检测方法,该方法使用相邻帧间的交互信息量检测突变,使用相邻帧间的联合熵检测淡入/淡出镜头。试验表明:该方法简单、有效,且识别的准确率较高。     

基于多级时空域3D卷积的换脸视频检测方法

近年来,视频换脸技术发展迅速。该技术可被用于伪造视频来影响政治行动和获得不当利益,从而给社会带来严重危害,目前已经引起了各国政府和舆论的广泛关注。本文通过分析现有的主流视频换脸生成技术和检测技术,指出当前主流的生成方法在时域和空域中均具有伪造痕迹和生成损失。而当前基于神经网络检测合成人脸视频的算法大部分方法只考虑了空域的单幅图像特征,并且在实际检测中有明显的过拟合问题。针对目前检测方法的不足,本文提出一种高效的基于时空域结合的检测算法。该方法同时对视频换脸生成结果在空域与时域中的伪造痕迹进行捕捉,其中,针对单帧的空域特征设计了全卷积网络模块,该模块采用3D卷积结构,能够精确地提取视频帧阵列中每帧的伪造痕迹;针对帧阵列的时域特征设计了卷积长短时记忆网络模块,该模块能够检测伪造视频帧之间的时序伪造痕迹;最后,根据特征分类设计特征网络金字塔网络结构,该结构能够融合不同尺寸的时空域特征,通过多尺度融合来提高分类效果,并减少过拟合现象。与现有方法相比,该方法在训练中的收敛效果和分类效果方面有明显优势。除此之外,我们在保证检测准确率的前提下采用较少的参数,相比现有结构而言训练效率更高。     

联合时空SIFT特征的同源视频检测

通过对视频帧序列时空特性的分析,采用"局部趋同,全局异化"的策略,提出了一种联合时域和空域SIFT点特征的特征提取方法。实验表明,基于该特征的同源视频检测方法对于一定的视频变化具有较好的鲁棒性和检测精度。     

视频编码中帧内预测算法研究及性能比较

H.264是ITU和ISO联合制定的新一代视频编码标准,在多方面做出了改进.H.264标准中采用的空域帧内预测算法,有效提高了编码效率和预测精度.该文详细对比和分析了MPEG-4、WMV9所使用的频域帧内预测算法和H.264所使用的空域帧内预测算法,通过对各种测试序列的仿真,证明空域帧内预测算法能够有效提高编解码系统的整体性能.     

基于多层BP神经网络的无参考视频质量客观评价

机器学习在视频质量评价(Video quality assessment, VQA)模型回归方面具有较大的优势, 能够较大地提高构建模型的精度. 基于此, 设计了合理的多层BP神经网络, 并以提取的失真视频的内容特征、编解码失真特征、传输失真特征及其视觉感知效应特征参数为输入, 通过构建的数据库中的样本对其进行训练学习, 构建了一个无参考VQA模型. 在模型构建中, 首先采用图像的亮度和色度及其视觉感知、图像的灰度梯度期望值、图像的模糊程度、局部对比度、运动矢量及其视觉感知、场景切换特征、比特率、初始时延、单次中断时延、中断频率和中断平均时长共11个特征, 来描述影响视频质量的4个主要方面, 并对建立的两个视频数据库中的大量视频样本, 提取其特征参数; 再以该特征参数作为输入, 对设计的多层BP神经网络进行训练, 从而构建VQA模型; 最后, 对所提模型进行测试, 同时与14种现有的VQA模型进行对比分析, 研究其精度、复杂性和泛化性能. 实验结果表明: 所提模型的精度明显高于其14种现有模型的精度, 其最低高出幅度为4.34 %; 且优于该14种模型的泛化性能, 同时复杂性处于该15种模型中的中间水平. 综合分析所提模型的精度、泛化性能和复杂性表明, 所提模型是一种较好的基于机器学习的VQA模型.     

No-reference screen content video quality assessment

How to effectively and accurately measure the degradation of media content is an important research topic in the field of image or video processing. Application scenarios such as online meetings, distance learning, and live game streaming make screen content video become a hot spot in Video Quality Assessment (VQA) research. However, to the best of our knowledge, there is currently no no-reference VQA model designed specifically for screen content videos. In this paper, we propose a blind VQA model for screen content videos. This model first uses a multi-scale approach to extract several groups of features, including gradient features, relative standard deviation features, compression features, frequency domain features and inter-frame features. Through training with labeled videos, the model then uses support vector regressor to map the frame feature vectors to video quality scores. We validate the model on the CSCVQ database. Experiments show that our proposed model outperforms the existing full- and no-reference quality evaluation metrics and is also competitive in terms of stability and computational efficiency.     

面向视觉问答的跨模态交叉融合注意网络

为了提高视觉问答(VQA)模型回答复杂图像问题的准确率,提出了面向视觉问答的跨模态交叉融合注意网络(CCAN).首先,提出了一种改进的残差通道自注意方法对图像进行注意,根据图像整体信息来寻找重要区域,从而引入一种新的联合注意机制,将单词注意和图像区域注意结合在一起;其次,提出一种"跨模态交叉融合"网络生成多个特征,将两...     

色彩熵在图像质量评价中的应用

目的 由于色彩空间包含了图像的大量信息,而且Lab色彩空间更接近于人眼视觉,因此提出一种改进的无参考图像质量评价算法IQALE(image quality assessment using Lab color space and entropy),通过在SSEQ(spatial-spectral entropy-based quality)算法中加入Lab色彩空间a通道和b通道的特征来提高算法精度。方法 信息熵是近几年研究较多的图像特征,并且能较好地运用在图像质量评价研究中。该文在色彩空间和灰度空间同时提取信息熵特征,通过支持向量机(SVM)对图像特征和MOS值进行训练和测试。结果 在LIVE、TID2008、MICT、CSIQ和IVC这5个常用数据库上的实验结果表明:在算法中加入Lab色彩空间信息可以提高算法精度,并且本文算法IQALE的效果优于目前流行的无参考图像质量评价算法。为了验证算法的可扩展性,该文还在这5个数据库上进行了数据库独立性实验。结论 从实验结果来看,本文提出的IQALE算法通过加入色彩熵特征使得算法具有较高且较稳定的精度,数据库独立性实验也体现了算法较好的鲁棒性,对于各种失真类型都具有较好的普适性。     

基于非下采样轮廓波变换和多核学习的盲图像质量评价

非下采样轮廓波(Contourlet)变换具有多尺度、多方向特性,能够对图像纹理和结构信息进行精确提取,可以很好地模拟人类视觉系统的多分辨率特性,基于此提出一种基于非下采样Contourlet变换的通用型盲(无参考)图像质量评价算法。首先在空间域上对图像进行非下采样Contourlet变换;然后在各方向带中分别提取能有效反映人类视觉失真程度的特征:高频幅值、平均梯度、信息熵作为图像的特征;最后将其输入到高效的分层多核学习机中学习,预测图像的质量得分。在混合失真型数据库和3个单失真型数据库上的交叉实验结果表明,该算法性能优越,能很好地预测失真图像质量,具有很好的主客观一致性。     

基于3D卷积神经网络的无参考视频质量评价

无参考视频质量评价（NR-VQA)在无法获得原始高质量视频参照的前提下,对失真视频的视觉质量进行定量度量.常规NR-VQA方法通常针对特定失真类型设计,或者与人的主观感受存在偏差.首次将3D深度卷积神经网络（3D-CNN)引入到了视频质量评价中,提出了一种基于3D-CNN的无参考视频质量评价方法,可以适用于非特定失真类型的NR-VQA.首先,通过3D块来有效学习和表征视频内容的时空特征.其次,对常规的3D卷积网络模型进行改进,使其适用于视频质量评价的任务.实验结果表明,所提出的方法在多种失真类型和多个测试指标上,与人的主观感知一致性较高.作为无参考视频质量评价方法,其性能与许多全参考评价方法具有可比性,同时比主流的NR-VQA方法具有更快的运行速度,这使得所提模型在实际中具有更好的应用前景.     

基于局部最小熵的小波系数预测编码方法

提出了一种基于局部最小熵的预测模型构造方法,能够更好地区分待编码位的不同概率分布,从而实现对小波系数的高效压缩。首先,根据小波系数间的相关性选择预测系数,并构造相关性预测函数来综合多个系数的预测效果;以熵值的最小化作为准则,采用逐步筛选法对预测函数划分的多个分类进行选择合并,建立了一种局部最优的预测分类模型;结合熵编码实现对小波系数的高效压缩。实验结果表明,与图像压缩标准JPEG2000相比,所提方法的恢复图像主客观质量均有改善,客观质量平均提高0.4 dB。     

Visual sensitivity guided bit allocation for video coding

A video bit allocation technique adopting a visual distortion sensitivity model for better rate-visual distortion coding control is proposed in this paper. Instead of applying complicated semantic understanding, the proposed automatic distortion sensitivity analysis process analyzes both the motion and the texture structures in the video sequences in order to achieve better bit allocation for rate-constrained video coding. The proposed technique evaluates the perceptual distortion sensitivity on a macroblock basis, and allocates fewer bits to regions permitting large perceptual distortions for rate reduction. The proposed algorithm can be incorporated into existing video coding rate control schemes to achieve same visual quality at reduced bitrate. Experiments based on H.264 JM7.6 show that this technique achieves bit-rate saving of up to 40.61%. However, the conducted subjective viewing experiments show that there is no perceptual quality degradation. EDICS-1-CPRS, 3-QUAL.