视频相似度的衡量

基于内容的视频检索系统中,最常用的检索方式是例子视频查询,即用户提交一部视频,系统返回相似的一系列视频,但是,怎样定义的两部视频是相似的,仍然是一个困难的问题。文中介绍了一种新的方法以解决这一难点。首先,提出了镜头质心特征向量的概念,减少了关键帧特征的存储量。其次,利用人类视觉判断中所潜在的因子,提出了视频在镜头间相似度的衡量,以及总体上相似度的衡量的方法,为不同粒度上的衡量提供了很大的灵活性,在现实意义上也是合理的。检索实验的结果证明了算法的有效性。     

基于梯度幅度值的结构相似度的图像质量评价方法

说明传统图像质量评价方法的不足之处.在SSIM模型不能很好地评价严重模糊的降质图像的基础上,从图像梯度幅度值和图像边缘的关系出发,分析了基于梯度幅度值的结构相似度(GSIM)的图像质量评价方法.实验结果表明,该模型比SSIM模型更符合人眼的视觉特性.     

基于膨胀的梯度结构相似度图像质量评价方法

传统的梯度结构相似度算法(GSSIM)简单地将各子块GSSIM的平均值作为整幅图像的质量评估值,忽略了人眼对图像不同失真区域的视觉灵敏度不同的特点。针对此问题,提出了一种基于膨胀和图像块分类的加权梯度结构相似度图像质量评价方法(WGSSIM)。该方法首先将失真图像划分为两个区域:边缘膨胀区域和平滑区域;然后将失真图像划分成8×8的图像块,根据失真区域将图像块区分为边缘膨胀块与平滑块两类;最后对不同类型图像块之间的GSSIM值赋予不同的权值,计算得到整幅图像的WGSSIM。实验表明,该方法在3个数据库上的评价结果稳定、合理,更加符合人眼视觉系统特性,评价结果与主观评价有很好的一致性。     

基于视觉感知的梯度结构相似度图像质量评价*

尽管SSIM(Structural Similarity)图像质量评价算法结构简单,评价性能优于一般客观评价算法,但该算法没有考虑人类视觉系统HVS(human visual system)对视觉感知的影响,且其算法定义中对“结构信息”的表述过于简单,并不能完全描述自然图像的结构信息。在SSIM算法的基础上,结合亮度和对比度掩蔽等视觉感知信息构造视觉感知（Visual Perception）函数,提出基于视觉感知的梯度结构相似度评价方法VI_GSSIM（Visual Perception and Gradient based SSIM, VI_GSSIM）。该方法通过图像质量与图像内容和失真类型的相关性,结合图像的误差可视性与内容可视性构造视觉感知函数,对HVS底层视觉系统建模,同时利用梯度重新定义结构信息,得到基于视觉感知的梯度结构相似度模型,对图像进行质量评价。实验结果表明提出的VI_GSSIM算法比SSIM更符合人眼的视觉特性,尤其适合评价降质较严重的图像。     

基于小波域和时域的视频质量评价

目前多数视频质量评价算法将视频所有帧的图像质量平均值作为整个视频的质量,但该方式只考虑空间图像质量,忽略视频固有时域上的特性,因而无法准确地描述客观视频质量评价和主观评价的相关性。为此,结合视频的时域特性,提出一种改进的视频质量评价算法。该算法将视频帧图像分为边缘区域与平滑区域,分别对2个区域进行小波变换,并利用小波系数求得各个区域视频帧的图像质量度量值,进行加权后得出视频单帧图像质量的度量值,对连续单帧图像进行时域融合,从而求得整个视频的质量度量值。在LIVE视频数据库上的实验结果表明,该算法与人类主观评价结果具有较好的一致性,斯皮尔曼相关系数达到0.7885。     

基于句子相似度的机器翻译评价方法及其有效性分析

为了帮助开发面向本地化的基于实例的机器翻译(EBMT)系统,提出利用句子相似度评价译文质量的方法．该方法能够较有效地区分不同翻译质量的译文,从而帮助开发者发现EBMT系统存在的问题．为了证明该评价方法的有效性,对比了6个机器翻译系统人工评价和自动评价的结果．通过相关分析和显著性检验,表明了此方法和人工方法存在高度的一致性．最后提出在自动评价结果的基础上利用线性回归预测人工评分方法．     

基于相似度的问答社区问答质量评价方法

研究问答社区中回答质量的评价方法,针对具有多个答案的问题,提出一种基于相似度的问答社区中问答质量的评价方法。该方法利用问题与各答案之间的语义关系,通过计算每个答案和问题中语言"单位"之间的相似度和对应的权值,并引入HITS算法模型对权值进行调整,选取出最佳答案。实验结果表明,与仅基于文本特征的方法相比,该方法能够有效地提高回答质量的评估效果。     

视频语义相似度网络研究

针对虚拟新闻系统中视频使用时出现的接近于复杂网络理论中的无尺度现象,从而导致整个虚拟新闻效果下降的问题,设计了一种全新的视频语义相似度网络。详细给出了视频语义的描述模型、网络构建的规则、相似度计算的方法以及建立在相似度网络基础上的视频检索算法。对视频语义相似度网络进行了实验,结果表明,视频语义相似度网络能够非常有效地解决视频使用时出现的问题。     

基于相位的结构相似度图像质量评价模型

基于结构相似度的图像质量评价算法忽视了图像自身的相位特征信息,不能较好地评测某些失真类型的图像质量。针对这一问题,提出一种基于相位的结构相似度图像质量评价模型(PSSIM)。该模型在结构相似度的基础上,进一步考虑了图像的相位一致性特征,设计了一种图像质量评价函数的计算方法。实验仿真结果表明,PSSIM是一种有效的图像质量评价方法,同时该方法和人类主观评价感受具有良好的一致性。     

变权无参考视频质量评价模型

由于视频图像在传输过程中信道噪声将导致质量下降,在无需增加传输信息的前提下客观无参评价方法可实现视频质量的自动评估,因此成为一个重要研究课题。为了提高无参考评价方法准确性,提出了符合人类视觉特性的变权评价模型,综合考虑空域中的清晰度和时域中的平滑度两类指标,利用视频内容的运动信息控制权重变化,模型评价结果与主观评价符合度高,简单相关系数为0.85。实验结果表明,符合视觉特性的连续变权方法比固定权值模型准确,计算复杂度比同类研究方案小,具有更大的应用价值。     

结合梯度信息的特征相似性图像质量评估

目的 图像的边缘信息对于图像质量的评估非常重要.基于底层特征的图像质量评估算法(FSIM),虽然考虑了图像的底层特征,但该算法对边缘信息的识别能力不理想.针对以上问题,将FSIM算法与对边缘信息更敏感的梯度结构相似度(GSSIM)算法相结合得到一种既符合人眼视觉系统特点又能有效识别图像边缘的新的图像质量评估算法(FGSIM).方法 该算法将FSIM算法的相位一致性部分与GSSIM算法的提取图像信息的部分相结合从而得到一种新的图像质量评估算法FGSIM.其中,采用相位一致性表示图像的特征,用于保持评估算法接近人类视觉系统的特点,提取图像信息的部分通过图像的梯度来实现,用于更有效的识别图像边缘.结果 分别使用FSIM、GSSIM以及FGSIM算法对不同运动模糊程度、不同高斯模糊程度以及不同高斯噪声的图像进行质量评估,将得到的数据用曲线图表示,从图中可以看出:在运动模糊实验中,随图像模糊程度的增大,FGSIM算法的数值由0.8943下降到0.3443,变化更加明显,对运动模糊表现出更好的敏感性;在高斯模糊和高斯噪声实验中,FGSIM算法数值变化的程度虽然不如GSSIM算法好,但相较FSIM算法有一定的提高.FGSIM算法在公共测试图像库中与FSIM、GSSIM算法进行实验比较,FGSIM算法的散点图较FSIM算法稍差些,但与GSSIM算法相比具有非常大的改进,其散点图比GSSIM更为集中.采用较为常用的衡量评估方法性能的指标:皮尔逊相关系数、斯皮尔曼秩相关系数、KROCC 和均方根误差对评估算法的性能进行衡量,数据显示,FGSIM算法的性能比GSSIM算法好.结论 实验结果表明,FGSIM算法是一种既符合人眼视觉系统特点又能有效识别图像边缘的新的图像质量评估算法,该算法对边缘信息的识别能力更强,对图像质量的变化更加敏感.     

基于梯度相关性分解的无参考图像质量评价方法

目前大部分无参考型的图像质量评价方法都是基于图像的几何特征进行描述的,但是这种方法对于图像的边界要求较为严格,并且在实际应用中的图像的失真类型是未知的。针对这一缺点,提出一种基于梯度相关性分解的无参考图像质量评价(DGS)方法,该方法提取图像的梯度,对其进行奇异值分解作为图像的主要结构信息,以此对图像的质量进行评价。实验结果表明,DGS模型比通用的简单有效的峰值信噪比(或均方误差)模型更符合人眼视觉系统特性,能在无参考的情况下更好地评价图像质量,并与图像的主观评价值达到更准确的一致性。     

基于内容划分和运动补偿的视频质量评价

目前基于结构相似性的图像质量评价算法均是对图像进行整体质量分析,但人类视觉系统对图像中不同部分的敏感程度不同,而对图像进行整体质量分析无法有效反映出这些差异。鉴于此,提出了一种基于内容划分的图像质量评价算法,根据图像不同区域的梯度将图像分为四个部分,分别进行质量评价。之后,采用基于运动补偿的帧加权方式将上述方法扩展为视频质量评价。实验证明,所述算法与目前比较流行的几个算法相比具有较高的评价准确性。     

No-reference video quality assessment based on modeling temporal-memory effects

This study presents a hybrid network for no-reference (NR) video quality assessment (VQA). Besides spatial cues, the network concerns temporal motion effect and temporal hysteresis effect on the visual quality estimation, and two modules are embedded. One module is dedicated to incorporate short-term spatio-temporal features based on spatial quality maps and temporal quality maps, and the follow-up module explores graph convolutional network to quantify the relationship between image frames in a sequence. The proposed network and several popular models are evaluated on three video quality databases (CSIQ, LIVE, and KoNViD-1K). Experimental results indicate that the network outperforms other involved NR models, and its competitive performance is close to that of state-of-the-art full-reference VQA models. Conclusively, short-term spatio-temporal feature fusion benefits the modeling of interaction between spatial and temporal cues in VQA tasks, long-term sequence fusion further improves the performance, and a strong correlation with human subjective judgment is achieved.     

基于梯度及HVS特性的离焦模糊图像质量评价*

在当前人眼视觉系统（HVS）特性研究的基础上提出基于梯度及HVS特性的离焦模糊图像质量评价模型（GVSSIM）。该模型利用Sobel边缘梯度算子提取图像的梯度信息,并根据人眼视觉特性进行视觉加权,得到新的结构相似性评价指标,进而获得图像质量评价指标。该方法与SSIM(图像结构相似度)评价模型相比,具有计算简单的特点,对离焦模糊图像的评价结果能更好地反映人眼视觉感受。     

对视觉敏感区域进行加权的视频质量评价方法

最近Guan-Hao Chen在Zhou Wang提出的MSSIM方法基础上,提出了一种基于边缘结构失真的测量方法（ESSIM）,但是这种方法不能够很好的直接应用到视频领域。就人类视觉系统（HVS）做了一定的研究,提出了一种考虑人眼视觉特性,考虑结构信息和对运动场景分类的视频质量评价方法（HCSSIM）。实验结果表明,在压缩损失、模糊和部分椒盐噪声损失上,其评价结果要好于现有的几类通用的评价方法。     

三网融合下基于压缩感知的半参考视频质量评估方法研究

针对三网融合条件下的视频质量模型、评估体系和设计方案, 提出了一种基于压缩感知的半参考视频质量评估方法。该算法首先建立视频质量模型, 并通过压缩感知算法获取视频图像的感知系数; 然后利用视频图像的稀疏边缘分布去表征不同图像失真模型的相关性; 最后利用一个信息距离测度测量这些概率分布并进行量化。在标准测试图像库上的实验验证了该算法的有效性和对于不同失真模型的适应性, 特别是更适合于运营商在多屏、多制式、多终端、多分工界面等特点的三网融合复杂环境下的应用。     

基于线性回归分析的部分参考视频质量评估方法*

提出了一种基于线性回归分析的部分参考视频序列质量评估算法。该算法主要以原始视频的帧间差异作为参考信息,通过分析编码前后视频时域活动性的变化和单帧比特数的变化关系来客观评价视频序列的编码质量。该方法只需少量原始参考信息,算法简单。通过对标准视频序列的仿真实验,该算法可有效评价不同视频的编码质量,使用该质量评估方法测得的失真视频客观质量评分与其主观质量评分有较好的一致性。     

A temporal context model for boosting video annotation

In this paper, we propose a new method to model the temporal context for boosting video annotation accuracy. The motivation of our idea mainly comes from the fact that temporally continuous shots in video are generally with relevant content, so that the performance of video annotation could be comparably boosted by mining the temporal dependency between shots in video. Based on this consideration, we propose a temporal context model to mine the redundant information between shots. By connecting our model with conditional random field and borrowing the learning and inference approaches from it, we could obtain the refined probability of a concept occurring in the shot, which is the leverage of temporal context information and initial output of video annotation. Comparing with existing methods for temporal context mining of video annotation, our model could capture different kinds of shot dependency more accurately to improve the video annotation performance. Furthermore, our model is relatively simple and efficient, which is important for the applications which have large scale data to process. Extensive experimental results on the widely used TRECVID datasets exhibit the effectiveness of our method for improving video annotation accuracy.