基于视觉阈值及通道融合的立体图像质量评价

根据人眼对彩色图像不同颜色通道的敏感度不同,利用掩蔽效应对人眼感知立体图像质量产生的影响,提出了一种基于视觉阈值分析和通道融合的彩色图像客观质量评价方法.利用人眼视觉阈值确定立体图像的失真是否在人眼可察觉的范围,若失真程度小于视觉掩蔽阈值,则认为没有失真.利用原始和失真彩色图像RGB三通道各自左视点差值图和右视点差值图的奇异值与人眼视觉掩蔽阈值图的奇异值距离来衡量失真图像左右视点图像的质量.原始和失真图像对的绝对差图之差值图像和原始图像对的双目恰可察觉失真阈值图之间的奇异值距离被用于评价失真立体图像的深度感知好坏.不同失真类型下,左右视点质量融合以及左右视点评价和深度感知评价的融合其加权权值不同.对JPEG压缩、JPEG2000压缩、高斯白噪声、高斯模糊和H.264编码5种不同程度失真的312幅退化图像进行了测试,结果显示本文方法与主观感知有较好的一致性,总体CC (Pearson Linear Correlation Coefficient)达到0.94,总体SROCC (Spearman Rank Order Correlation Coefficient)达到0.94,整体均方根误差(RMSE)控制在5.9以内.     

基于显著性图像边缘的全参考图像质量评价

大部分图像质量评价算法仅研究图像的灰度值及信息内容,没有充分考虑人眼视觉特性对图像质量评价的影响,针对此问题提出了一种基于显著性图像边缘的全参考图像质量评价方法。利用显著性图像表征图像的视觉关注内容,然后提取显著性图像的边缘检测图,得到人眼关注的结构和边缘,最后计算参考图像与失真图像边缘检测图之间的汉明距离得到图像质量评价指标。实验结果表明本文提出的评价指标满足人眼视觉特性,对于各种失真类型有非常高的主观一致性,评价性能也优于很多其他指标。     

结合人眼对比度敏感视觉特性的视频质量客观评价

结合人眼对亮度、色度、对比度以及运动目标的感知特性,提出了一种基于人眼对视频内容感知的视频质量客观评价方法。该方法将视频分为空域和时域信息分别描述,并利用人眼感知特性,从视频的亮度、色度、对比度以及目标运动4个方面提取特征,计算其强度。然后以人眼对比度敏感值作为强度的权重因子求和,构建人眼感知视频内容模型。最后,分别以此模型模拟人眼感知源视频和失真后的视频,计算每对应单元的所有像素之间和运动矢量之间的强度差;以强度差作为视频质量评价的分数,构建视频质量客观评价模型。采用LIVE数据库中的6个源视频和48个测试视频进行了质量评价实验,并与视频质量专家组(VQEG)推荐的5个较好的视频质量客观评价模型进行了对比分析。结果表明:提出模型的视频质量评价结果与主观评价结果之间的线性相关性系数达到0.8705,显示了较好的一致性,评价效果优于5个典型的模型。     

基于视觉掩盖效应和奇异值分解的图像质量评测方法

图像质量的客观评测一直是视频和图像工程中富有挑战性的重要课题。传统的以PSNR为代表的检测方法对图像间的差异过度敏感,因此其结果常偏离主观感受;而以人眼视觉系统仿生理论为指导的评价方法则由于算法模型过于复杂而无法得到广泛应用。当前,基于图像特征参数检测的理论方法成为研究的新热点,设计能代表图像特征的参数是其关键。奇异值体现的是图像的内蕴信息,其对一定程度噪声扰动、比例伸缩、旋转、平移等具有较好的稳定性,因此非常适合作为图像的特征参数。本文通过将人眼视觉特性和图像本征特性相结合,设计一套基于视觉掩盖效应和奇异值分解的图像质量客观评测方法。该方法能在充分利用奇异值优势的前提下,根据视觉掩盖效应提高其对典型劣化形态的检测灵敏度,从而使评测结果与主观质量感受具有更好的相似性。     

基于注意转移机制的图像质量评价方法

图像质量的客观评价方法研究在实现图像质量评价仪器化的过程中起到决定性的作用。提出一种基于注意转移机制的结构相似度图像质量客观评价方法。该方法首先利用亮度、纹理和空间位置等特征生成视觉感知图,并通过计算待评价图像的块结构相似度生成失真感知图,然后进一步考虑由视觉特征显著和失真严重引起的注意转移对视觉感知图的影响,重新生成注意转移后的视觉感知图,最后利用生成的两张视觉感知图对结构相似度进行加权,获得图像质量的客观评价。与W ang的结构相似度图像质量评价方法(SSIM)的对比实验结果表明,提出的方法在评价准确性、单调性和一致性上分别提高3.7%、3.8%和2.9%,与图像质量的主观评价更加一致。     

基于模糊神经网络的印刷线条感知质量评价EI北大核心CSCD

线条质量作为印刷品质量评价的主要内容之一,长期以来采用视觉主观评价方法,具有主观性、不一致性、效率低等问题。数字印刷领域虽然已开始采用机器视觉技术开展印刷线条质量的客观指标检测,但还不能明确给出这些客观测量值与线条整体感知质量之间的关系描述。对多组具有不同的模糊度和粗糙度边缘特征、不同的暗度和对比度表现、不同的线宽复制误差和填充效果的印刷线条开展实验研究,通过对线条质量属性的客观测量值与线条主观感知质量评价分值之间的数据分析,利用模糊神经网络算法建立了线条质量属性与主观感知评价结果之间的关系模型。实验结果表明,印刷线条感知质量的评价建模应以ISO13660标准提出的6个线条质量属性为依据,任何一个属性都不能唯一地确定印刷线条的质量,同时也都不应该从综合评价中删除出去;所提出的印刷线条感知质量评价建模方法是有效可行的,评价模型的预测结果与主观评价结果间具有很好的一致性,为印刷线条质量属性的客观检测赋予现实意义,也为基于机器视觉的印刷线条感知质量的综合评价提供了理论依据。     

视觉稀疏化多通道多特征自适应的图像评价

针对均值奇异值分解(M_SVD)算法没有考虑图像的结构特征和视觉特性,利用Log-Gabor小波模拟人类视觉系统(HVS),提出了一种将视觉奇异值与几何矩联合(VSVGM)的方法。VSVGM首先基于二维Log-Gabor变换提取图像的视觉多通道奇异值能量特征,然后设计了视觉阈值算法和失真度评价算法分别对该特征进行稀疏化处理和局部测量;其次,根据HVS空域、频域特性融合局部评价和各视觉通道评价;最后,VSVGM自适应地融合了视觉几何矩第二结构特征评价。实验结果表明VSVGM的主、客观评价相关系数和预测相关系数分别提高了4.4%和3.5%,预测误差则降低了2.491。VSVGM方法的整体准确度、稳定性及评价速度均优于特征相似度(FSIM)新方法。     

虚拟现实中视觉诱发晕动症时空多特征评价

沉浸式的虚拟现实体验中视觉诱发晕动症（Visually Induced Motion Sickness, VIMS）是影响虚拟现实系统发展与应用的一个重要问题。现有的基于视觉内容的评价方案大多考虑的要素不够全面,对运动信息的提取较为简单,且少有考虑时域上的突变对晕动症的影响。针对上述问题,提出了虚拟现实中视觉诱发晕动症时空多特征评价模型;基于立体全景视频中空域、时域信息来设计视觉诱发晕动症评价模型,采用更符合人眼感知的加权运动特征,并考虑了立体全景视频时域的突变信息设计了特征提取方式。所提出模型分为预处理模块、特征提取模块及时域聚合与回归模块。预处理模块用于视口提取和光流图、视差图、显著图的估计。特征提取模块包含前背景加权运动特征提取、基于变换域的视差特征提取、空间特征提取及时域突变特征提取。时域聚合后通过支持向量回归得到VIMS评价分数。实验结果表明,该模型在立体全景视频数据库SPVCD上的预测结果与平均主观意见分的皮尔逊线性相关系数为0.821、斯皮尔曼相关系数为0.790、均方根误差为0.489。该模型取得了优良的预测性能,验证了所提出特征提取模块的有效性。     

基于双目视觉特性的立体视频编码码率控制算法

为了使立体视频中的比特分配更加符合人眼视觉感知特性,提出了一种非对称质量的立体视频编码码率控制算法。首先,建立了左右帧的码率分配比例与量化参数差值之间的立体指数RRQ(Rate-ratio Quantization)模型。然后,将码率控制算法分为SGOP(Stereoscopic Group of Pictures)层、立体图像对层和帧层等3个码率控制层。在SGOP层计算每个SGOP的目标码率和关键帧的量化参数;在立体图像对层根据剩余比特数和缓冲区饱和度计算每个立体图像对的目标比特;在帧层则通过分析双目视觉掩蔽效应,用一种适合于立体视频的率失真优化方法合理分配左右帧的目标码率。实验结果表明,本文算法的码率控制偏差平均值为0.21%;立体视频客观质量比对称质量算法和Wang的算法分别提高了0.23dB和0.06dB,且质量波动较为稳定。因此,该算法基本满足网络带宽传输要求。由于充分利用了人眼双目视觉特性,可满足人们对立体视频的视觉需求。     

应用log-Gabor韦伯特征的图像质量评价

考虑人眼对亮度的感知符合韦伯定律的特点,本文利用log-Gabor滤波器模拟人眼对图像的感知过程,提出了一种新的log-Gabor韦伯特征,以便保留不同尺度的符合人眼感知的结构信息。基于此,还提出了一种应用log-Gabor韦伯特征的图像质量评价方法。首先将待评价失真图像和参考图像从RGB空间转换到YIQ颜色空间,分离亮度分量和颜色分量。然后利用log-Gabor韦伯特征和梯度特征计算亮度分量失真,并结合颜色分量的失真,得到失真图像与参考图像的局部相似度图。最后利用修正的CSF函数,对局部相似度图进行加权,得到图像质量评价指标。在LIVE、CSIQ和IVC3个图像库上的实验结果表明,本文方法与人眼主观感知有很好的一致性,而且相对于其他方法,表现更加稳定。本文方法在3个图像库上的加权Spearman秩相关系数(SROCC)为0.949 8,Kendall秩相关系数(KROCC)为0.802 6,Pearson线性相关系数(PLCC)为0.943 8,相比对比方法有显著的提高。     

基于视觉显著性的红外与可见光图像融合

多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光和红外图像,提出了一种结合红外图像视觉显著性提取的双波段图像融合方法,一方面旨在凸显红外图像的目标信息,另一方面又尽可能的保留了可见光图像的丰富细节信息。首先,在局部窗口内实现红外图像的显著性图提取,并通过窗口尺寸的变化形成多尺度的显著性图,并对这些显著性图进行最大值的优选叠加,以获取能反映整幅红外图像各个尺寸目标的显著性图;其次,通过结合显著性图与红外图实现显著性图的加权增强;最后,利用增强的红外显著性图进行双波段图像的融合。通过两组对比实验,数据表明该方法给出的融合图像视觉效果好,运算速度快,客观评价值优于对比的7种融合方法。     

基于视觉注意模型的肝脏病灶区域自动提取方法

医学图像的感兴趣区域(region of interest,ROI)提取在计算机辅助诊断中有着重要作用。本文借助视觉注意模型的框架,针对肝脏区域病变组织与周围组织灰度差异小、弱纹理的特点,提出了一种新的肝脏CT(computer tomography)图像中异常组织区域提取方法。本方法首先筛选一组与肝脏纹理相关的统计特征和基于方向分形维的显著度特征因子,然后由各特征分量显著性图合成总显著性图,最后根据显著性图标识病变发生的区域。试验表明,本文方法能准确找到肝脏区域中发生病变的位置,为显著性图在医学影像ROI提取提供了有效途径。     

基于视觉显著性的可见红外图像融合

多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光-红外图像,本文提出了一种结合红外图像视觉显著性提取的双波段图像融合方法,一方面旨在凸显红外图像的目标信息,同时又能尽可能的保留可见光图像的丰富细节信息。首先,在局部窗口内实现红外图像的显著性图提取,并通过窗口尺寸的变化形成多尺度的显著性图,并对这些显著性图进行最大值的优选叠加,以获取能反映整幅红外图像各个尺寸目标的显著性图;其次,通过结合显著性图与红外图实现显著性图的加权增强;最后,利用增强的红外显著性图进行双波段图像的融合。通过两组对比实验,数据表明该方法给出的融合图像视觉效果好,运算速度快,客观评价值优于对比的7种融合方法。     

结合多尺度视觉显著性的舰船目标检测

光学遥感图像海面舰船目标检测易受云雾,海岛,海杂波等复杂背景的干扰。本文提出了一种适用于复杂背景的舰船目标检测方法。首先为了克服目标尺度多变问题,利用视觉显著性生成多尺度显著图,然后使用基尼指数自适应选择最优显著图。考虑到全局阈值分割算法带来的漏检测问题,提出一种新的方案来分离目标和背景像素点。利用图像膨胀原理获取显著图的局部极大值点,然后使用k-means算法判断极大值点属于目标像素点还是背景像素点。接着对目标点邻近区域进行精细分割。最后引入基于径向梯度变换的旋转不变特征来进一步剔除虚警。实验结果表明,该算法能够成功检测出不同尺寸和方向的舰船目标,有效克服复杂背景的干扰。算法检测正确率93%,虚警率4%,优于其他舰船检测方法。     

基于视觉显著性的太阳能电池片表面缺陷检测

现有基于机器视觉的太阳能电池片表面缺陷检测算法均是采用各种类型的数学模型来进行算法设计,为进一步提高检测准确率,从人眼仿生学角度出发,首次将人眼的视觉注意机制引入到太阳能电池片表面缺陷检测中,提出了一种基于视觉显著性的太阳能电池片表面缺陷检测算法。首先,对输入的太阳能电池片表面图像进行预处理,去除对检测有影响的噪声和栅线;其次,提出一种基于自学习特征的视觉显著性检测算法来大致定位缺陷区域;随后,提出一种视觉显著性和超像素分割相结合的算法来进一步精确定位缺陷区域;最后,通过形态学后处理得到最终检测结果。在包含多种缺陷类型的测试图像库上的主观和客观实验评估表明,该算法具有较高的检测准确率。     

Infrared and Visible Images Fusion with Multi-visual Cues

Image fusion is an important technique which combines the original information from multiple input images into a single composite image. The fused images will be more beneficial to human visual perception or further computer processing tasks than any individual input. Most of the traditional infrared and visible fusion approaches perform the fusion on the assumption that the original information is measured by local saliency features such as contrast or gradient. There is little consideration of the “interesting” or “useful” information in global. In this paper, an infrared and visible image fusion method is proposed by considering the final aim of image fusion, the human visual perception and further image processing tasks. The fusion is implemented under the non-subsampled contourlet transform based image fusion framework. The low frequency sub-band coefficients which represent the intensity of the scene are fused with the weight map which is constructed by considering both visual saliency uniqueness and task-oriented objectness, and refined by spatial consistency with guide filter. The new fusion strategy ensures that the objects being “interesting” or “useful” are preserved in the fused image. Sixteen pairs of infrared and visual images are used to test the validation of the proposed method. The experimental results show obvious improvement of the proposed method in terms of both objective and subjective quality measurements corresponding to other methods.     

基于多尺度多特征视觉显著性的海面舰船检测

为了精确地检测到舰船目标,提出了一种基于多特征、多尺度视觉显著性的海面舰船目标检测方法。该方法首先利用多尺度自适应的顶帽算法抑制云层、油污的干扰,然后提取双颜色空间特征以及边缘特征构成双四元数图像进行舰船显著性检测。由于充分利用了双四元数图像,故可对多个特征尺度进行处理,并保证不同尺度特征之间关联性。该方法还利用人眼对不同用大小的图像关注目标不同的特点对图像进行上下采样以避免漏检和检测重叠。在得到显著图后利用自适应图像分割(OTSU)算法确定舰船所在的区域,并在原图上标定、提取舰船目标。在多种海面情况下进行了实验分析,结果表明:该算法可以排除多种干扰,精确地检测到舰船目标,真正率达97.73%,虚警率低至3.37%,相较于他频域显著性检测算法在舰船检测方面有明显的优势。     

广义平均的全参考型图像质量评价池化策略

为了设计与人的主观评价相吻合的全参考型客观图像质量评价(IQA)算法。针对不同算法提取的局部特征,利用广义平均的非线性性质,提出了2种池化策略,以提高结构相似度(SSIM),梯度结构相似度(GSSIM),特征相似度指标(FSIM)的评价能力。在TID2008和TID2013数据库中进行数值实验,讨论了所有失真类型非线性参数的选择以及不同失真类型之间非线性参数的变化。结果表明,采用广义平均池化策略能提高IQA算法的有效性。4种客观评价指标Spearman等级相关系数(SROCC)、Kendall等级相关系数(KROCC)、Pearson线性相关系数(PLCC)和均方误差根(RMSE)表明所提算法性能优于已有的算法,与人的视觉系统具有一致性。     

多尺度显著性区域提取的模板匹配

针对模板匹配过程中强遮挡、剧烈背景变化及物体非刚性形变等难题,本文提出了一种基于多尺度显著性区域提取的模板匹配算法。算法采用多尺度-显著性特征并行提取的方式:一方面利用空间金字塔模型将参考图像中的模板和待匹配图像中的目标区域分割成不同尺度的网格,采用可形变多相似性度量方法(Deformable Diversity Similarity,DDIS)计算不同尺度下的匹配得分;同时,算法提取模板区域的显著性区域图,形成模板区域的显著性得分;随后,利用显著性得分对不同尺度的匹配得分进行加权融合,在融合得到的匹配得分图上寻找最佳匹配区域。算法与取得目前最好结果的DDIS方法相比,AUC(Area Under Curve)指标提升2.9%。实验结果表明,显著性区域提取使匹配方法更加关注目标物体,削弱背景及遮挡物体对其影响,从而增强模板匹配方法对于背景变化及遮挡的抵抗能力。另外,空间金字塔模型能够增强模板匹配方法对于物体不同尺度下的特征提取,如物体的局部轮廓及结构特征等。二者结合有效地提高了匹配精度。