基于视差空间图的立体图像质量客观评价方法

立体图像质量评价是评价立体视频系统性能的有 效途径,而如何利用人类视觉特性对立体图像质量 进行有效评价是目前的研究难点。本文提出了一种基于视差空间图(DSI) 的立体图像质量客观评价方法。首先, 分别构造原始立体图像和失真立体图像的DSI图;然后,通过三维离散余弦变换(3D-DCT)提取出反映图像质量 和深度感知的特征信息,并采用主成分分析(PCA)进行特征降维,形成立体图像特征信息; 最后,通过支持向量 回归(SVR)建立立体图像特征与主观评价值的关系,从而预测得到立体图像质量的客观评价 值。实验表明, 对于对称立体图像库,Pearson线性相关系数(PLCC)和Spe arman等级相关系数(SROCC)值均达到0.94以上;对于非 对称立体图像库,PLCC和SROCC值分别达到0.94以上。结果表明,本文方法能够很好地预测人眼对立体图像的主观感 知。     

基于深层特征学习的无参考立体图像质量评价

提出了一种基于深层特征学习的无参考(NR)立体图 像质量评价方 法。与传统人工提取图像特征不同,采用卷积神经网络(CNN)自动提取图像特征,评价过程 分为训练和 测试两阶段。在训练阶段,将图像分块训练CNN网络,利用CNN提取图像块特征,并结合不同 的整合方式 得到图像的全局特征,通过支持向量回归(SVR)建立主观质量与全局特征的回归模型;在测 试阶段,由已训练的CNN网 络和回归模型,得到左右图像和独眼图的质量。最后,根据人眼双目视觉特性融合左图像、 右图像和独眼 图的质量,得到立体图像质量。本文方法在LIVE-I和LIVE-II数据库上的Spearman等级系 数(SROCC)分别达 到了0.94,评价结果准确,与人眼的主 观感受一致。     

基于多尺度局部极值分解与ResNet152的红外与可见光图像融合

为了进一步提升红外与可见光图像融合方法的性能 ,本文提出了一种基于多尺度局部极值分解与深度学习网络ResNet152的红外与可见光图像融合方法。首先,利用多尺度局部极值分解 (multiscale local extrema decomposition,MLED)方法将源图像分解为近似图像和细节图 像,分离 出源图像中重叠的重要特征信息。然后采用残差网络ResNet152深度提取源图像的多维显著 特征, 以l₁-范数作为活性测度生成显著特征图,对近似图像进行加权平均融合,以保持能量和残 留细节 信息不丢失。在细节图像中,利用“系数绝对值取大”规则获得初始决策图,源图像作为引 导图像, 初始决策图作为输入图像进行引导滤波处理,得到优化决策图,计算加权局部能量得到能量 显著 图,对细节图像进行加权平均融合,使融合图像具有丰富的纹理细节和良好的视觉边缘感知 。最 后,对近似融合图像和细节融合图像进行重构,得到融合图像。实验结果表明,与现有的典 型融 合方法相比,本文所提出的融合方法在客观评价和视觉感受方面都取得了最好的效果。     

基于Contourlet视觉模型和奇异值分解的图像质量评价

针对基于像素值的图像质量评价方法忽视图像结构信息和需要完全参考图像等问题,提出了一种基于Contourlet域奇异值分解CW-SVD,部分参考图像质量评价方法(contourlet weighted singular value decomposition)。在Contourlet域中,利用奇异值向量对图像结构的表征能力,结合人眼视觉敏感性确定每个子带的视觉权重,得到每个子带的评价测度,再综合得出图像的最终评价指标。实验表明,该方法应用于4种类型的降质图像质量评价时,比峰值信噪比(PSNR、MSSIM)等算法具有更好的稳定性和更好的主客观评价一致性。     

采用边缘信息的屏幕图像质量评价

考虑到人类视觉系统（HVS）对边缘信息敏感且屏幕图像中包含大量边缘信息,本文提出采用边缘信息的屏幕图像质量评价方法。该方法首先从空域和频域分别提取参考和失真屏幕图像的边缘信息进而得到边缘信息相似度图,接着基于边缘信息提取屏幕图像中人眼感兴趣区域,最后利用感兴趣区域加权对所得边缘相似度图进行融合计算以获取最终评价分数值。实验结果表明所提算法具有较高的图像质量评价主客观一致性,其性能优于多个最新图像质量评价方法。      

基于运动和视差信息的立体视频质量客观评价

在研究人类 立体视觉特性及现有立体图像/视频质量评价算法的基础上,提出了一种基于运动信息和视 差信息的立 体视频质量的客观评价方法。方法包括视频质量评价(VQA)和视频立体感评价(VSSA)两个指 标,其中VQA的估计基于梯度的结构相似度(GSSIM) 算法,并充分考虑了帧内的亮度信息和结构信息、帧间运动信息以及人眼的感知特性对视频 质量的影响, 特别是根据人类的视觉特性,对左右视点的质量赋予了不同的权重;VSSA的估计 是通过计算参考 视频的绝对差值图和降质视频的绝对差值图之间的峰值信噪比(PSNR)而得到。实验结果表明,本文方法对基于H.264 编码的失真视频的评价结果与主观测试有较高的一致性,很好地体现人眼的视觉特性。     

基于局部离散小波变换的无参考模糊图像质量评价方法

构造模糊图像的参考图像,使无参考(NR)图像质 量评价转变为一种全参考(FR)图像质量评价,提出一种基于 局部离散小波变换的NR模糊图像质量评价方法。首先,采用低通滤波的方 法构造原始模糊图 像的参考图像;然后,通过局部离散小波变换提取出原始模糊图像和参考图像的高频能量图 ;最后计 算两幅高频能量图的相似度,得到原始模糊图像的质量。在LIVE、TID2008和CSIQ 3个数据 库上的实验结果表明, 本文算法的评 价性能较优,相较其他常用的4个清晰度评价算法,在与主观评价的单调性和一致性上有明 显提高,在LIVE 数据库上的SROCC值达到0.9598,在CISQ数 据库上的SROCC值达到0．9104 ,与主观评价平均意见成绩(MOS)值拟合的散点图拟合度为最优。实验数据 结果表明,本文算法性能稳定,符合人类视觉系统。     

基于空谱融合和随机多图的高光谱遥感图像农作物分类

针对高光谱遥感图像复杂农作物分类问题,提出了一种基于空谱融合和随机多图的高光谱遥感图像农作物分类方法。通过使用一种潜在特征融合和最优聚类(Latent Features Fusion and Optimal Clustering Framework, LFFOCF)的波段选择方法和分段主成分分析(Segmented Principal Component Analysis, SPCA)进行光谱降维,采用多尺度二维奇异谱分析(2-D-Singular Spectrum Analysis, 2-D-SSA)应用于降维图像,以提取不同尺度的空间特征。将多尺度空间特征与主成分分析(Principal Component Analysis, PCA)得到的全局光谱特征融合送到随机多图(Random Multi-Graphs, RMG)中进行分类。在印度松树、萨利纳斯和龙口数据集上,所提出的方法与一些现有的方法进行了对比实验。实验结果表明,该方法的类别精度(Class Accuracy, CA)、总体分类精度(Overall Accuracy, OA)、平均分类精度(Average Accurac...     

基于梯度结构相似度的无参考模糊图像质量评价

在对模糊图像边缘膨胀后进行边缘膨胀块提取的 基础上,提出一种基于梯 度结构相似度(GSIM)的无参考模糊图像质量评价方法(NRGSIM)。首先,将原始模糊图像经过低 通滤波生成再模糊图像;之后,将原始模糊图像生成的边缘膨胀图像进行8×8分块,并将子块 划分为边缘膨胀块和平滑块;然后,计算原始模糊图像和再模糊图像中所有对应到边缘膨胀 图 中边缘膨胀块的相应子块的GSIM;最后,平均得到整幅图像的模糊值。在4个数据 库上实验结果表明,本文方法评价结果合理、稳定,更加符合人类视觉特性,与主观评分有 较好的一致性,而且计算简单,取得了很好的评价效果,LIVE2数据库上的SROCC指标达到0.964。     

极端学习四元数小波特征的立体图像质量评价

为了有效、实时地对各种类型失真立体图像质量 进行评价,提出了一种基于极端学习(ELM) 和四元数小波交换(QWT)的无参考(NR)立体图像质量评价方法。首先利用SSI M密度立体匹 配模型生成相关的视差图、差异度可信图和右视图差异补偿图3D映射图;然后分别对左右视 图、视差图和差异度可信图进行 QWT,计算图像QWT第3相位系数相位幅值加权标准差和能量;再计算右视图 差异补偿图统 计特征熵和中值;最后将所提取的所有特征输入到基于核映射ELM 学习,预测失真立体图像 质量。在LIVE 3D图像质量评价数据库上的实验结果表明,本方法与人类主观质量评分具有较好的一致性 。在LIVE 3D图 像质量库I(Phase I)和库II(Phase II)上的斯皮尔曼相关系数(SROCC) 分别达到0.926和0.914     

基于显著性映射与兴趣点凸壳的图像融合算法

提出了一种基于显著性特征的可见光与红外图像融合算法来改善目标的融合质量.引入显著检测器对红外图像进行处理,生成显著映射;进一步分析红外图像并检测兴趣点,提取图像中的显著兴趣点;通过计算显著兴趣点的凸壳确定显著区域;利用显著兴趣点凸壳对初始显著映射进行优化,使目标定位更加精确.根据区域映射获取可见光图像的背景区域;根据不同的融合准则对目标、背景区域进行融合,获得最终的融合图像.结果表明与当前可见光图像融合技术相比,所提算法在标准差、联合熵与边缘信息因子等指标方面具有优势,其融合图像的细节纹理更清晰.     

Image saliency detection based on geodesic‐like and boundary contrast maps

Image saliency detection is the basis of perceptual image processing, which is significant to subsequent image processing methods. Most saliency detection methods can detect only a single object with a high‐contrast background, but they have no effect on the extraction of a salient object from images with complex low‐contrast backgrounds. With the prior knowledge, this paper proposes a method for detecting salient objects by combining the boundary contrast map and the geodesics‐like maps. This method can highlight the foreground uniformly and extract the salient objects efficiently in images with low‐contrast backgrounds. The classical receiver operating characteristics (ROC) curve, which compares the salient map with the ground truth map, does not reflect the human perception. An ROC curve with distance (distance receiver operating characteristic, DROC) is proposed in this paper, which takes the ROC curve closer to the human subjective perception. Experiments on three benchmark datasets and three low‐contrast image datasets, with four evaluation methods including DROC, show that on comparing the eight state‐of‐the‐art approaches, the proposed approach performs well.     

概率图车载热成像行人检测RoIs提取方法

道路场景复杂、热成像纹理信息较少以及图像品质不稳定,RoIs提取面临挑战.阈值分割RoIs提取更多关注行人局部细节和像素间邻域关系,容易产生行人遗漏、背景粘连和行人断裂,且很难控制RoIs总量.模拟人类视觉,关注图像显著性区域及其位置和大小,提出概率图RoIs提取方法,设计凸-凹形曲线映射像素灰度值增强图像对比度;基于图像签名方法获取显著性图.融合灰度强度和显著性概率图并从中提取图像前景;设计算法搜索路面估计限定的概率图区域生成RoIs.实验表明,相对阈值分割,本文方法能够提高RoIs定位准确度、控制RoIs总量和显著减少非行人RoIs;提取等量单帧RoIs,召回率提高不低于9%.     

一个图像质量盲评估的统计测度

本文提出了一个图像质量盲评估的统计测度.该测度首先根据自然图像的统计性质与失真图像的模型,实现对图像小波系数分布参数的盲估计;再利用估计的分布参数来计算失真图像与参考图像之间的互信息,以量化失真图像对参考图像的保真度,进而实现对图像质量的评估.本文提出的测度避免了对参考图像的依赖,且克服了现有图像质量盲评估对特征选择与提取、机器学习等过程的依赖.LIVE图像质量评估数据库的总体评估结果表明：本文提出的盲评估统计测度对图像质量评估结果与数据库的主观评估结果高度一致,且优于文献中报道的盲评估测度.     

基于人类视觉的感知立体图像质量评价方法

为了实现对不同失真类型的立体图像进行质量评 价,提出了一种基于人类视觉的立体图像 质量客观评价方法,分别从图像清晰度与立体感两方面进行评价。图像清晰度方面,将原始 与失真立体图 像分解为5个带通图像后利用对比度敏感度函数(CSF)优化各失真带通图像,并模拟掩 盖效应,通过整合各原始 带通图像,综合感知误差,构造信噪比(SNR)作为评价图像 清晰度的性能指标;立体感方面,对绝对差值图像进 行视觉感知模拟,建立SNR指标评价立体感的优劣。实验结 果表明,对不同失真类型立体图像的评价 结果表明,Pearson线性相关系数(PLCC)与Spearman等级 相关系数(SRCC)均优于现有评价方法。     

基于多特征扩散方法的显著性物体检测

现有的大部分基于扩散理论的显著性物体检测方法只用了图像的底层特征来构造图和扩散矩阵,并且忽视了显著性物体在图像边缘的可能性。针对此,该文提出一种基于图像的多层特征的扩散方法进行显著性物体检测。首先,采用由背景先验、颜色先验、位置先验组成的高层先验方法选取种子节点。其次,将选取的种子节点的显著性信息通过由图像的底层特征构建的扩散矩阵传播到每个节点得到初始显著图,并将其作为图像的中层特征。然后结合图像的高层特征分别构建扩散矩阵,再次运用扩散方法分别获得中层显著图、高层显著图。最后,非线性融合中层显著图和高层显著图得到最终显著图。该算法在3个数据集MSRA10K,DUT-OMRON和ECSSD上,用3种量化评价指标与现有4种流行算法进行实验结果对比,均取得最好的效果。     

Two-stage salient region detection by exploiting multiple priors

Saliency detection has become a valuable tool for many image processing tasks, like image retargeting, object recognition, and adaptive compression. With the rapid development of the saliency detection methods, people have approved the hypothesis that “the appearance contrast between the salient object and the background is high”, and build their saliency methods on some priors that explain this hypothesis. However, these methods are not satisfactory enough. We propose a two-stage salient region detection method. The input image is first segmented into superpixels. In the first stage, two measures which measure the isolation and distribution of each superpixel are proposed, we consider that both of these two measures are important for finding the salient regions, thus the image-feature-based saliency map is obtained by combining the two measures. Then, in the second stage, we incorporate into the image-feature-based saliency map a location prior map to emphasize the foci of attention. In this algorithm, six priors that explain what is the salient region are exploited. The proposed method is compared with the state-of-the-art saliency detection methods using one of the largest publicly available standard databases, the experimental result indicates that the proposed method has better performance. We also demonstrate how the saliency map of the proposed method can be used to create high quality of initial segmentation masks for subsequent image processing, like Grabcut based salient object segmentation.     

A depth perception and visual comfort guided computational model for stereoscopic 3D visual saliency

With the emerging development of three-dimensional (3D) related technologies, 3D visual saliency modeling is becoming particularly important and challenging. This paper presents a new depth perception and visual comfort guided saliency computational model for stereoscopic 3D images. The prominent advantage of the proposed model is that we incorporate the influence of depth perception and visual comfort on 3D visual saliency computation. The proposed saliency model is composed of three components: 2D image saliency, depth saliency and visual comfort based saliency. In the model, color saliency, texture saliency and spatial compactness are computed respectively and fused to derive 2D image saliency. Global disparity contrast is considered to compute depth saliency. Particularly, we train a visual comfort prediction function to distinguish stereoscopic image pair as high comfortable stereo viewing (HCSV) or low comfortable stereo viewing (LCSV), and devise different computational rules to generate a visual comfort based saliency map. The final 3D saliency map is obtained by using a linear combination and enhanced by a “saliency-center bias” model. Experimental results show that the proposed 3D saliency model outperforms the state-of-the-art models on predicting human eye fixations and visual comfort assessment.     

Unsupervised blind image quality assessment based on joint structure and natural scene statistics features

Compared with the widely used supervised blind image quality assessment (BIQA) models, unsupervised BIQA models require little prior knowledge for calculating the objective quality scores of distorted images. In this paper, we propose an unsupervised BIQA method that aims to achieve both good performance and generalization capability with low computational complexity. Carefully selected and extensive structure and natural scene statistics (NSS) features can better represent image quality. First, we employ phase congruency (PC) and finely selected gradient magnitude map and Laplacian of Gaussian response (GM-LOG) features to represent image structure information. Second, we calculate the local mean-subtracted and contrast-normalized (MSCN) coefficients and the Karhunen–Loéve transform (KLT) coefficients to represent the naturalness of the distorted images. Last, multivariate Gaussian (MVG) model with joint features extracted from both the pristine images and the distorted images is adopted to calculate the objective image quality. Extensive experiments conducted on nine IQA databases demonstrate that the proposed method achieves better performance than the state-of-the-art BIQA methods.     

基于背景先验与中心先验的显著性目标检测北大核心CSCD

针对传统的图流行排序显著性目标检测算法存在先验信息单一,显著目标检测不完整的问题,提出一种新的基于背景先验与中心先验的显著性目标检测算法。首先将图像边界节点作为背景种子进行流行排序获得粗略的前景区域,将其再次流行排序得到初步显著图;然后利用Harris角点检测、聚类实现中心先验显著性检测,捕获中心显著信息;最后在初步显著图上融合图像中心显著性,得到最终显著图。本文对综合指标、精确率-召回率曲线、F-measure值以及平均绝对误差(mean absolute error,MAE)值进行实验评估,在公开数据集MSRA-10K和ECSSD上进行的实验结果表明:对比10种主流算法,本文算法在不同的评估指标上都具有较好的表现,且能准确地突出显著目标,提升背景抑制效果。