一种图像感知质量评价模型

在观察者观看和评价图像质量的过程中,提取对主观质量评价有重要影响的信息,并构建了一种图像感知质量评价模型.首先在主观评价过程中提取感知亮度、频率以及边缘3种重要信息;然后构造人眼视觉系统对3种信息的响应函数,并通过线性回归分析将函数拟合成为所需的图像感知质量评价模型;最后,分析了模型的预测值与主观质量评价方法给出的质量分数之间的 Pearson 相关系数和 Spearman 等级相关系数,分别为 0.966 和 0.949.与其他一些有代表性的客观图像质量评价方法相比较,该模型具有明显的优越性.     

基于分形维数的图像质量客观评价方法研究

建立图像质量客观评价模型对于图像编码、增强、重建以及分析等领域具有重要的现实意义。鉴于传统的图像质量评价方法的评价结果与主观感知存在较大的误差等缺陷,为此从分形角度考虑,并兼顾人眼视觉特性,首先提取了分形维数作为图像质量的评价指标;然后从非线性角度来表征引起人眼视觉敏感变化的图像亮度以及纹理信息,并将能准确反映图像质量变化的空隙度参数作为有效补偿;最后采用线性回归分析直接对图像进行建模,并将分形维数差值和空隙度差值两分量表示在统一的模型中。实验证明,相对于传统的PSNR和SSIM评价指标而言,该评价模型不仅对于不同类型的失真、相同失真类型的不同失真级别的图像能够准确进行评估,而且与主观评价值（MOS）具有更好的关联性,即与人眼视觉感受具有较高的吻合性,同时能够实现对图像质量进行全面、科学的评价。     

基于尺度不变性的无参考图像质量评价

现有的通用型无参考图像质量评价方法大多是利用失真图像及其主观值来训练回归模型预测图像质量指标,然而这种方法需要消耗大量的时间进行训练,并且评价效果依赖于训练图像库中的失真类型,通用性较差,很难应用到实际场合中。为了解决数据库依赖问题,提出一种归一化的基于图像尺度不变性的无参考图像质量评价方法。该方法不依赖外部数据,将图像的统计特性及边缘结构特性作为图像质量评价的有效特征,利用图像多尺度不变性计算多尺度间的整体特征差异,从而预测图像质量。实验结果表明,所提方法对混合失真图像质量评价效果好,运行效率高,与目前现有的无参考图像质量评估方法相比具有较好的综合性能,具有较好的应用价值。     

基于变差函数全局纹理增强的结构相似度图像质量评价

为解决结构相似度算法的图像质量评价缺陷,提出了一种基于变差函数全局纹理增强的结构相似度图像质量评价。该方法首先利用改进的对数变差函数模型提取原图像和失真图像在水平0°、垂直90°和对角45°、135°四个方向的纹理信息特征,然后分别求出对应的纹理增强图像,最后改进SSIM中的结构信息来确定纹理区域的明显失真,计算得到整幅图像的VSSIM值。目前大多数的全参考评价方法不能对数据库中的所有失真类型进行评价,只能对某一类固定的失真类型来评价。本方法对LIVE数据库中的五种失真类型都适用,仿真实验表明,该算法对五种不同失真类型的评价结果具有一定的合理性,并且与主观评价数据库较为一致,其性能也优于其他质量评价模型。     

基于视差图和复数轮廓波变换的无参考立体图像质量评价

现有的2D图像质量评价方法并不能很好地应用于立体图像质量评价中。为了有效评价不同失真立体图像的质量,提出了一种基于视差图和复数轮廓波变换的无参考图像质量评价方法。首先提取了能够反映3D信息的视差图,然后对左右失真图像和视差图进行复数轮廓波变换,计算能量和能量差特征,最后通过支持向量回归SVR模型训练学习,预测图像质量分数。实验结果表明,此方法优于当前文献报道的立体图像质量评价方法。     

结合图像二次模糊范围和奇异值分解的无参考模糊图像质量评价

针对图像的模糊失真问题,提出一种结合图像二次模糊范围和奇异值分解的无参考图像质量评价方法.首先根据图像二次模糊范围的差异性构建参考图像;然后对失真图像与参考图像进行奇异值分解,利用奇异值向量矩阵的相似度构建失真特性向量;再结合Log-Gabor滤波器组和高斯差分模型进行视觉显著度检测;最终以显著度加权的失真特性向量预测模糊图像的质量得分.大量实验结果表明,与同类算法相比,文中方法能够准确地评价模糊图像质量,与主观评价具有较高的一致性;在LIVE2图像库上,评价指标斯皮尔曼等级相关系数达到0.968 7,均方根误差为4.858 9;该方法无需对数据进行训练,具有较强的实用性和推广性.     

自适应语义感知网络的盲图像质量评价

目的 盲图像质量评价（blind image quality assessment，BIQA）在图像质量控制领域具有重要的实际意义。虽然目前针对自然失真图像的盲图像质量评价取得了合理的结果，但评价准确性仍有待进一步提升。方法 提出一种自适应语义感知网络（self-adaptive semantic awareness network，SSA-Net）的盲图像质量评价方法，通过理解失真图像的内容和感知图像失真的类型来提高预测的准确性。首先，利用深度卷积神经网络（deep convolutional neuralnetwork，DCNN）获取各个阶段的语义特征，并提出多头位置注意力（multi-head position attention，MPA）模块通过聚合特征图的长距离语义信息来加强对图像内容的理解。接着，提出基于多尺度内核的自适应特征感知（self-adaptivefeature awareness，SFA）模块感知图像的失真类型，并结合图像内容来捕获图像的全局失真和局部失真情况。最后，提出多级监督回归（multi-level supervision regression，MSR）网络通过利用低层次的语义特征辅助高层次的语义特征得到预测分数。结果 本文方法在7个数据库上与11种不同方法进行了比较，在LIVEC（LIVE in the Wild ImageQuality Challenge）、BID（blurred image database）、KonIQ-10k（Konstanz authentic image quality 10k database）和SPAQ（smartphone photography attribute and quality）4个自然失真图像数据库中的斯皮尔曼等级相关系数（Spearman rankorder correlation coefficient，SRCC）值分别为0.867、0.877、0.913和0.915，获得了所有方法中最好的性能结果。同时在两个人工失真图像数据库中获得了排名前2的SRCC值。实验结果表明，与其他先进方法相比，本文方法在自然失真图像质量评价数据库上的表现更为优异。结论 本文方法通过结合图像内容理解与不同失真类型感知，能更好地适应自然图像的失真，提高评价准确性。     

基于几何结构失真模型的图像质量评价研究

客观图像质量评价研究的目的是设计一种和视觉感知保持一致,且适用于各种失真模型的质量评价方法. 传统的结构相似度量质量评价方法忽视了自然图像本身的特点,不能很好地评判某些失真类型图像. 本文根据人眼视觉系统(Human visual system, HVS)在感知图像质量过程中的特点,探索自然图像的本征几何结构特征, 考虑像素点的方向失真、幅度失真和方差失真,提出了一种新型的基于图像几何结构失真模型的完全参考质量评价方法. 在标准数据库上的实验结果表明,本文方法适用于所有失真模型图像数据的质量评价, 计算复杂度相对较低,得到的图像客观评价结果和主观评价方法具有更好的一致性, 能够很好地反映人眼对图像质量的主观感受.     

基于SVM和PSO的图像质量评价

为提高白噪声、高斯模糊、JPEG2000压缩等失真类型图像的评价准确率,提出一种基于支持向量机和粒子群优化算法的图像质量评价方法。提取样本图像数据和确定评价指标,对样本数据进行预处理。利用粒子群优化算法选择最优参数,使用最优参数对训练集数据进行训练,对预测集数据进行预测分析,并建立图像质量评价模型。实验结果表明,与线性回归模型、BP神经网络模型等传统方法相比,该方法的评价准确率较高,能够准确地反映人眼对图像的视觉感知。     

基于概率矩阵分解的多失真图像质量评估算法

图像质量评价(Image Quality Assessment, IQA)是视觉感知模型研究的重要分支,使用IQA算法自动化地评估图像质量有广阔的应用前景。基于概率矩阵分解(Probability Matrix Factorization)提出一种多失真图像质量评价算法,主要贡献有:提出一种图像质量评价的新思路,即利用PMF方法从失真图像估计参考图像,把失真图像和估计参考图像之间的信息损失作为图像质量的度量;构建新颖的特征向量描述这种信息损失;使用支持向量回归(Support Vector Regression, SVR)完成图像质量模型的训练。提出的算法在多个公开的图像质量评价数据库上超过了经典方法,实验结果证明该方法与人的主观质量评价具有更好的一致性。     

分区域去运动模糊

去运动模糊一直是计算机视觉领域中面向画质增强的一个热点研究方向。模糊核的估算是去运动模糊中的关键问题。提出一种新的思路,即首先将模糊图像按照模糊核的相似度进行图像分割,再对分割后的图像应用空间不变去模糊算法。本文方法主要包含以下几个步骤:分离输入图像中的光照、颜色和纹理信息;分割图像;分区域估算模糊核,计算重叠区域模糊核,并根据计算出的模糊核进行分区域单核去模糊;利用重叠区域整合拼接去模糊结果并还原光照和颜色信息。实验结果表明本文方法比基于单核的去运动模糊算法效果要好。     

一种新的小波半软阈值图像去噪方法

在小波半软阈值图像去噪方法基础上,提出了一种基于自适应局部相关系数的新方法。该方法在软阈值法和硬阈值法之间有很好的折衷,通过加入局部相关系数,使其在各种小波变换中均能增强子带内小波系数的相关性。在阈值选取中选用了基于Bayes风险估计的自适应阈值和具有统计意义上的阈值方法,获得了小波系数不同子带不同方向的最优估计。实验结果显示,该方法去噪效果显著,同时能够改善小波变换所造成的图像视觉失真和边缘振荡效应,更好地保留了图像边缘和细节纹理特征。该方法可通过调节局部相关系数控制图像去噪程度和效果,能满足不同需求,具有很高的实用价值。     

互信息域中的无参考图像质量评价

目的无参考图像质量评价是近几年来的研究热点,具有深远的现实意义和广泛的应用价值,提出一种基于互信息的无参考图像质量评价方法。方法该方法使用原始自然图像及其对应的规范化亮度图像和局部标准差图像作为输入,利用自相关互信息对输入图像邻近像素间的相关性进行量化,并引入多尺度分析得到图像在两个尺度上的互信息特征,最后使用支持向量机(SVM)在LIVE图像数据库上训练学习,从而对多类失真图像进行客观质量评价。结果在LIVE图像数据库中对本文算法进行性能测试,实验结果显示该算法得到的评价结果与人眼主观评价结果之间的平均相关系数高达0.93,总体分类准确率达到79%,性能足以与当前主流的全参考、无参考方法相竞争。结论本文方法有别于传统的基于变换的无参考图像质量评价方法,将着眼点放于自然图像邻近像素之间的固有联系上,并取得了较好的实验效果。由于没有使用图像变换并从全局域进行考虑,本文方法具有较低的时间复杂度。     

Real-time deep satellite image quality assessment

A method for deep satellite image quality assessment based on no-reference satellite images is proposed. We design suitable deep convolutional neural networks, which are named satellite image quality assessment of deep convolutional neural networks (SIQA-DCNN) and SIQA-DCNN++. These sophisticated methods can remove various distorted satellite images in real-time remote sensing. The novelty of this method lies in the objective assessment and restoration of the deep model which understands various distorted satellite images in high- and low-resolution problems. The activation function has a lower computational time and ensures the deactivation of noise by making the mean activators close to zero. Our methods are also effective for transfer learning, which can be used to adequately investigate satellite image classification in deep satellite image quality assessment. Using Spearman’s rank order correlation coefficient (SROCC) and linear correlation coefficient (LCC) evaluations, we demonstrated that our methods show better performance than other algorithms, with more than 0.90 of SROCC and LCC values compared to the full-reference and no-reference satellite image in MODIS/Terra and USGS datasets. Regarding computational complexity, we obtained better performance in operational function times. As compared to other methods, SIQA-DCNN and SIQA-DCNN++ also reduced computational time by more than 40 and 56%, respectively, when applied to the USGS dataset, and by more than 46 and 60% respectively, when applied to the MODIS/Terra dataset.     

用于图像预测编码的预测器的设计及应用

设计并实现了一个用于图像预测编码的预测器。在图像压缩中,预测器是影响整个图像压缩比以及图像质量的关键环节。为了提高预测器的性能,本文结合了线性与非线性预测器的设计方法,首先对图像像素及其邻域像素之间的相关性估计值进行统计计算,确定该预测器的最佳阶数为四阶,接下来以预测差值的最小均方差标准和差值图像的期望值恒为零的约束为前提,同时对邻域模板的平坦程度加以分类,统计分析各类图像得出大量实验数据,最终设计出性能较好的四阶预测器。由于该预测器应用于星载图像的压缩,其预测系数在设计时兼备了便于硬件实现的特点。     

HEASK: Robust homography estimation based on appearance similarity and keypoint correspondences

Accurate homography estimation is a classical problem with high industrial value and has been investigated extensively. Most previous homography estimation methods used either appearance similarity or keypoint correspondences to find their best estimation. In this paper, a novel algorithm is proposed which integrates the advantages of the pixel-based and the feature-based homography estimation approaches. We elegantly combined the probability models of appearance similarity and keypoint correspondences in a Maximum Likelihood framework, which is named as Homography Estimation based on Appearance Similarity and Keypoint correspondences (HEASK). In the model of keypoint correspondences, the distribution of inlier location error is represented by a Laplacian distribution, which outperforms the previous Gaussian distribution in characterizing heavy-tailed distributions. And in the model of appearance similarity, the enhanced correlation coefficient (ECC) is adopted for describing image similarity, and the distribution of ECC is studied and parametrically formulated using a truncated exponential distribution. The proposed model is solved based on an improved framework of random sample consensus (RANSAC). Several simulations summarize the performance of the proposed approach in objective quality measurement, subjective visual quality, and computation time. The experimental results demonstrate that the proposed approach can achieve more accurate homography estimation under different image transformation degrees and with different ratios of inlier keypoint correspondences as compared to the state-of-the-art works.     

Exposing Region Splicing Forgeries with Blind Local Noise Estimation

Region splicing is a simple and common digital image tampering operation, where a chosen region from one image is composited into another image with the aim to modify the original image’s content. In this paper, we describe an effective method to expose region splicing by revealing inconsistencies in local noise levels, based on the fact that images of different origins may have different noise characteristics introduced by the sensors or post-processing steps. The basis of our region splicing detection method is a new blind noise estimation algorithm, which exploits a particular regular property of the kurtosis of nature images in band-pass domains and the relationship between noise characteristics and kurtosis. The estimation of noise statistics is formulated as an optimization problem with closed-form solution, and is further extended to an efficient estimation method of local noise statistics. We demonstrate the efficacy of our blind global and local noise estimation methods on natural images, and evaluate the performances and robustness of the region splicing detection method on forged images.     

Image cryptosystem based on plain image correlation rate and selective chaotic maps

In this paper, a new image encryption algorithm is introduced for encrypting grayscale digital images of any size. To improve the encryption evaluation parameters, we suggested that the value of the plain image correlation coefficient be effective in the cryptographic process, so plain images with different properties and correlation coefficient rates are encrypted in different ways. According to the average absolute value of correlation coefficient of plain image, Logistic or Tent maps is selected to generate chaotic sequences to expand plain image matrix. As the first step of the diffusion phase, the plain image matrix is developed with larger size by proper selected chaotic sequences, and simultaneously a chaotic matrix with the same size is generated by chaotic Sine map sequences. In confusion phase, the modified Lorenz map changes pixel locations of new developed matrix by means of certain equations. Then bitwise XOR is applied between developed matrix include plain image and Sine map chaotic matrix, as second step of diffusion phase. Finally, encrypted image is generated after applying exchange operations on the content of pixels, as third step of diffusion phase. Experimental results and comparisons with some of the existing methods, show that the proposed image cryptosystem is able to resist common cryptanalytic attacks and can be used as a secure method for encrypting digital images.

     

局部双目视差回归的目标距离估计

目的 双目视觉是目标距离估计问题的一个很好的解决方案。现有的双目目标距离估计方法存在估计精度较低或数据准备较繁琐的问题,为此需要一个可以兼顾精度和数据准备便利性的双目目标距离估计算法。方法 提出一个基于R-CNN（region convolutional neural network）结构的网络,该网络可以实现同时进行目标检测与目标距离估计。双目图像输入网络后,通过主干网络提取特征,通过双目候选框提取网络以同时得到左右图像中相同目标的包围框,将成对的目标框内的局部特征输入目标视差估计分支以估计目标的距离。为了同时得到左右图像中相同目标的包围框,使用双目候选框提取网络代替原有的候选框提取网络,并提出了双目包围框分支以同时进行双目包围框的回归;为了提升视差估计的精度,借鉴双目视差图估计网络的结构,提出了一个基于组相关和3维卷积的视差估计分支。结果 在KITTI（Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上进行验证实验,与同类算法比较,本文算法平均相对误差值约为3.2%,远小于基于双目视差图估计算法（11.3%）,与基于3维目标检测的算法接近（约为3.9%）。另外,提出的视差估计分支改进对精度有明显的提升效果,平均相对误差值从5.1%下降到3.2%。通过在另外采集并标注的行人监控数据集上进行类似实验,实验结果平均相对误差值约为4.6%,表明本文方法可以有效应用于监控场景。结论 提出的双目目标距离估计网络结合了目标检测与双目视差估计的优势,具有较高的精度。该网络可以有效运用于车载相机及监控场景,并有希望运用于其他安装有双目相机的场景。     

多核重复背投影图像超分辨率方法

图像超分辨率算法目前最为通用的框架是基于Bayes估计的方法,其求解方法多归于重复背投影(插值)的迭代方法．在特定的成像条件下,基于训练的多核插值滤波器估计方法具有良好的效果．考虑采样过程对图像质量的影响,我们把多核插值滤波器估计方法引入到重复背投影的计算框架下,取得了优于单独使用一种方法的超分辨率结果．