基于交互式卷积神经网络的立体图像质量评价

目前立体图像质量评价算法缺乏可靠的预测性能,主要表现在研究人类视觉系统时生物学理论薄弱,并且已有的浅层模型无法模拟出视觉信息复杂的处理过程。针对上述问题,提出一种基于交互式卷积神经网络的无参考立体图像质量评价算法。根据初级视觉区域的双目视觉机制,融合左、右视图生成独眼特征图,并采用高斯差分算法提取左、右视图边缘信息,计算边缘求和以及差分特征图;搭建交互式卷积神经网络,整合特征图,实现深度特征学习和质量回归预测。在LIVE立体图像库上的Pearson线性相关系数(Pearson Linear Correlation Coefficient, PLCC)达到0.95以上,结果表明采用该算法能有效地解决失真立体图像质量评价问题。     

多核学习纹理特征的立体图像质量评价

为了有效地评价各种失真类型双目立体图像的质量,提出利用多核学习机学习立体图像平面纹理信息和3D映射信息的通用无参考立体图像质量评价IQA方法。该方法首先利用立体匹配模型对左右视图进行处理,获得相应的视差图DM和误差能量图DMEE;对左右视图、视差图和误差能量图进行相位一致性和结构张量变换,获得它们的平坦区和边缘区;分别提取左右视图两个区域纹理特征作为平面信息,提取视差图的纹理特征和误差能量图的统计特征作为3D信息;将所有特征作为多核学习机的输入,利用多核学习的信息融合能力预测待测失真立体图像质量。由于充分利用了立体图像的左右视图、视差图和误差能量图的失真信息,以及多核学习的信息融合能力,该方法具有很好的前景。在LIVE 3D图像质量数据库上的实验表明,该方法与主观质量有较高一致性,与现有的双目立体质量评价方法相比有很大的竞争力。     

基于人类视觉系统的立体图像质量评价方法

随着立体图像的大规模发展,很多应用场合需要能够迅速有效地完成对立体图像的质量评价工作,以便于后续应用,而对其进行主观质量评价在效率上很难满足要求。因此,提出了一种感知质量评价算法,并结合了一些人类视觉系统的特性。首先需要得到视差图,然后通过边界图和显著图来对视差图进行加权调整。接着使用Minkowski融合方法将加权后的视差图整合成感知分数。最后,使用多尺度分析来得到最终的感知质量分数。通过使用EPFL立体质量评价数据库来验证文中的立体图像感知质量评价算法。实验显示算法最后得到的客观分数和EPFL数据库中的主观分数具有高度的一致性和单调性,证明了文中的立体图像感知质量评价算法是有效的。     

基于小波变换的无参考立体图像质量评价

立体图像质量评价是图像处理领域中一项重要技术,现有的2D图像质量评价方法并不能很好地应用于立体图像。为了更好地评价立体图像质量,提出了一种基于小波变换提取左右图像及其合成图像特征的无参考立体图像质量评价方法。该方法首先通过对失真的立体左右图像计算合成图像;再通过小波分解提取左右图像及其合成图像的小波系数,获取小波子带能量作为立体图像质量感知特征;最后通过支持向量回归建立立体图像特征与主观得分的关系模型,来预测和得到立体图像质量的客观评价得分。实验结果表明,与现有无参考立体图像质量评价方法相比较,该客观评价模型可以获得更好的主观感知一致性,更加符合人眼视觉系统。     

基于视差信息的无参考立体图像质量评价

近年来,随着深度学习在图像质量评价领域的快速发展,平面图像质量评价得到了有效的改善,但是立体图像质量评价还有待提高。为此,文中结合三分支卷积神经网络,提出了基于视差信息的无参考立体图像质量评价方法,并分析了不同视差图对模型性能的影响。该方法将左右视图以及视差图小块作为输入,自动提取特征,通过训练得到回归模型,从而实现对立体图像的预测。文中使用了5种不同立体匹配算法来生成视差图,实验结果表明使用SAD算法得到的效果最好。在立体图像库LIVE3D和MCL3D上的实验结果表明,该方法不仅适用于评估对称失真图像,还适用于非对称失真的立体图像评价。该方法在总体失真上的结果优于其他对比算法,尤其是在MCL3D图像库上,所提方法的PLCC和SROCC比其他方法高出1%和4%。实验数据表明,所提模型提高了立体图像质量评价的性能,与人类主观感知高度一致。     

融合匹配特征的立体图像颜色校正方法

立体图像颜色校正方法的目标在于消除立体图像左右视图之间的颜色差异.现有的立体图像颜色校正方法存在校正效果和时间效率不平衡的问题.为了解决这一问题,本文提出一种融合匹配特征的立体图像颜色校正方法.首先,通过视差注意力颜色校正网络得到待校正目标图像的初始校正图.然后,将初始校正图和参考图像输入基于光流的图像匹配网络得到光流匹配目标图.最后,由图像融合网络融合初始校正图、光流匹配目标图、参考图像和目标图像的特征并进行图像重建,得到最终的校正结果.实验结果表明,本文的方法具有先进的性能,能够在保持高时间效率的同时实现高质量的立体图像颜色校正效果.     

基于双目融合的无参考立体图像质量评价

针对对称失真和非对称失真图像的评价问题,提出了一种基于双目融合的无参考立体图像质量评价方法。首先,分别将立体图像的左、右视点图像分解成拉普拉斯金字塔序列,利用图像平均梯度和区域能量确定各层融合系数,在双目加权模型的基础上逐层融合两序列并重构合成图像。然后,提取左、右视点图像、合成图像的多尺度多方向频域变换特征和对比度、熵、能量、逆差分矩特征。最后,将特征参数作为支持向量回归模型的输入进行训练并预测图像质量。在LIVE 3D phaseⅠ和LIVE 3D phaseⅡ图像库上作相关性分析,其Pearson线性相关系数和Spearman等级相关系数均分别达到0.96和0.95以上。结果表明,本文方法对立体图像质量的预测结果与主观评价值具有较高的一致性。     

基于卷积神经网络的人脸图像质量评价

针对人脸识别过程中人脸图像质量较低造成的低识别率问题,提出了一种基于卷积神经网络的人脸图像质量评价模型。首先建立一个8层的卷积神经网络模型,提取人脸图像质量的深层语义信息;然后在无约束环境下收集人脸图像,并通过传统的图像处理方法以及人工筛选进行过滤,得到的数据集用以进行模型参数的训练;其次通过在图形处理器（GPU）上加速训练,得到用于拟合人脸图像到类别的映射关系;最后将输入在高质量图像类别的概率作为图像的质量得分,建立人脸图像的质量打分机制。实验结果表明,与VGG-16网络相比,所提模型准确率降低了0.21个百分点,但是参数规模减小了98%,极大地提高了模型运算效率;同时所提模型在人脸模糊、光照、姿态和遮挡方面都具有较强的判别能力。因此,可将该模型应用在实时人脸识别系统中,在不影响系统运行效率的前提下提高系统的准确性。     

基于视差图和复数轮廓波变换的无参考立体图像质量评价

现有的2D图像质量评价方法并不能很好地应用于立体图像质量评价中。为了有效评价不同失真立体图像的质量,提出了一种基于视差图和复数轮廓波变换的无参考图像质量评价方法。首先提取了能够反映3D信息的视差图,然后对左右失真图像和视差图进行复数轮廓波变换,计算能量和能量差特征,最后通过支持向量回归SVR模型训练学习,预测图像质量分数。实验结果表明,此方法优于当前文献报道的立体图像质量评价方法。     

一种改进的卷积神经网络的无参考JPEG2000图像质量评价方法

现有的图像质量评价模型对JPEG2000压缩图像的失真情况评价都不是很理想。针对这一问题,提出一种基于卷积神经网络的JPEG2000压缩图像质量评价方法。该模型由一层包含20个卷积核的卷积层,一层包含最大池、中值池和最小池的次采样层、一层采用1200个ReLU激活单元的全链接层和一个输出节点构成。采用最大、中值、最小三池联合的方法,可以有效提取图像的质量感知特征。在LIVE图像质量评价库JPEG2000压缩图像上的实验结果表明,该方法得到了比相关文献方法更好的主观感知一致性。     

基于单目和双目视觉信息的全参考立体图像质量评价模型

在立体图像质量评价领域,有效地模拟人类视觉系统对图像质量进行评价具有重要意义,考虑到人眼的视觉感知特性,基于单目和双目视觉信息构建一种立体图像质量评价模型MB-FR-SIQA。采用基于结构相似性的立体视差算法得到参考和失真立体图像的视差矩阵,结合Gabor能量响应图、显著性图和视差矩阵生成中间视图,并优化左右眼加权系数计算方法,以提高生成中间视图的准确性。分别利用单目图像和中间视图提取单目和双目视觉信息,计算单目质量分数和双目质量分数,并融合得到立体图像的质量分数,达到评价立体图像质量的目的。实验结果表明,MB-FR-SIQA模型在LIVE-I数据库上具有较高的预测精度,其斯皮尔曼等级相关系数、皮尔森线性相关系数、均方根误差分别为0.945、0.951、5.318,且预测的质量分数符合人类主观评估。     

基于多级特征的红外图像行人检测算法

由于可见光图像和红外图像的成像原理不同,可见光图像的行人检测算法难以直接应用于红外图像中.为此,提出一种基于多级梯度特征的红外图像行人检测算法.使用改进的图像显著性检测算法提取红外图像的关键区域,应用质心重定位的滑窗算法快速定位其中的高亮区,采用Zernike矩判断图像的对称性及与行人特征的相似性,通过基于边缘信息输入的卷积神经网络模型逐级缩小判定范围.在OTCBVS红外图像行人数据集上的实验结果表明,与稀疏表示算法相比,该算法的检测准确率较高.     

基于深度学习的图像质量评价方法综述

图像质量评价是对图像或视频的视觉质量的一种度量,主要分析了最近10年图像质量评价算法的研究情况。介绍了图像质量评价算法的衡量指标以及常用的图像质量评价数据集,对图像质量评价方法的分类做了阐述,重点分析了基于深度学习技术的图像质量评价算法。目前,该类算法的基础模型主要包括深度卷积神经网络、深度生成对抗网络和变换器,其性能通常高于传统的图像质量评价算法。描述了基于深度学习技术的图像质量评价算法的原理,重点介绍了基于深度生成对抗网络的无参考图像质量评价算法,通过增强对抗学习强度提高模拟参考图的可靠性。深度学习技术需要海量训练数据的支持,探讨和总结数据集增强的方法,对数字图像质量评价方法的未来研究进行展望。     

基于生成感知差异的无参考图像质量评价模型

人眼视觉系统中的视觉感知差异是图像质量评价过程中的重要组成部分,通过感知失真图像与原始图像之间的视觉差异,可对图像的失真程度进行判断,然而在无参考图像质量评价中无法获取原始未失真的图像,且缺乏对失真图像的视觉感知差异.通过对深度学习中的生成对抗网络进行分析,提出一种基于生成视觉感知差异的无参考图像质量评价模型.利用生成...     

双目标的CNN无参考图像质量评价方法

为有效提取与人类视觉感知高度相关的图像质量特征，提出了一个估计图像退化类型和质量评分的双目标卷积神经网络（CNN）结构。该网络结构有次序地分步提取用作退化类型分类和用作估计质量评分的特征，使网络更充分地挖掘图像退化类型信息并强化其对质量评分估计任务的辅助作用，进而提升了网络对图像质量特征的学习能力，同时实验表明两步特征提取的方式能加速网络的收敛。通过在标准图像质量评价数据库LIVE和TID2008上的对比实验，结果表明该算法在图像退化类型和质量评分两个任务中，整体性能均明显优于其他经典评价方法。     

基于多尺度和多层级特征融合的立体匹配方法

基于卷积神经网络的立体匹配方法未充分利用图像中各个层级的特征图信息,造成对图像在不适定区域的特征提取能力较差.提出一种融合多尺度与多层级特征的立体匹配方法.通过在双塔结构卷积神经网络模型的前端设计一个池化金字塔层,提取图像的多尺度低层结构特征.在该网络模型的后端融合最后三层网络的高级语义特征来提取图像特征,并对图像特征...     

频率与方向敏感SSIM的图像质量评价方法

将人眼视觉对比敏感度的空间频率及方向特性,引入到结构相似度(SSIM)计算中,提出一种对频率与方向敏感度加权的结构相似度评价方法。对图像进行多级小波分解并计算各个子带的SSIM值,根据子带能量比重,对同一分解级下不同方向的子带SSIM值进行加权,以对比敏感度函数(CSF)的方向敏感性,根据CSF的子带响应对各个分解级进行加权,显示CSF的频率敏感性。在LIVE2及TID2008图像质量数据库上的仿真结果表明,与其他图像质量评价方法相比,该方法评价结果与主观评价具有较好的一致性。     

一种基于视觉兴趣性的图象质量评价方法

图象质量的正确评价是图象信息工程领域内一项很有意义的研究课题,但现有的图象客观评价方法并不完全符合人眼视觉特性。合理地评价图象质量应充分遵循人眼的视觉特性,但由于受到人的心理、文化背景、周围环境、不同的应用场合等多种因素的影响,人眼对同一幅图象中的不同区域往往具有不同的感兴趣程度,即人眼具有视觉兴趣性特性,该文在充分利用视觉兴趣性特性的基础上,针对只存在一个感兴趣区的图象,提出了一种简化的图象质量     

融合深度特征和语义邻域的自动图像标注*

传统图像标注方法中人工选取特征费时费力,传统标签传播算法忽视语义近邻,导致视觉相似而语义不相似,影响标注效果.针对上述问题,文中提出融合深度特征和语义邻域的自动图像标注方法.首先构建基于深度卷积神经网络的统一、自适应深度特征提取框架,然后对训练集划分语义组并建立待标注图像的邻域图像集,最后根据视觉距离计算邻域图像各标签的贡献值并排序得到标注关键词.在基准数据集上实验表明,相比传统人工综合特征,文中提出的深度特征维数更低,效果更好.文中方法改善传统视觉近邻标注方法中的视觉相似而语义不相似的问题,有效提升准确率和准确预测的标签总数.     

基于多任务无参考图像质量评价模型研究

基于深度学习的无参考图像质量评价(NRIQA)模型常见2种结构,即单任务(Single-task)结构和多任务(Multi-task)结构。为了探讨在没有预训练情况下多任务结构对模型准确率影响,对比分析了基于MEON调整后的多任务模型及单任务模型在无参考图像质量评价任务上的性能优劣,其中多任务模型在图像质量评价数据库LIVE、TID2013上分别取得了0.882、0.871的准确率,表现出同等甚至优于单任务模型的性能。在此基础上,多任务模型的子任务输出维度实验表明在NRIQA研究中,子任务能够根据需求和目标在相关数据集上预训练,再结合质量评价任务微调,具有可迁移学习集成于其他任务中的优点。