内容感知的图像重定向方法综述

随着各种智能设备的不断涌现,同一图像往往需要改变纵横比和大小来适应不同显示屏幕.基于内容感知的图像重定向方法通过研究图像重要内容的保持,使得图像自动适应到不同大小的显示设备上.主要对近年来基于内容感知的图像重定向方法的研究现状进行总结.按照重要度图的获取以及基于重要度图的重定向方法两方面回顾了手工特征的图像重定向;从基...     

图像重定向质量评价的研究进展

随着移动显示设备的普及,人们可以使用不同的终端设备来获取图像信息。为了适配不同尺寸的设备,图像重定向技术应运而生,并成为当前研究的热点。尽管该技术在近年来取得了长足进步,但没有算法能够保证在不降低视觉内容质量的前提下满足多种显示设备的要求。换句话说,在图像重定向的过程中,不可避免地会引入失真,降低用户的视觉体验。因此,如何客观、准确地评价重定向图像质量对图像重定向算法的选择、优化及发展至关重要。当前,研究人员已针对图像重定向质量评价开展了一系列研究,并取得了一定的研究成果。但是缺乏对图像重定向质量评价的综述,因此本文对当前图像重定向质量评价的研究进展进行了较为全面的回顾和总结。首先简单介绍了图像重定向以及传统图像质量评价;然后分别介绍图像重定向质量评价的数据集和客观质量评价方法,将现有的客观质量评价分为基于传统特征相似性的方法和基于图像配准的方法两类,并分析了两类方法的优缺点;接着在3个数据集上对具有代表性的算法的性能进行了对比分析;最后,总结了当前图像重定向质量评价领域面临的问题和挑战,并指明了未来可能的发展方向。     

高动态范围图像客观质量评价方法

针对当前高动态范围（HDR）图像质量评价方法未考虑图像色度和结构信息的问题,提出了一种新的HDR图像客观质量评价方法。首先,利用HDR-VDP-2.2中的基于视觉感知的模型得到关于亮度与对比度的视觉保真度特征;然后,将HDR图像转换到YIQ彩色空间,对彩色空间中的Y、I、Q通道分别进行处理,求得色度相似度和结构相关度特征;最后,利用支持向量回归（SVR）的方法对特征进行融合,预测得到高动态范围图像质量的客观评价值。实验结果表明,与HDR-VDP-2.2相比,该方法的Pearson相关系数和Spearman等级相关系数分别提升了23.09%和25.34%;均方根误差（RMSE）降低了38.01%。所提出的方法与主观视觉感知具有更高的一致性。     

INFORMIX-HDR应用程序重定向的研究和实现

INFORMIX-HDR是IBMINFORMIX数据库提供的一种高可用性方案。应用程序的重定向是INFORMIX-HDR的重要组成部分,重定向机制的稳定与否直接决定了应用层解决方案的稳定性。该文分析了INFORMIX提供的三种重定向机制,设计和实现了一种应用程序侧的重定向机制。     

人脸图像质量评价法

在人脸识别系统中,从输入图像群中挑选出一幅质量较好的图像,对提高系统的人脸识别性能,具有重要意义.基于此提出了一种从人脸位置、图像对比度、图像清晰度、图像明亮度来综合评价人脸图像质量的算法,并通过实验验证了该算法的有效性.     

全景图像质量评价方法最新进展

随着虚拟现实技术的快速发展,全景视频图像已成为一种新的媒体展示形式被投入使用。全景图像的质量评价方法对促进虚拟现实技术具有重要的现实意义。研究了近五年来全景图像质量评价新方法。分析了全景图像客观评价指标,包括基于峰值信噪比的改进方法和基于结构相似性的改进方法。归纳总结了基于深度学习的全景图像质量评价方法以及其特有的缝合失真和投影失真的评价方法。搜集整理了常用的全景图像质量评价公共数据集与专有自建数据集。采用皮尔森相关系数、斯皮尔曼秩相关系数与均方根误差作为评价指标,根据客观评分与人眼主观感受的相关程度对现有全景图像质量评价方法进行了对比分析。对全景图像质量评价方法的发展方向进行展望。     

虚拟现实图像客观质量评价研究进展

随着科学技术的发展,虚拟现实(virtual reality, VR)技术逐渐渗透到医疗、教育、军事和娱乐等众多领域,并凭借在各个领域广阔的应用前景而受到广泛关注。鉴于视觉质量是决定VR技术能否成功应用的关键,且图像是VR应用最基础和最重要的视觉信息载体,VR图像质量评价已经成为质量评价领域的重要前沿性研究方向。与传统图像质量评价类似,VR图像质量评价可以分为主观质量评价和客观质量评价。由于客观质量评价相比主观质量评价具有成本低、稳定性高和应用范围广等优点,对VR图像客观质量评价的研究受到了国内外学者的高度重视。目前,关于VR图像客观质量评价的研究已经取得了一定进展,但是文献中缺少对该方向相关研究方法的综述。基于此,本文针对VR图像客观质量评价的研究进行概述。首先,对VR图像质量评价的研究现状进行分析。然后,重点对现有的VR图像客观质量评价模型进行综述。具体地,根据模型是否需要使用原始无失真图像信息作为参考,将现有的VR图像客观质量评价模型划分为全参考型和无参考型两大类。其中,全参考型方法进一步划分为基于峰值信噪比/结构相似度的方法和基于传统机器学习的方法。根据特征表达空间的不同,无参...     

光场图像基线编辑方法

图像重定向是图像编辑中的一个基本问题,主要研究根据具体应用要求对图像内容进行重构。当前针对光场图像角度和空间超分辨率以外的重定向的研究尚属空白。提出了一种光场图像基线编辑方法。算法主要包含三个步骤:首先对光场图像进行标定得到相机参数,并估计光场图像每个子视点图像的视差图;然后根据基线编辑的要求对光场图像进行重定向处理,即将每个子视点图像投影到目标光场图像对应的子视点;最后构建一个深度学习算法对目标光场图像进行优化,对直接重定向过程中因遮挡去除导致的图像空洞区域进行修复。实验结果表明,所提算法能够实现基线编辑的光场图像重定向处理,得到高质量的目标光场图像。该算法可用于一系列光场图像编辑应用,包括光场图像拼接、不同图像间物体拷贝和复制、光场图像的立体显示等。     

医学图像融合方法综述

多模态医学图像能够为医疗诊断、治疗规划和手术导航等临床应用提供更为全面和准确的医学图像描述。由于疾病的类型多样且复杂,无法通过单一模态的医学图像进行疾病类型诊断和病灶定位,而多模态医学图像融合方法可以解决这一问题。融合方法获得的融合图像具有更丰富全面的信息,可以辅助医学影像更好地服务于临床应用。为了对医学图像融合方法的现状进行全面研究,本文对近年国内外发表的相关文献进行综述。对医学图像融合技术进行分类,将融合方法分为传统方法和深度学习方法两类并总结其优缺点。结合多模态医学图像成像原理和各类疾病的图像表征,分析不同部位、不同疾病的融合方法的相关技术并进行定性比较。总结现有多模态医学图像数据库,并按分类对25项常见的医学图像融合质量评价指标进行概述。总结22种基于传统方法和深度学习领域的多模态医学图像融合算法。此外,本文进行实验,比较基于深度学习与传统的医学图像融合方法的性能,通过对3组多模态医学图像融合结果的定性和定量分析,总结各技术领域医学图像融合算法的优缺点。最后,对医学图像融合技术的现状、重难点和未来展望进行讨论。     

面向水下图像的质量评价方法

目的 针对目前水下图像质量评价方法少和现有方法存在局限性等问题,提出一种无参考并且无需手工设计特征的水下图像质量评价方法。方法 提出的水下图像质量评价方法将深度学习网络框架与随机森林回归模型相结合,首先采用深度神经网络提取水下图像的特征;然后使用提取的特征和标定的水下图像质量分数训练回归模型;最终,利用训练好的回归模型预测水下图像的质量。结果 在本文收集的水下图像数据集和水下图像清晰化算法处理结果上评测本文方法,并与多种质量评价方法进行比较,其中包括预测结果与主观质量分数比较、水下图像清晰化结果评测比较、预测结果与主观质量分数相关性比较、鲁棒性比较等。主观实验结果表明本文的评价方法可以相对准确地给出符合人类视觉感知的水下图像质量分数,并且具有更好的鲁棒性。定量实验结果表明本文方法与其他方法相比,预测的图像质量分数与主观分数具有更高的相关性。结论 提出的水下图像质量评价方法无需参考图像,省去了手工设计的特征,充分利用了深度学习网络的学习和表征能力。本文方法的准确性较好,普适性和鲁棒性较高,预测的质量分数与人类视觉感知具有较高的一致性。本方法适用于原始的水下图像和水下图像清晰化算法的处理结果。     

利用多核增强学习的立体图像舒适度评价模型

目的 传统的立体视觉舒适度评价模型,在学习阶段一般采用回归算法,且需要大量的包含主观测试数据的训练样本,针对这个问题,提出一种利用多核增强学习分类算法的立体图像舒适度评价模型。方法 首先,考虑人们在实际观测图像时,对于先后观测到的不同图像进行相互比较的情况,将评价模型看成是偏好分类器,构造包含偏好标签的偏好立体图像对（PSIP）,构成PSIP训练集;其次,提取多个视差统计特征和神经学模型响应特征;然后,利用基于AdaBoost的多核学习算法来建立偏好标签与特征之间的关系模型,并分析偏好分类概率（即相对舒适度概率）与最终的视觉舒适度之间的映射关系。结果 在独立立体图像库上,与现有代表性回归算法相比较,本文算法的Pearson线性相关系数（PLCC）在0.84以上,Spearman等级相关系数（SRCC）在0.80以上,均优于其他模型的各评价指标;而在跨库测试中,本文算法的PLCC、SRCC指标均优于传统的支持向量回归算法。结论 相比于传统的回归算法,本文算法具有更好的评价性能,能够更为准确地预测立体图像视觉舒适度。     

考虑双目竞争视觉现象的非对称失真立体图像质量评价方法

目的 现有方法存在特征提取时间过长、非对称失真图像预测准确性不高的问题,同时少有工作对非对称失真与对称失真立体图像的分类进行研究,为此提出了基于双目竞争的非对称失真立体图像质量评价方法。方法 依据双目竞争的视觉现象,利用非对称失真立体图像两个视点的图像质量衰减程度的不同,生成单目图像特征的融合系数,融合从左右视点图像中提取的灰度空间特征与HSV （hue-saturation-value）彩色空间特征。同时,量化两个视点图像在结构、信息量和质量衰减程度等多方面的差异,获得双目差异特征。并且将双目融合特征与双目差异特征级联为一个描述能力更强的立体图像质量感知特征向量,训练基于支持向量回归的特征—质量映射模型。此外,还利用双目差异特征训练基于支持向量分类模型的对称失真与非对称失真立体图像分类模型。结果 本文提出的质量预测模型在4个数据库上的SROCC （Spearman rank order correlation coefficient）和PLCC （Pearson linear correlation coefficient）均达到0.95以上,在3个非对称失真数据库上的均方根误差（root of mean square error,RMSE）取值均优于对比算法。在LIVE-II（LIVE 3D image quality database phase II）、IVC-I（Waterloo-IVC 3D image qualityassessment database phase I）和IVC-II （Waterloo-IVC 3D image quality assessment database phase II）这3个非对称失真立体图像测试数据库上的失真类型分类测试中,对称失真立体图像的分类准确率分别为89.91%、94.76%和98.97%,非对称失真立体图像的分类准确率分别为95.46%,92.64%和96.22%。结论 本文方法依据双目竞争的视觉现象融合左右视点图像的质量感知特征用于立体图像质量预测,能够提升非对称失真立体图像的评价准确性和鲁棒性。所提取双目差异性特征还能够用于将对称失真与非对称失真立体图像进行有效分类,分类准确性高。     

Visual comfort in 2D/3D modes of glasses‐type stereoscopic displays

In this study, we compared visual comfort in 2D/3D modes of the pattern retarder (PR) and shutter glasses (SG) stereoscopic displays by changing viewing factors and image contents. The viewing factors include ambient illuminance/monitor luminance/background luminance and image contents mainly are determined with different disparity limits. The degrees of 2D/3D visual comfort were investigated by using various combinations of ambient illuminance, monitor luminance, background luminance, and disparity limit. A series of psychological experiments were also performed to compare 2D and 3D viewing experiences for the passive PR and active SG stereoscopic displays and to discover more comfortable conditions under various variable combinations. The experiment results show that the various variable combinations affecting visual comfort in the passive PR and active SG stereoscopic displays were significantly different. Finally, we suggest more comfortable conditions of viewing 2D and 3D images for the PR and SG stereoscopic displays.     

基于感知视觉重要性的立体图像质量评价

视觉心理、生理因素是有效、准确评价图像质量的重要依据.尽管在计算层面已有众多视觉心理、生理计算模型及方法为其提供支持,但在图像质量评价任务中如何分析各种孤立方法之间的内在关系进而使之有效协同,是使得评价结果更符合人主观评测的关键.从图像质量评价的角度出发,功能上将人眼的视觉注意区域定义并数学形式化为视觉初期注意区域与视觉转移期的劣质区域;同时考虑人眼的感知冗余特性,结合JND感知冗余模型,进而提出了图像质量评价范畴下的视觉感知模型PVSSIM.以此为依据,将感知视觉的方法在二维图像数据库中验证其可行性,并将其引入到立体图像质量评价中.实验结果表明,提出的客观评价方法与传统方法相比,充分考虑到了图像质量评价任务中各种视觉心理、生理因素的协同,与人主观的图像质量评价相比具有更高的相关度,评价方法在立体图像库中能很好地与主观评价相吻合,达到了预期的效果.     

Visual comfort enhancement study based on visual attention detection for stereoscopic displays

Although numerous potential causes may lead to visual discomfort when viewing content on three‐dimensional (3D) displays, vergence–accommodation conflict is a particular cause of binocular parallax‐based stereoscopic displays, and it is unavoidable. Based on the study of 3D content visual attention, we proposed a novel stereoscopic depth adjustment method to improve the visual comfort and enhance perceived naturalness. The proposed method combined the 3D image saliency and specific viewing condition to establish a novel model for computing the optimum zero‐disparity plane of stereoscopic image. The results of perception experiments, focused on visual comfort and stereoscopic sensation, supported that the proposed method can significantly enhance stereoscopic viewing comfort and even can improve the stereoscopic sensation by insuring the 3D image fusion.     

彩色立体图像质量评价方法

现有的大多数立体图像质量评价方法都是将彩色图像转换为灰度图像,从而丧失了色彩信息,不利于对彩色立体图像作出正确评价,针对这一问题,提出了一种彩色立体图像质量评价方法。首先,通过对参考图像对和失真图像对分别进行主成分分析(PCA)融合生成彩色图像,利用彩色小波变换分别提取彩色融合图像的低频系数;然后,把低频系数信息用四元数表示,即将低频系数的色相分量局部均值作为四元数的实部,三基色分量作为四元数的虚部,通过四元数奇异值分解得到奇异值特征向量;最后,对参考图像和失真图像的奇异值特征向量作余弦夹角、巴氏距离、卡方距离,分别作为立体图像质量评价指标。该方法在德克萨斯大学公布的对称失真立体图像库和非对称失真立体图像库分别进行验证,线性相关系数和斯皮尔曼等级相关系数(SROCC)在对称失真库中可高达0.919和0.923,与主观评价吻合度很高。     

基于视差重映射的立体图像视觉舒适度提升

目的 针对人眼观看立体图像内容可能存在的视觉不舒适性,基于视差对立体图像视觉舒适度的影响,提出了一种结合全局线性和局部非线性视差重映射的立体图像视觉舒适度提升方法。方法 首先,考虑双目融合限制和视觉注意机制,分别结合空间频率和立体显著性因素提取立体图像的全局和局部视差统计特征,并利用支持向量回归构建客观的视觉舒适度预测模型作为控制视差重映射程度的约束;然后,通过构建的预测模型对输入的立体图像的视觉舒适性进行分析,就欠舒适的立体图像设计了一个两阶段的视差重映射策略,分别是视差范围的全局线性重映射和针对提取的潜在欠舒适区域内视差的局部非线性重映射;最后,根据重映射后的视差图绘制得到舒适度提升后的立体图像。结果 在IVY Lab立体图像舒适度测试库上的实验结果表明,相较于相关有代表性的视觉舒适度提升方法对于欠舒适立体图像的处理结果,所提出方法在保持整体场景立体感的同时,能更有效地提升立体图像的视觉舒适度。结论 所提出方法能够根据由不同的立体图像特征构建的视觉舒适度预测模型来自动实施全局线性和局部非线性视差重映射过程,达到既改善立体图像视觉舒适度、又尽量减少视差改变所导致的立体感削弱的目的,从而提升立体图像的整体3维体验。     

多核学习纹理特征的立体图像质量评价

为了有效地评价各种失真类型双目立体图像的质量,提出利用多核学习机学习立体图像平面纹理信息和3D映射信息的通用无参考立体图像质量评价IQA方法。该方法首先利用立体匹配模型对左右视图进行处理,获得相应的视差图DM和误差能量图DMEE;对左右视图、视差图和误差能量图进行相位一致性和结构张量变换,获得它们的平坦区和边缘区;分别提取左右视图两个区域纹理特征作为平面信息,提取视差图的纹理特征和误差能量图的统计特征作为3D信息;将所有特征作为多核学习机的输入,利用多核学习的信息融合能力预测待测失真立体图像质量。由于充分利用了立体图像的左右视图、视差图和误差能量图的失真信息,以及多核学习的信息融合能力,该方法具有很好的前景。在LIVE 3D图像质量数据库上的实验表明,该方法与主观质量有较高一致性,与现有的双目立体质量评价方法相比有很大的竞争力。     

3维立体动画制作的视觉效果评价

目的 视觉效果评价是3维立体动画制作过程中不可忽略的一环。评价过程主要依靠专业人员的行业经验,受人员知识水平、测试环境等因素的影响。针对该问题,提出了一个主客观结合的评价模型。方法 首先建立了一个面向前期制作的三维动画场景数据集用以训练和测试,针对视觉效果评价的两个重要指标:立体感和视觉舒适度,进行主观实验得到相应的分数;提取全局视觉舒适度特征和感兴趣区域立体感特征,使用支持向量回归(SVR)方法,经过训练和测试得到舒适度评价模型和立体感评价模型。结果 通过将性能验证实验得到验证场景的主观分数与评价模型给出的结果进行比对,结果表明,运用评价模型得到的预测分数与观众主观分数基本一致,该模型可以对影响视觉效果的视觉舒适度和立体感予以5级量化评分。结论 本文所提出的视觉舒适度和立体感评价方法,能建立影响视觉效果的特征与主观评分间的关系,用得到的模型预测分数给制作人员一个及时直观的调节依据标准。     

Perceived quality measurement of stereoscopic 3D images based on sparse representation and binocular combination

Measurement of the perceived quality of stereoscopic three-dimensional (S3D) images has attracted an increasing amount of research interest in recent years. This paper proposes a S3D image quality measurement (IQM) metric based on sparse representation and binocular combination. The proposed method involves learning binocular and monocular dictionaries from a training database such that the sparse features of binocular combination can be expressed by a linear combination of a few selected basis feature vectors. Following this, scores for the similarity of these sparse features between reference and distorted S3D images are measured. Based on the observation that sparse features are invariant against weak degradations, similarity scores of the features of the gradient magnitude of binocular combination are then computed and used as a complementary feature. Finally, by using kernel-based support vector regression (SVR), these similarity scores are integrated into an overall quality value. Experimental results on three public S3D-IQM datasets show that in comparison with the relevant existing metrics, the devised metric attains significantly high consistency alignment with subjective quality assessment.