结合立体视觉舒适度的立体图像显著性检测

针对先前的立体图像显著性检测模型未充分考虑立体视觉舒适度和视差图分布特征对显著区域检测的影响,提出了一种结合立体视觉舒适度因子的显著性计算模型.该模型在彩色图像显著性提取中,首先利用SLIC算法对输入图像进行超像素分割,随后进行颜色相似区域合并后再进行二维图像显著性计算;在深度显著性计算中,首先对视差图进行预处理;然后基于区域对比度进行显著性计算;最后,结合立体视觉舒适度因子对二维显著图和深度显著图进行融合,得到立体图像显著图.在不同类型立体图像上的实验结果表明,该模型获得了85%的准确率和78%的召回率,优于现有常用的显著性检测模型,并与人眼立体视觉注意力机制保持良好的一致性.     

Simultaneous measurement of lens accommodation and convergence in natural and artificial 3D vision

Recent advances in 3D technology have been accompanied by increasing complaints of visual fatigue. The usual explanation for such fatigue is that accommodation and convergence are mismatched during stereoscopic vision. The aim of this study was to measure fixation distances between lens accommodation and convergence in young subjects while they viewed real objects and 3D video clips. Measurements were made using an original instrument. The 3D video clips were presented to subjects using a liquid crystal shutter glass system. The results showed that when viewing real objects, the diopter values of subjects' accommodation and convergence were similar and changed periodically. This measurement method was thus considered to be appropriate for the measurement of stereoscopic vision. We also investigated lens accommodation and convergence when subjects viewed 3D video clips. Both accommodation and convergence were found to move along with the virtual position of 3D video clips. Therefore, there was little discrepancy between accommodation and convergence during the viewing of 3D images.     

基于感知视觉重要性的立体图像质量评价

视觉心理、生理因素是有效、准确评价图像质量的重要依据.尽管在计算层面已有众多视觉心理、生理计算模型及方法为其提供支持,但在图像质量评价任务中如何分析各种孤立方法之间的内在关系进而使之有效协同,是使得评价结果更符合人主观评测的关键.从图像质量评价的角度出发,功能上将人眼的视觉注意区域定义并数学形式化为视觉初期注意区域与视觉转移期的劣质区域;同时考虑人眼的感知冗余特性,结合JND感知冗余模型,进而提出了图像质量评价范畴下的视觉感知模型PVSSIM.以此为依据,将感知视觉的方法在二维图像数据库中验证其可行性,并将其引入到立体图像质量评价中.实验结果表明,提出的客观评价方法与传统方法相比,充分考虑到了图像质量评价任务中各种视觉心理、生理因素的协同,与人主观的图像质量评价相比具有更高的相关度,评价方法在立体图像库中能很好地与主观评价相吻合,达到了预期的效果.     

Evaluation of stereoscopic picture quality with CFF

The method of binocular stereoscopic imaging has attracted attention as a simple and technically feasible means of three-dimensional (3-D) display. It has been said, however, that the binocular picture system is more fatiguing to view than a conventional two-dimensional picture, such as the current television picture. The main objective of this paper is to evaluate quantitatively fatigue caused by binocular stereoscopic picture viewing, to clarify the basic characteristics of this type of picture. Various measurement methods of fatigue have been proposed, and that using the critical flicker frequency (CFF) has found wide use in measurement of mental fatigue and is easy to make. Actual measurement in this study used the CFF value obtained in a descending series of the method of limits, normalized to the value at the start of measurement for each observer, and the CFFs of all observers then averaged. It was found that the measurements produced stable and highly accurate results. CFFs of the observers of a current television picture and a binocular stereoscopic television picture were measured. It was found that the conventional television did not cause a statistically significant decrease in CFF—even over 1?h of viewing—but that the stereoscopic television did cause a significant CFF decrease within 30?min. It was also found that the CFF decreases are related to a subjective feeling of fatigue. From these results, it was concluded that CFF is an effective measure for objectively measuring the fatigue of television observers, including observers of binocular stereoscopic television. Also, the binocular stereoscopic television produced higher fatigue in observers than did the conventional television picture, but it was found that with respect to CFF viewing of around 30?min was allowable.     

Minimum required angular resolution of smartphone displays for the human visual system

There has been a rapid increase in the resolution of small‐sized and medium‐sized displays. This study determines an upper discernible limit for display resolution. A range of resolutions varying from 254–1016 PPI were evaluated using simulated display by 49 subjects at 300 mm viewing distance. The results of the study conclusively show that users can discriminate between 339 and 508 PPI and in many cases between 508 and 1016 PPI.     

利用多核增强学习的立体图像舒适度评价模型

目的 传统的立体视觉舒适度评价模型,在学习阶段一般采用回归算法,且需要大量的包含主观测试数据的训练样本,针对这个问题,提出一种利用多核增强学习分类算法的立体图像舒适度评价模型。方法 首先,考虑人们在实际观测图像时,对于先后观测到的不同图像进行相互比较的情况,将评价模型看成是偏好分类器,构造包含偏好标签的偏好立体图像对（PSIP）,构成PSIP训练集;其次,提取多个视差统计特征和神经学模型响应特征;然后,利用基于AdaBoost的多核学习算法来建立偏好标签与特征之间的关系模型,并分析偏好分类概率（即相对舒适度概率）与最终的视觉舒适度之间的映射关系。结果 在独立立体图像库上,与现有代表性回归算法相比较,本文算法的Pearson线性相关系数（PLCC）在0.84以上,Spearman等级相关系数（SRCC）在0.80以上,均优于其他模型的各评价指标;而在跨库测试中,本文算法的PLCC、SRCC指标均优于传统的支持向量回归算法。结论 相比于传统的回归算法,本文算法具有更好的评价性能,能够更为准确地预测立体图像视觉舒适度。     

基于空域自然场景统计的无参考立体图像质量评价模型

针对现有的评价方法大都将图像变换到不同的坐标域问题,提出一种基于空域自然场景统计(NSS)的通用型无参考立体图像质量评价模型。在评价中为了更好地结合人类双目视觉特性, 将左右图像融合成一幅独眼图;评价模型首先统计独眼图归一化亮度(CMSCN)系数分布规律,进而对独眼图提取空域自然场景统计特征;其次,统计视差图归一化亮度(DMSCN)系数的分布规律,并对用光流法得到的视差图提取同样的特征;最后,通过支持向量回归(SVR)建立立体图像特征信息与主观评价值(DMOS)之间的关系,从而预测得到图像质量的客观评价值。实验结果表明,该评价模型对立体数据测试库进行评价,其Pearson线性相关系数(PLCC)和Spearman等级相关系数(SROCC)值均在0.94以上;对于非对称立体图像库,PLCC和SROCC值分别接近0.91和0.93。该模型能够很好地预测人眼对立体图像的主观感知。     

FY-1延时云图校正算法及实现

提出一种星上实时处理延时云图资料的算法,运用于ＦＹ－１（０２）气象卫星遥感系统全球延时云图（ＧＤＰＴ）处理机。通过该算法对地球信息分区变速率采样,能够校正由于地球曲面而引起的图像几何畸变,在遥感系统扫描辐射计ＧＤＰＴ处理机采用微处理器和嵌入式软件结合实现了该算法。实验结果表明,在３６０ｒｐｍ的光机扫描速率下,ＧＤＰＴ处理机在整个被测目标扫描视场内地面分辨率平坦起伏≤５％,均值＜３．１ｋｍ。     

一种基于视觉特性的图像摘要算法

为了使图像摘要具有更高的鲁棒性。提出了一种基于视觉特性的图像摘要算法,该算法通过增大人眼敏感的频域系数在计算图像Hash时的权重以使得图像Hash更好地体现视觉特征,并提高鲁棒性。算法首先将原始图像的分块DCT系数乘以若干由密钥控制生成的伪随机矩阵,再对计算的结果进行基于分块的Watson人眼视觉特性处理,最后进行量化判决以产生固定长度的图像Hash序列。实验结果表明,该算法与末采用视觉特性的算法相比,高了对JPEG压缩和高斯漩波的鲁棒性、图像摘要序列由密钥控制生成,因而具有安全性。     

三维重定向图像主观和客观质量评价方法

三维(S3D)图像重定向技术的作用是调整S3D图像的宽高比。为准确和客观地衡量三维重定向图像的视觉质量,建立了一个S3D重定向图像质量评价数据库。首先,使用八种具有代表性的三维重定向算法对45幅原始图像按两种重定向尺度进行分辨率调整,共生成720幅三维重定向图像;然后,每幅重定向图像通过主观测试,得到相应的主观打分值;最后,对主观分数进行处理,得到平均主观意见分(MOS)值。在此基础上,提出一种三维重定向图像客观质量评价方法,即通过提取S3D重定向图像的深度感特征、视觉舒适度特征和左右视点的图像质量特征,使用支持向量回归预测得到S3D重定向图像的视觉质量。在提出的数据库上进行测试可以得知,所提方法的Pearson线性相关系数高于0.82,Spearman等级系数高于0.81,表明其能有效预测S3D重定向图像的视觉质量。     

基于主题模型的高分辨率遥感影像变化检测

提出一种基于主题模型的高分辨率遥感影像变化检测方法。将前后两期遥感影像对应的像素点对作为基本单位,提取其邻域亮度相关度、均值、标准差以及邻域回归直线的斜率、截距等低层次特征,在此基础上映射得到像素点对的高层次视觉单词特征,并通过潜在狄利克雷分配模型进行分析,挖掘其潜在的主题信息,即变化与不变,从而实现变化检测。实验结果表明,该方法能够有效检测高分辨率遥感影像的变化。     

基于视差重映射的立体图像视觉舒适度提升

目的 针对人眼观看立体图像内容可能存在的视觉不舒适性,基于视差对立体图像视觉舒适度的影响,提出了一种结合全局线性和局部非线性视差重映射的立体图像视觉舒适度提升方法。方法 首先,考虑双目融合限制和视觉注意机制,分别结合空间频率和立体显著性因素提取立体图像的全局和局部视差统计特征,并利用支持向量回归构建客观的视觉舒适度预测模型作为控制视差重映射程度的约束;然后,通过构建的预测模型对输入的立体图像的视觉舒适性进行分析,就欠舒适的立体图像设计了一个两阶段的视差重映射策略,分别是视差范围的全局线性重映射和针对提取的潜在欠舒适区域内视差的局部非线性重映射;最后,根据重映射后的视差图绘制得到舒适度提升后的立体图像。结果 在IVY Lab立体图像舒适度测试库上的实验结果表明,相较于相关有代表性的视觉舒适度提升方法对于欠舒适立体图像的处理结果,所提出方法在保持整体场景立体感的同时,能更有效地提升立体图像的视觉舒适度。结论 所提出方法能够根据由不同的立体图像特征构建的视觉舒适度预测模型来自动实施全局线性和局部非线性视差重映射过程,达到既改善立体图像视觉舒适度、又尽量减少视差改变所导致的立体感削弱的目的,从而提升立体图像的整体3维体验。     

粒子群优化在图像最小误差阈值化中的应用

提出了一种基于粒子群优化（PSO）的图像最小误差阈值化方法。将粒子群优化算法应用于图像最小误差阈值化中,克服了常规最小误差阈值化计算量大的缺点。实验证明该算法能有效降低常规图像最小误差阈值化的计算量,与遗传算法相比,该方法有更好的收敛性和稳定性。     

考虑双目竞争视觉现象的非对称失真立体图像质量评价方法

目的 现有方法存在特征提取时间过长、非对称失真图像预测准确性不高的问题,同时少有工作对非对称失真与对称失真立体图像的分类进行研究,为此提出了基于双目竞争的非对称失真立体图像质量评价方法。方法 依据双目竞争的视觉现象,利用非对称失真立体图像两个视点的图像质量衰减程度的不同,生成单目图像特征的融合系数,融合从左右视点图像中提取的灰度空间特征与HSV （hue-saturation-value）彩色空间特征。同时,量化两个视点图像在结构、信息量和质量衰减程度等多方面的差异,获得双目差异特征。并且将双目融合特征与双目差异特征级联为一个描述能力更强的立体图像质量感知特征向量,训练基于支持向量回归的特征—质量映射模型。此外,还利用双目差异特征训练基于支持向量分类模型的对称失真与非对称失真立体图像分类模型。结果 本文提出的质量预测模型在4个数据库上的SROCC （Spearman rank order correlation coefficient）和PLCC （Pearson linear correlation coefficient）均达到0.95以上,在3个非对称失真数据库上的均方根误差（root of mean square error,RMSE）取值均优于对比算法。在LIVE-II（LIVE 3D image quality database phase II）、IVC-I（Waterloo-IVC 3D image qualityassessment database phase I）和IVC-II （Waterloo-IVC 3D image quality assessment database phase II）这3个非对称失真立体图像测试数据库上的失真类型分类测试中,对称失真立体图像的分类准确率分别为89.91%、94.76%和98.97%,非对称失真立体图像的分类准确率分别为95.46%,92.64%和96.22%。结论 本文方法依据双目竞争的视觉现象融合左右视点图像的质量感知特征用于立体图像质量预测,能够提升非对称失真立体图像的评价准确性和鲁棒性。所提取双目差异性特征还能够用于将对称失真与非对称失真立体图像进行有效分类,分类准确性高。     

无参考图像质量评价研究进展

图像质量评价一直是图像处理和计算机视觉领域的一个基础问题,图像质量评价模型也广泛应用于图像/视频编码、超分辨率重建和图像/视频视觉质量增强等相关领域。图像质量评价主要包括全参考图像质量评价、半参考图像质量评价和无参考图像质量评价。全参考图像质量评价和半参考图像质量评价分别指预测图像质量时参考信息完全可用和部分可用,而无参考图像质量评价是指预测图像质量时参考信息不可用。虽然全参考和半参考图像质量评价模型较为可靠,但在计算过程中必须依赖参考信息,使得应用场景极为受限。无参考图像质量评价模型因不需要依赖参考信息而有较强的适用性,一直都是图像质量评价领域研究的热点。本文主要概述2012—2020年国内外公开发表的无参考图像质量评价模型,根据模型训练过程中是否需要用到主观分数,将无参考图像质量评价模型分为有监督学习和无监督学习的无参考图像质量评价模型。同时,每类模型分成基于传统机器学习算法的模型和基于深度学习算法的模型。对基于传统机器学习算法的模型,重点介绍相应的特征提取策略及思想;对基于深度学习算法的模型,重点介绍设计思路。此外,本文介绍了图像质量评价在新媒体数据中的研究工作及图像质量评价的应用。最后对介绍的无参考图像质量评价模型进行总结,并指出未来可能的发展方向。     

一种新的彩色图像增强方法

根据人眼视觉感知色彩的特性,提出了在HIS色彩空间上的一种基于脉冲耦合神经网络的彩色图像增强算法。该算法能够在平滑图像、突出图像边缘的同时,通过对亮度强度分量的非线性对数拉伸和对饱和度分量的非线性指数调整,改善了图像的视觉效果和图像色彩的真实效果。     

基于Gestalt视觉心理学和最小F-范数的图像显著区域检测和分割

摘 要：根据Gestalt视觉心理学说,提出了一种新的图像显著区域检测方法。首先,通过不同程度降低双对立颜色或亮度的特征图像对比度来抑制图像中次要特征对应的区域,增强主要特征对应的显著性区域;其次,通过矩阵的最小F-范数确定符合Gestalt视觉心理学的特征图像的合成方案,并利用Gestalt视觉心理学的核心理论来检验和自适应修改组合方案,得到最佳的显著图;最后利用Otsu法对显著图像进行二值化操作来完成图像的分割。实验结果表明,本文算法可以从复杂的自然彩色图像中较为完整地提取并分割显著目标,实验结果与MSRA数据库手工分割结果相一致,在满足实时性需求的基础上能比传统方法更加准确、完整地提取图像的显著性区域。