面向水下图像的质量评价方法

目的 针对目前水下图像质量评价方法少和现有方法存在局限性等问题,提出一种无参考并且无需手工设计特征的水下图像质量评价方法。方法 提出的水下图像质量评价方法将深度学习网络框架与随机森林回归模型相结合,首先采用深度神经网络提取水下图像的特征;然后使用提取的特征和标定的水下图像质量分数训练回归模型;最终,利用训练好的回归模型预测水下图像的质量。结果 在本文收集的水下图像数据集和水下图像清晰化算法处理结果上评测本文方法,并与多种质量评价方法进行比较,其中包括预测结果与主观质量分数比较、水下图像清晰化结果评测比较、预测结果与主观质量分数相关性比较、鲁棒性比较等。主观实验结果表明本文的评价方法可以相对准确地给出符合人类视觉感知的水下图像质量分数,并且具有更好的鲁棒性。定量实验结果表明本文方法与其他方法相比,预测的图像质量分数与主观分数具有更高的相关性。结论 提出的水下图像质量评价方法无需参考图像,省去了手工设计的特征,充分利用了深度学习网络的学习和表征能力。本文方法的准确性较好,普适性和鲁棒性较高,预测的质量分数与人类视觉感知具有较高的一致性。本方法适用于原始的水下图像和水下图像清晰化算法的处理结果。     

基于视差重映射的立体图像视觉舒适度提升

目的 针对人眼观看立体图像内容可能存在的视觉不舒适性,基于视差对立体图像视觉舒适度的影响,提出了一种结合全局线性和局部非线性视差重映射的立体图像视觉舒适度提升方法。方法 首先,考虑双目融合限制和视觉注意机制,分别结合空间频率和立体显著性因素提取立体图像的全局和局部视差统计特征,并利用支持向量回归构建客观的视觉舒适度预测模型作为控制视差重映射程度的约束;然后,通过构建的预测模型对输入的立体图像的视觉舒适性进行分析,就欠舒适的立体图像设计了一个两阶段的视差重映射策略,分别是视差范围的全局线性重映射和针对提取的潜在欠舒适区域内视差的局部非线性重映射;最后,根据重映射后的视差图绘制得到舒适度提升后的立体图像。结果 在IVY Lab立体图像舒适度测试库上的实验结果表明,相较于相关有代表性的视觉舒适度提升方法对于欠舒适立体图像的处理结果,所提出方法在保持整体场景立体感的同时,能更有效地提升立体图像的视觉舒适度。结论 所提出方法能够根据由不同的立体图像特征构建的视觉舒适度预测模型来自动实施全局线性和局部非线性视差重映射过程,达到既改善立体图像视觉舒适度、又尽量减少视差改变所导致的立体感削弱的目的,从而提升立体图像的整体3维体验。     

用户多维感知的3D图像体验质量评价

目的 符合用户视觉特性的3维图像体验质量评价方法有助于准确、客观地体现用户观看3D图像或视频时的视觉感知体验,从而给优化3维内容提供一定的思路。现有的评价方法仅从图像失真、深度感知和视觉舒适度中的一个维度或两个维度出发对立体图像进行评价,评价结果的准确性有待进一步提升。为了更加全面和准确地评价3D图像的视觉感知体验,提出了一种用户多维感知的3D图像体验质量评价算法。方法 首先对左右图像的差异图像和融合图像提取自然场景统计参数表示失真特征;然后对深度图像提取敏感区域,对敏感区域绘制失真前后深度变换直方图,统计深度变化情况以及利用尺度不变特征变换（SIFT）关键点匹配算法计算匹配点数目,两者共同表示深度感知特征;接下来对视觉显著区域提取视差均值、幅值表示舒适度特征;最后综合考虑图像失真、深度感知和视觉舒适度3个维度特征,将3个维度特征归一化后联合成体验质量特征向量,采用支持向量回归（SVR）训练评价模型,并得到最终的体验质量得分。结果 在LIVE和Waterloo IVC数据库上的实验结果表明,所提出的方法与人们的主观感知的相关性达到了0.942和0.858。结论 该方法充分利用了立体图像的特性,评价结果优于比较的几种经典算法,所构建模型的评价结果与用户的主观体验有更好的一致性。     

利用多核增强学习的立体图像舒适度评价模型

目的 传统的立体视觉舒适度评价模型,在学习阶段一般采用回归算法,且需要大量的包含主观测试数据的训练样本,针对这个问题,提出一种利用多核增强学习分类算法的立体图像舒适度评价模型。方法 首先,考虑人们在实际观测图像时,对于先后观测到的不同图像进行相互比较的情况,将评价模型看成是偏好分类器,构造包含偏好标签的偏好立体图像对（PSIP）,构成PSIP训练集;其次,提取多个视差统计特征和神经学模型响应特征;然后,利用基于AdaBoost的多核学习算法来建立偏好标签与特征之间的关系模型,并分析偏好分类概率（即相对舒适度概率）与最终的视觉舒适度之间的映射关系。结果 在独立立体图像库上,与现有代表性回归算法相比较,本文算法的Pearson线性相关系数（PLCC）在0.84以上,Spearman等级相关系数（SRCC）在0.80以上,均优于其他模型的各评价指标;而在跨库测试中,本文算法的PLCC、SRCC指标均优于传统的支持向量回归算法。结论 相比于传统的回归算法,本文算法具有更好的评价性能,能够更为准确地预测立体图像视觉舒适度。     

视觉注意机制下结合语义特征的行人检测

目的 为研究多场景下的行人检测,提出一种视觉注意机制下基于语义特征的行人检测方法。方法 首先,在初级视觉特征基础上,结合行人肤色的语义特征,通过将自下而上的数据驱动型视觉注意与自上而下的任务驱动型视觉注意有机结合,建立空域静态视觉注意模型;然后,结合运动信息的语义特征,采用运动矢量熵值计算运动显著性,建立时域动态视觉注意模型;在此基础上,以特征权重融合的方式,构建时空域融合的视觉注意模型,由此得到视觉显著图,并通过视觉注意焦点的选择完成行人检测。结果 选用标准库和实拍视频,在Matlab R2012a平台上,进行实验验证。与其他视觉注意模型进行对比仿真,本文方法具有良好的行人检测效果,在实验视频上的行人检测正确率达93%。结论 本文方法在不同的场景下具有良好的鲁棒性能,能够用于提高现有视频监控系统的智能化性能。     

基于Fast R-CNN的车辆目标检测

目的 在传统车辆目标检测问题中,需要针对不同图像场景选择适合的特征。为此提出一种基于快速区域卷积神经网络（Fast R-CNN）的场景图像车辆目标发现方法,避免传统车辆目标检测问题中需要设计手工特征的问题。方法 该方法基于深度学习卷积神经网络思想。首先使用待检测车辆图像定义视觉任务。利用选择性搜索算法获得样本图像的候选区域,将候选区域坐标与视觉任务示例图像一起输入网络学习。示例图像经过深度卷积神经网络中的卷积层,池化层计算,最终得到深度卷积特征。在输入时没有规定示例图像的规格,此时得到的卷积特征规格不定。然后,基于Fast R-CNN网络结构,通过感兴趣区域池化层规格化特征,最后将特征输入不同的全连接分支,并行回归计算特征分类,以及检测框坐标值。经过多次迭代训练,最后得到与指定视觉任务强相关的目标检测模型,具有训练好的权重参数。在新的场景图像中,可以通过该目标检测模型检测给定类型的车辆目标。结果 首先确定视觉任务包含公交车,小汽车两类,背景场景是城市道路。利用与视觉任务强相关的测试样本集对目标检测模型进行测试,实验表明,当测试样本场景与视觉任务相关度越高,且样本中车辆目标的形变越小,得到的车辆目标检测模型对车辆目标检测具有良好的检测效果。结论 本文提出的车辆目标检测方法,利用卷积神经网络提取卷积特征代替传统手工特征提取过程,通过Fast R-CNN对由示例图像组成定义的视觉任务训练得到了效果良好的车辆目标检测模型。该模型可以对与视觉任务强相关新场景图像进行效果良好的车辆目标检测。本文结合深度学习卷积神经网络思想,利用卷积特征替代传统手工特征,避免了传统检测问题中特征选择问题。深层卷积特征具有更好的表达能力。基于Fast R-CNN网络,最终通过多次迭代训练得到车辆检测模型。该检测模型对本文规定的视觉任务有良好的检测效果。本文为解决车辆目标检测问题提供了更加泛化和简洁的解决思路。     

融合视觉感知特性的场景分类算法

目的 目前对于场景分类问题,由于其内部结构的多样性和复杂性,以及光照和拍摄角度的影响,现有算法大多通过单纯提取特征进行建模,并没有考虑场景图像中事物之间的相互关联,因此,仍然不能达到一个理想的分类效果。本文针对场景分类中存在的重点和难点问题,充分考虑人眼的视觉感知特性,利用显著性检测,并结合传统的视觉词袋模型,提出了一种融合视觉感知特性的场景分类算法。方法 首先,对图像进行多尺度分解,并提取各尺度下的图像特征,接着,检测各尺度下图像的视觉显著区域,最后,将显著区域信息与多尺度特征进行有机融合,构成多尺度融合窗选加权SIFT特征（WSSIFT）,对场景进行分类。结果 为了验证本文算法的有效性,该算法在3个标准数据集SE、LS以及IS上进行测试,并与不同方法进行比较,分类准确率提高了约3%~17%。结论 本文提出的融合视觉感知特性的场景分类算法,有效地改善了单纯特征描述的局限性,并提高了图像的整体表达。实验结果表明,该算法对于多个数据集都具有较好的分类效果,适用于场景分析、理解、分类等机器视觉领域。     

雾天条件下偏振解析成像质量评价

目的 偏振成像产生的偏振参量图像具有一定的揭示雾天目标相关特性的优势,目前尚无适当的量化评估手段,由于偏振参量图像均由原方向图解析产生,针对解析类图像的质量评价问题利用现有方法无法有效解决,为此,提出一种用于雾天条件下偏振成像质量评价的方法,旨在给出不同雾天条件下偏振参量图像质量及其变化对比情况。方法 从图像质量分析角度验证雾天目标特性表征与主观观测一致性关系。在分析全偏振参量解析过程及雾天对图像质量的影响基础上,提取了与“解析失真”敏感的特征因子：基于空域的自然场景统计特征和图像的结构性特征,同时引入相应Stokes参量形成了偏振解析参量特征,依据马氏距离构建了统一的评价模型。结果 分别选取室内模拟雾天环境成像样本、仿真生成的雾天样本、室外实拍雾天成像样本3类样本。采用3个参数：1）非线性回归后的算法测试分数与DMOS（平均主观评份差值）间的线性相关系数（CC）;2）非线性回归后的算法测试分数与DMOS间;的均方根误差（RMSE）3）斯皮尔曼相关系数（SROCC）。开展了有效性实验及主客观一致性实验。采用本文算法评价的入射光强（I）图CC值和RMS值分别为0.930 2和4.593 2,偏振度（P）图的CC值和RMS值分别为0.877 1和0.995 0,算法准确度高。入射光强（I）图的SROCC值为0.939 0,P图的SROCC值为0.786 1,算法的客观分数与主观分数相一致。算法对不同雾天条件下的偏振解析参量图像的质量演变关系辨识性好,客观评价结果符合主观理论分析。结论 本文针对偏振参量图像提出的综合质量评价模型通过提取特征因子及Stokes参量形成的评价算法能够准确地评价参量图像中的I图和P图,算法准确度高、主客观一致性好,能够反映偏振参量图像的质量及相关关系,较好地解决了雾天条件下偏振成像质量评价问题。     

平行视觉的基本框架与关键算法

目的 随着计算机与人工智能的快速发展,视觉感知技术突飞猛进。然而,以深度学习为主的视觉感知方法依赖于大规模多样性的数据集,因此,本文提出了基于平行学习的视觉分析框架——平行视觉,它通过大量精细标注的人工图像来给视觉算法补充足够的图像数据,从而将计算机变成计算智能的“实验室”。方法 首先人工图像系统模拟实际图像中可能出现的成像条件,利用系统内部参数自动得到标注信息,获取符合要求的人工图像数据;然后使用预测学习设计视觉感知模型,利用计算实验方法在人工图像系统生成的大量图像数据上进行各种实验,方便地研究复杂环境条件等困难场景对视觉感知模型的影响,使一些实际中的不可控因素转变为可控因素,增加视觉模型的可解释性;最后通过指示学习反馈优化模型参数,利用视觉感知模型在实际场景下存在的困难来指导其在人工场景的训练,以实际与人工虚实互动的方式,在线学习和优化视觉感知模型。由于已经有大量研究人员致力于构建人工场景并生成大量虚拟图像,因此本文采用已构建的这些人工场景图像,并对实际场景图像进行翻转、裁剪、缩放等数据扩充,然后以计算实验和预测学习为重点,开展了相关的应用实例研究。结果 在SYNTHIA（synthetic collection of imagery and annotations）,Virtual KITTI（Karlsruhe Institute of Technology and Toyota Technological Institute）和VIPER（visual perception benchmark）数据集上进行的大量实验表明,本文方法能够有效地克服数据集分布差异对模型泛化能力的影响,性能优于同期最好的方法,比如在SYNTHIA数据集上检测和分割性能分别提升了3.8%和2.7%。结论 平行视觉是视觉计算领域的一个重要研究方向,通过与深度学习的结合,将推动越来越多的智能视觉系统发展成熟并走向应用。     

交互式遗传的3维场景扩展

目的 实现良好的用户体验是3维游戏场景设计的重要目的之一。目前3维场景设计通常多由美术设计师进行创作而非建筑设计及景观规划领域人员,场景空间组织方式没有充分考虑到用户体验,同时由于大型3维场景的制作周期过长,设计效率普遍较低。上述现象直接导致游戏用户在3维游戏场景中交互的体验感较差,但是该问题一直以来没有较好的方法予以解决,也没有引起相关领域研究者的重视。本文提出一种基于交互式遗传的多手段协同操作方法,其目的为实现更加高效、合理的批量生成大型场景单元,并改善空间组织方式,以获得良好的游戏用户体验感。方法 本文方法主要通过特征聚类、蚁群算法空间布局优化及交互式遗传算法评价的方式来解决交互性差的问题。通过自学习方式进行场景建筑布局及立面层次进行特征聚类,并通过基于包围盒的蚁群优化算法进行场景组织的布局优化,最后结合交互式遗传算法引入用户评价来获得特征适应值评估从而得到新扩展的场景,该方法实现了重构场景的良好用户体验性及空间组织方式的合理性。结果 对小型场景进行扩展和对单体建筑的布局进行重构,该方法所得到的新的场景具有良好的空间组织结构,基于用户评价通过交互式遗传算法以用户喜好的评价驱动进化,扩展后的场景反映了真实用户的主观感受并取得较为令人满意的效果,提高了用户体验的友好性。结论 提出一种基于交互式遗传算法的场景重构方法,通过选择特定场景样本进行算法的实现,结果表明该方法具有可行性,并实现了较好的效果。本文方法对于游戏场景设计、文物古迹复原及系统仿真领域具有现实意义和研究价值。     

Leveraging visual attention and neural activity for stereoscopic 3D visual comfort assessment

Visual comfort assessment (VCA) for stereoscopic three-dimensional (S3D) images is a challenging problem in the community of 3D quality of experience (3D-QoE). The goal of VCA is to automatically predict the degree of perceived visual discomfort in line with subjective judgment. The challenges of VCA typically lie in the following two aspects: 1) formulating effective visual comfort-aware features, and 2) finding an appropriate way to pool them into an overall visual comfort score. In this paper, a novel two-stage framework is proposed to address these problems. In the first stage, primary predictive feature (PPF) and advanced predictive feature (APF) are separately extracted and then integrated to reflect the perceived visual discomfort for 3D viewing. Specifically, we compute the S3D visual attention-weighted disparity statistics and neural activities of the middle temporal (MT) area in human brain to construct the PPF and APF, respectively. Followed by the first stage, the integrated visual comfort-aware features are fused with a single visual comfort score by using random forest (RF) regression, mapping from a high-dimensional feature space into a low-dimensional quality (visual comfort) space. Comparison results with five state-of-the-art relevant models on a standard benchmark database confirm the superior performance of our proposed method.     

结合立体视觉舒适度的立体图像显著性检测

针对先前的立体图像显著性检测模型未充分考虑立体视觉舒适度和视差图分布特征对显著区域检测的影响,提出了一种结合立体视觉舒适度因子的显著性计算模型.该模型在彩色图像显著性提取中,首先利用SLIC算法对输入图像进行超像素分割,随后进行颜色相似区域合并后再进行二维图像显著性计算;在深度显著性计算中,首先对视差图进行预处理;然后基于区域对比度进行显著性计算;最后,结合立体视觉舒适度因子对二维显著图和深度显著图进行融合,得到立体图像显著图.在不同类型立体图像上的实验结果表明,该模型获得了85%的准确率和78%的召回率,优于现有常用的显著性检测模型,并与人眼立体视觉注意力机制保持良好的一致性.     

时空联合视差优化的立体视频重定向

目的智能适配显示的图像/视频重定向技术近年受到广泛关注。与图像重定向以及2D视频重定向相比,3D视频重定向需要同时考虑视差保持和时域保持。现有的3D视频重定向方法虽然考虑了视差保持却忽略了对视差舒适度的调整,针对因视差过大和视差突变造成视觉不舒适度这一问题,提出了一种基于时空联合视差优化的立体视频重定向方法,将视频视差范围控制在舒适区间。方法在原始视频上建立均匀网格,并提取显著信息和视差,进而得到每个网格的平均显著值;根据相似性变化原理构建形状保持能量项,利用目标轨迹以及原始视频的视差变化构建时域保持能量项,并结合人眼辐辏调节原理构建视差舒适度调整能量项;结合各个网格的显著性,联合求解所有能量项得到优化后的网格顶点坐标,将其用于确定网格形变,从而生成指定宽高比的视频。结果实验结果表明,与基于细缝裁剪的立体视频重定向方法对比,本文方法在形状保持、时域保持及视差舒适度方面均具有更好的性能。另外,使用现有的客观质量评价方法对重定向结果进行评价,本文方法客观质量评价指标性能优于均匀缩放和细缝裁剪的视频重定向方法,时间复杂度较低,每帧的时间复杂度至少比细缝裁剪方法降低了98%。结论提出的时空联合...     

3D visual comfort assessment by measuring the vertical disparity tolerance

Misalignment in stereo images leads to 3D discomfort, but the visual tolerance for disparities varies with viewing environment and stimulus. The aim of the study was twofold: first, to assess if vertical disparity tolerance (VDT) could be a reliable indicator of 3D visual comfort under certain restrained condition when vertical disparity is induced; second, to be able to predict how viewing conditions can affect visual comfort using an analytical model. Two viewing condition parameters were considered: luminance and stimulus angular size. The study was carried out in two experiments involving 17 subjects. In Experiment 1, visual comfort and vertical disparity tolerance were measured by a series of psychophysical tests for different stimulus angular sizes and luminance. Based on a regression analysis of this data, a model was proposed to estimate VDT as a function of luminance and stimulus angular size. In Experiment 2, a validation test was carried out to assess the quality of the model. Results confirm that for given viewing conditions (luminance, angular size, induced vertical disparity), the visual comfort measured is in agreement with the one predicted (ρ = 1.0008, p = 0.0026). VDT is a recognized reliable indicator of visual comfort due to vertical disparity and the model can be used to predict visual comfort for given viewing conditions.     

Visual comfort enhancement in stereoscopic 3D images using saliency-adaptive nonlinear disparity mapping

Perceptually salient regions have a significant effect on visual comfort in stereoscopic 3D (S3D) images. The conventional method of obtaining saliency maps is linear combination, which often weakens the saliency influence and distorts the original disparity range significantly. In this paper, we propose visual comfort enhancement in S3D images using saliency-adaptive nonlinear disparity mapping. First, we obtain saliency-adaptive disparity maps with visual sensitivity to maintain the disparity-based saliency influence. Then, we perform nonlinear disparity mapping based on a sigmoid function to minimize disparity distortions. Finally, we generate visually comfortable S3D images based on depth-image-based-rendering (DIBR). Experimental results demonstrate that the proposed method successfully improves visual comfort in S3D images by producing comfortable S3D images with high mean opinion score (MOS) while keeping the overall viewing image quality.     

三维重定向图像主观和客观质量评价方法

三维（S3D）图像重定向技术的作用是调整S3D图像的宽高比。为准确和客观地衡量三维重定向图像的视觉质量，建立了一个S3D重定向图像质量评价数据库。首先，使用八种具有代表性的三维重定向算法对45幅原始图像按两种重定向尺度进行分辨率调整，共生成720幅三维重定向图像；然后，每幅重定向图像通过主观测试，得到相应的主观打分值；最后，对主观分数进行处理，得到平均主观意见分（MOS）值。在此基础上，提出一种三维重定向图像客观质量评价方法，即通过提取S3D重定向图像的深度感特征、视觉舒适度特征和左右视点的图像质量特征，使用支持向量回归预测得到S3D重定向图像的视觉质量。在提出的数据库上进行测试可以得知，所提方法的Pearson线性相关系数高于0.82，Spearman等级系数高于0.81，表明其能有效预测S3D重定向图像的视觉质量。