基于视差重映射的立体图像视觉舒适度提升

目的 针对人眼观看立体图像内容可能存在的视觉不舒适性,基于视差对立体图像视觉舒适度的影响,提出了一种结合全局线性和局部非线性视差重映射的立体图像视觉舒适度提升方法。方法 首先,考虑双目融合限制和视觉注意机制,分别结合空间频率和立体显著性因素提取立体图像的全局和局部视差统计特征,并利用支持向量回归构建客观的视觉舒适度预测模型作为控制视差重映射程度的约束;然后,通过构建的预测模型对输入的立体图像的视觉舒适性进行分析,就欠舒适的立体图像设计了一个两阶段的视差重映射策略,分别是视差范围的全局线性重映射和针对提取的潜在欠舒适区域内视差的局部非线性重映射;最后,根据重映射后的视差图绘制得到舒适度提升后的立体图像。结果 在IVY Lab立体图像舒适度测试库上的实验结果表明,相较于相关有代表性的视觉舒适度提升方法对于欠舒适立体图像的处理结果,所提出方法在保持整体场景立体感的同时,能更有效地提升立体图像的视觉舒适度。结论 所提出方法能够根据由不同的立体图像特征构建的视觉舒适度预测模型来自动实施全局线性和局部非线性视差重映射过程,达到既改善立体图像视觉舒适度、又尽量减少视差改变所导致的立体感削弱的目的,从而提升立体图像的整体3维体验。     

实时立体视觉系统中的深度映射

目的 为减少立体图像中由于水平视差过大引起的视觉疲劳。针对实时渲染的立体视觉系统,给出了一种非均匀深度压缩方法。方法 该方法在单一相机空间内,通过不同的投影变换矩阵生成双眼图像,水平视差由投影变换来控制。为减少深度压缩造成的模型变形而带来的瑕疵,将不同深度区域内物体施以不同的压缩比例;将相机轴距表示为深度的连续函数,通过相机轴距推导出在单一相机空间内获取双眼图像的坐标变换,将深度压缩转换为模型的坐标变换,从而保证压缩比例的连续变化。结果 实验结果表明,该方法能有效提高立体图像的质量。结论 该方法简单、高效,可应用于游戏、虚拟现实等实时立体视觉系统。     

基于弹簧变形模型的图像缩放方法

目的 随着显示设备分辨率和纵横比的多样化,内容感知图像缩放技术逐渐成为图像处理领域新的研究热点之一,为了既能实现图像有效缩放,又能较好保持图像主体区域的几何结构完整,提出一种基于弹簧近似的内容感知图像缩放方法。方法 首先,为控制图像缩放,对输入图像进行显著性检测和特征直线检测;其次,在图像上构建一个平面三角网格,视三角网格的每一条边为一根弹簧,则整个三角网格构成一个弹簧系统,可利用该弹簧系统的变形实现图像缩放,其中,根据每根弹簧所在图像区域的显著度设置弹簧的弹性系数,该系数可在缩放时有效保持图像的主体区域,避免主体内容缩放不均匀或变形;然后,以图像直线特征保持为约束,构造用于约束弹簧系统变形的目标函数;最后,利用纹理贴图技术把弹簧系统每个三角形对应的图像贴回弹簧系统,得到缩放后的目标图像。结果 为证明本文方法的有效性,对大量图像进行多比例缩放测试,并与现有方法进行比较。在同比例缩放下,本文方法可以更好地保持图像中的主体区域,以及特征直线,使放缩后的图像整体具有更好的视觉效果。本文方法的计算时间小于0.19 s,时间成本与现有方法大致相同。结论 基于弹簧系统的内容感知图像缩放方法,通过弹簧系统变形带动网格变形进而实现图像缩放,与现有的内容感知图像缩放方法相比,本文方法所处理的图像视觉效果更好,实验结果表明,本文方法能够更有效、快速地处理各种图像的内容感知缩放。     

环境感知的立体树木图像融合

图像融合技术是图像处理领域的研究热点之一,旨在实现源图像中获取的特定对象与目标背景之间的无缝融合.树木图像在三维场景中的显示效果常对三维场景的沉浸感产生影响.为了对三维树木图像构建的立体显示效果进行提升,本文提出了一种环境感知的立体树木融合方法.该方法首先采用模板匹配的方法获取树木对象多层次的视差图,并在融合时,依据树木对象融合到目标图像中的位置,调整融合后的视差图;然后,通过感知目标图像的颜色及光照调整树木对象的颜色;最后,通过深度计算对融合中出现的物体遮挡问题进行解决.融合结果表明本文方法可以很好地处理遮挡关系,并且构建出的立体树木具有多层次感,融合效果自然.     

利用多核增强学习的立体图像舒适度评价模型

目的 传统的立体视觉舒适度评价模型,在学习阶段一般采用回归算法,且需要大量的包含主观测试数据的训练样本,针对这个问题,提出一种利用多核增强学习分类算法的立体图像舒适度评价模型。方法 首先,考虑人们在实际观测图像时,对于先后观测到的不同图像进行相互比较的情况,将评价模型看成是偏好分类器,构造包含偏好标签的偏好立体图像对（PSIP）,构成PSIP训练集;其次,提取多个视差统计特征和神经学模型响应特征;然后,利用基于AdaBoost的多核学习算法来建立偏好标签与特征之间的关系模型,并分析偏好分类概率（即相对舒适度概率）与最终的视觉舒适度之间的映射关系。结果 在独立立体图像库上,与现有代表性回归算法相比较,本文算法的Pearson线性相关系数（PLCC）在0.84以上,Spearman等级相关系数（SRCC）在0.80以上,均优于其他模型的各评价指标;而在跨库测试中,本文算法的PLCC、SRCC指标均优于传统的支持向量回归算法。结论 相比于传统的回归算法,本文算法具有更好的评价性能,能够更为准确地预测立体图像视觉舒适度。     

重要区域保持的图像缩放质量评价方法

目的 图像缩放质量评价是评估图像非等比例缩放优劣的依据,现有主流评价方法不能客观有效地给出定量评价结果,为此提出一种基于重要区域保持的图像非等比例缩放评价方法。方法 首先,结合视觉显著度、图像边缘和超像素分割构造重要区域识别算法;然后,设计描述图像缩放前后重要区域大小和内容保持的面积变化函数和成分变化函数;最后混合两种函数提出缩放质量评价函数。结果 在RetargetMe提供的标准测试集上对本文方法进行实验验证,计算缩放质量值以评价不同缩放方法的优劣,并利用肯德尔系数度量本文方法的评价结果与主观评价的一致性,本文方法的平均肯德尔系数比当前主流客观方法高0.5%~11%。结论 与现有主流客观评价方法相比,本文方法所得到的肯德尔系数值更大,证明该方法能够更准确有效、快速、定量地评价各类图像非等比例缩放结果。     

树木结构层次细化的立体树木图像构建

目的 2维转3维技术可以将现有的丰富2维图像资源快速有效地转为立体图像,但是现有方法只能对树木的整体进行深度估计,所生成的图像无法表现出树木的立体结构。为此,提出一种树木结构层次细化的立体树木图像构建方法。方法 首先利用Lab颜色模型下的像素色差区别将2维树木图像的树干区域和树冠区域分割开来,并对树冠区域进行再分割;然后,在深度梯度假设思想基础上建立多种类型的深度模板,结合深度模板和树冠的区域信息为典型树木对象构建初始深度图,并通过基础深度梯度图组合的方式为非典型树木进行个性化深度构建;最后,根据应用场景对树木深度信息进行自适应调整与优化,将树木图像合成到背景图像中,并构建立体图像。结果 对5组不同的树木图像及背景图像进行了立体树木图像的构建与合成。结果表明,不同形态的树木图像都能生成具有层次感的深度图并自适应地合成到立体背景图像中,构建树木图像深度图的时间与原始树木图像的尺寸成正比,而构建立体树木图像并合成到背景中所需时间在24 s之间。对立体图像质量的主观评价测试中,这些图像的评分均达到良好级别以上,部分立体图像达到了优秀级别。结论 该方法充分利用了树木的形态结构特征,能同时适用于典型和非典型树木,所构建的立体树木图像质量较高,具有丰富的层次感,并具有舒适的立体观看效果。     

时空联合视差优化的立体视频重定向

目的智能适配显示的图像/视频重定向技术近年受到广泛关注。与图像重定向以及2D视频重定向相比,3D视频重定向需要同时考虑视差保持和时域保持。现有的3D视频重定向方法虽然考虑了视差保持却忽略了对视差舒适度的调整,针对因视差过大和视差突变造成视觉不舒适度这一问题,提出了一种基于时空联合视差优化的立体视频重定向方法,将视频视差范围控制在舒适区间。方法在原始视频上建立均匀网格,并提取显著信息和视差,进而得到每个网格的平均显著值;根据相似性变化原理构建形状保持能量项,利用目标轨迹以及原始视频的视差变化构建时域保持能量项,并结合人眼辐辏调节原理构建视差舒适度调整能量项;结合各个网格的显著性,联合求解所有能量项得到优化后的网格顶点坐标,将其用于确定网格形变,从而生成指定宽高比的视频。结果实验结果表明,与基于细缝裁剪的立体视频重定向方法对比,本文方法在形状保持、时域保持及视差舒适度方面均具有更好的性能。另外,使用现有的客观质量评价方法对重定向结果进行评价,本文方法客观质量评价指标性能优于均匀缩放和细缝裁剪的视频重定向方法,时间复杂度较低,每帧的时间复杂度至少比细缝裁剪方法降低了98%。结论提出的时空联合...     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

基于Delaunay三角形网格的立体图像编码算法

传统的立体图像编码方法多采用基于块的视差补偿算法，但这种算法不能更为准确地估计视差矢量，在低码率时重建图像的块效应比较严重．提出了一种新的基于Delaunay三角形网格的立体图像编码算法，该算法首先对参考图像进行自适应的三角形网格剖分，然后对三角形顶点在目标图像中进行视差矢量估计．利用三角形模型和6参数仿射变换计算三角形内部各点的视差矢量，并产生残差图像．结合实验统计对文中算法产生的残差图像进行了分析，采用嵌入式DCT算法编码残差图像．从实验结果看，文中算法视差矢量估计的准确性较传统算法提高了10％左右．在相近比特率下，平均PSNR大约提高1dB．     

多核学习纹理特征的立体图像质量评价

为了有效地评价各种失真类型双目立体图像的质量,提出利用多核学习机学习立体图像平面纹理信息和3D映射信息的通用无参考立体图像质量评价IQA方法。该方法首先利用立体匹配模型对左右视图进行处理,获得相应的视差图DM和误差能量图DMEE;对左右视图、视差图和误差能量图进行相位一致性和结构张量变换,获得它们的平坦区和边缘区;分别提取左右视图两个区域纹理特征作为平面信息,提取视差图的纹理特征和误差能量图的统计特征作为3D信息;将所有特征作为多核学习机的输入,利用多核学习的信息融合能力预测待测失真立体图像质量。由于充分利用了立体图像的左右视图、视差图和误差能量图的失真信息,以及多核学习的信息融合能力,该方法具有很好的前景。在LIVE 3D图像质量数据库上的实验表明,该方法与主观质量有较高一致性,与现有的双目立体质量评价方法相比有很大的竞争力。     

考虑双目竞争视觉现象的非对称失真立体图像质量评价方法

目的 现有方法存在特征提取时间过长、非对称失真图像预测准确性不高的问题,同时少有工作对非对称失真与对称失真立体图像的分类进行研究,为此提出了基于双目竞争的非对称失真立体图像质量评价方法。方法 依据双目竞争的视觉现象,利用非对称失真立体图像两个视点的图像质量衰减程度的不同,生成单目图像特征的融合系数,融合从左右视点图像中提取的灰度空间特征与HSV （hue-saturation-value）彩色空间特征。同时,量化两个视点图像在结构、信息量和质量衰减程度等多方面的差异,获得双目差异特征。并且将双目融合特征与双目差异特征级联为一个描述能力更强的立体图像质量感知特征向量,训练基于支持向量回归的特征—质量映射模型。此外,还利用双目差异特征训练基于支持向量分类模型的对称失真与非对称失真立体图像分类模型。结果 本文提出的质量预测模型在4个数据库上的SROCC （Spearman rank order correlation coefficient）和PLCC （Pearson linear correlation coefficient）均达到0.95以上,在3个非对称失真数据库上的均方根误差（root of mean square error,RMSE）取值均优于对比算法。在LIVE-II（LIVE 3D image quality database phase II）、IVC-I（Waterloo-IVC 3D image qualityassessment database phase I）和IVC-II （Waterloo-IVC 3D image quality assessment database phase II）这3个非对称失真立体图像测试数据库上的失真类型分类测试中,对称失真立体图像的分类准确率分别为89.91%、94.76%和98.97%,非对称失真立体图像的分类准确率分别为95.46%,92.64%和96.22%。结论 本文方法依据双目竞争的视觉现象融合左右视点图像的质量感知特征用于立体图像质量预测,能够提升非对称失真立体图像的评价准确性和鲁棒性。所提取双目差异性特征还能够用于将对称失真与非对称失真立体图像进行有效分类,分类准确性高。     

基于特征的图像网格生成方法

基于网格形变的图像缩放算法是目前的一个研究热点。适当的图像网格表示是这类算法成功的关键之一。提出一种基于图像特征的三角形网格生成算法。提取图像分割形成区域的边缘特征点,与图像四条边界上均匀分布的点一起,作为改进的Dart-throwing算法的初始点集。用距离变换计算每个像素到最近边缘线的距离,作为Dart-throwing算法的控制参量;所生成的网格点集接近边缘线时密集,远离边缘线时稀疏。最后用Delaunay算法形成图像的三角形网格表示。实验结果表明,所生成的三角网格较好地体现了图像的结构特征,并且有效减少了网格点数目,有利于提高后续算法的处理效率。     

基于空域自然场景统计的无参考立体图像质量评价模型

针对现有的评价方法大都将图像变换到不同的坐标域问题,提出一种基于空域自然场景统计(NSS)的通用型无参考立体图像质量评价模型。在评价中为了更好地结合人类双目视觉特性, 将左右图像融合成一幅独眼图;评价模型首先统计独眼图归一化亮度(CMSCN)系数分布规律,进而对独眼图提取空域自然场景统计特征;其次,统计视差图归一化亮度(DMSCN)系数的分布规律,并对用光流法得到的视差图提取同样的特征;最后,通过支持向量回归(SVR)建立立体图像特征信息与主观评价值(DMOS)之间的关系,从而预测得到图像质量的客观评价值。实验结果表明,该评价模型对立体数据测试库进行评价,其Pearson线性相关系数(PLCC)和Spearman等级相关系数(SROCC)值均在0.94以上;对于非对称立体图像库,PLCC和SROCC值分别接近0.91和0.93。该模型能够很好地预测人眼对立体图像的主观感知。     

基于面部特征约束的人脸纹理映射及变形

将一幅人脸图像（称为源图像）映射到另一幅人脸图像（称为目标图像）上,从而实现人脸图像的变形并达到某种特殊效果的表现要求。其中,一个最关键的问题是保持两幅人脸中器官特征的约束映射。提出一种技术策略,可以有效实现这种映射效果。利用人脸特征检测算法检测出源人脸和目标人脸的特征点;基于特征点,利用Delaunay三角剖分的方法将目标人脸转化为三角网格;采用调和映射的方法计算得出所有网格点在源人脸图像中的对应坐标;在获得网格点纹理坐标后,就可以实现源人脸到目标人脸的映射。实验表明,该方法可以实现任意人脸间的映射,并能较好地保持人脸五官间的映射关系。     

Content-aware disparity adjustment for different stereo displays

In this paper, we present an effective disparity mapping method for binocular stereoscopic image. It is inspired by the observation that its displayed depth would change, when a stereoscopic image is displayed on different size screens. The phenomenon may bring an uncomfortable experience for viewers. To make a comfortable stereoscopic image for viewers, moreover to adapt a stereoscopic image to a target display screen, we propose a content-aware disparity adjustment method. Firstly, the disparity mapping is established to control and retarget the depth of a stereoscopic scene. Then, the relationship between the disparity editing and image content editing is established to guide the proposed warping model. At last, to implement the disparity mapping operator, we propose a content-aware stereoscopic mesh warping model, which can simultaneously avoid the salient region distortion and adjust disparity to a target range by establishing the relationship. Experimental results show that the proposed method can effectively adjust disparity of stereoscopic image, which not only avoids the salient region distortion and adjusts disparity to a target range.     

基于Delaunay三角剖分的图象变形技术研究

提出了一种新的图象变形方法 ,即基于 Delaunay三角剖分的图象变形方法 .与四边形网格方法相比 ,用三角形网格定义特征区域 ,特征点的选取更自由、数目更少 .针对变形过程中运算量最大的坐标变换 ,提出了一种基于 Bresenham算法的坐标变换算法 .该算法完全采用加减运算 ,避免了乘法及舍入取整运算 ,大大加快了图象变形的运算速度 .计算机仿真试验表明 ,在同等数目控制点的条件下 ,该算法变形效果及运算速度均优于四边形网格方法 .