具有直线结构保护的网格化图像拼接

目的 基于网格变形的图像配准方式,针对待拼接图片重叠区域的视差具有一定的容忍性,并且能够适应更复杂的图像拼接场景。在NISwGSP （natural image stitching with the global similarity prior）算法基础上提出了一种具有直线结构保护的图像拼接算法（MISwLP）,该算法通过提取图片中的直线结构并施加约束,可以得到视觉效果自然、畸变较小的图像拼接结果。方法 首先对图片进行网格划分,建立网格优化模型,针对网格顶点坐标集定义能量函数,在保证图片重叠区域高度对齐的同时,对网格进行相似性连续约束,并辅以直线结构约束,最后使用共轭梯度最小二乘法求解得到最优网格顶点集,指导网格变形。结果 针对不同场景下的图片进行拼接实验,同时和几种比较流行的图像拼接软件和算法进行比较。结果表明,同经典拼接算法,比如Autostitch相比,基于网格优化的图像拼接算法能够适应更加复杂的多平面场景,在减小投影失真和对齐误差方面表现更好;同现在比较好的几种网格拼接算法,比如SPHP （shape-preserving half-projective warps for image stitching）、APAP （as-projective-as-possible image stitching with moving DLT）、NISwGSP等的比较,MISwLP算法不仅能够很好地对齐图像和避免投影失真,并且能够保持图像重叠区域到非重叠区域的一致性,即保护原图中的直线结构。结论 提出了一种基于网格优化的直线约束方法,对于具有显著几何结构的图像拼接场景,能够较好地保护拼接后图像中原有的直线结构,具有较好的应用价值。     

重要区域保持的图像缩放质量评价方法

目的 图像缩放质量评价是评估图像非等比例缩放优劣的依据,现有主流评价方法不能客观有效地给出定量评价结果,为此提出一种基于重要区域保持的图像非等比例缩放评价方法。方法 首先,结合视觉显著度、图像边缘和超像素分割构造重要区域识别算法;然后,设计描述图像缩放前后重要区域大小和内容保持的面积变化函数和成分变化函数;最后混合两种函数提出缩放质量评价函数。结果 在RetargetMe提供的标准测试集上对本文方法进行实验验证,计算缩放质量值以评价不同缩放方法的优劣,并利用肯德尔系数度量本文方法的评价结果与主观评价的一致性,本文方法的平均肯德尔系数比当前主流客观方法高0.5%~11%。结论 与现有主流客观评价方法相比,本文方法所得到的肯德尔系数值更大,证明该方法能够更准确有效、快速、定量地评价各类图像非等比例缩放结果。     

视景建模中树木纹理图像的随机变形网格方法

目的 视景建模中,采用“公告板”贴图法对同树种不同个体树建模时,需生成各种形态各异的树木纹理图像,为此提出一种新的生成树木纹理图像的随机变形网格方法。方法 首先将树木的原始纹理图像进行网格划分,再对网格顶点进行随机变形,最后将生成的不规则网格中的图像映射到新图像中相应的规则网格上,得到变形后的纹理图像。结果 应用随机参数控制树木图像的变形,模拟出成长环境因素对树木形态的影响。本文方法比采集多幅个体树图像贴图方法更简便,容易实现;比用同一幅图像进行多个个体贴图的视觉效果更真实。结论 本文方法生成的树木纹理图像应用于“公告板”贴图时,在视景模型中能较好地模拟出同一树种的多个个体树情景。该方法基于图像的局部变形,仍然保持原始图像内容的整体基本形态和内部结构的连续性,因此,同样适用于其他不规则形状的自然景物(如山峦、河流、海浪等)的图像处理。     

基于网格形变的立体图像内容重组

目的 近年来,随着数字摄影技术的飞速发展,图像增强技术越来越受到重视。图像构图作为图像增强中影响美学的重要因素,一直都是研究的热点。为此,从立体图像布局调整出发,提出一种基于Delaunay网格形变的立体图像内容重组方法。方法 首先将待重组的一对立体图像记为源图像,将用于重组规则确定的一幅图像记为参考图像;然后对源图像需要调整的目标、特征线和其他区域进行取点操作,建立Delaunay网格。将源图像的左图与参考图像进行模板匹配操作,得到源图像与参考图像在结构布局上的对应关系;最后利用网格形变的特性,移动和缩放目标对象,并对立体图像的深度进行自适应调整。结果 针对目标对象的移动、缩放和特征线调整几方面进行优化。当只涉及目标对象的移动或特征线调整时,立体图像视差保持不变;当目标对象缩放时,立体图像中目标对象的视差按照缩放比例变化而背景视差保持不变。实验结果表明,重组后的立体图像构图与参考图像一致且深度能自适应调整。与最新方法比较,本文方法在目标对象分割精度和图像语义保持方面具有优势。结论 根据网格形变相关理论,构建图像质量、布局匹配和视差适应3种能量项,实现了立体图像的内容重组。与现有需要提取和粘贴目标对象的重组方法不同,本文方法对目标对象的分割精度要求不高,不需要图像修复和混合技术,重组后的立体图像没有伪影和语义错误出现。用户可以通过参考图像来引导立体图像的布局调整,达到期望的图像增强效果。     

基于网格面积保持的图像智能适配显示

目的 ASAP(as-similar-as-possible)算法在处理某些图像时存在着不足,即重要区域被过分压缩,而非重要区域被拉伸得很大。为此,在该算法已有的研究基础上提出一种改进后的图像处理算法。方法 利用二次规划,通过在原始能量方程中加入网格面积大小的累加项来改进原算法的能量方程,使网格在放缩过程中不仅要保证均匀缩放,也要保证每个网格的面积尽可能地大。对ASAP算法中被过分压缩和拉伸的图像区域进行保护。然后使用图像评测算法对处理图像进行打分,以衡量算法的改进效果。结果 改进后的算法保持了原算法的高效。从图像质量上来看,图像过度压缩或拉伸的程度有所缓解,图像较好地保留了原始图像中的信息。在客观评测中,改进算法得分较于原始算法有所增加。评分提高的百分比最大达到了39.0%. 结论 实验结果表明,改进后的算法不仅有较高的效率,而且保护了原始算法中被过分压缩或拉伸的图像区域,得到了视觉效果较好的处理图像。     

融合显著物体检测的图像显示适配

目的 图像显著适配旨在自动调节图像尺寸,对图像内容进行非均匀缩放,以便在受限的展示空间内更好地保留显著物体。为了解决显示适配过程中显著物体部分扭曲的问题,提出一种基于显著物体检测的图像显示适配方法。方法 本文方法采用显著物体分割结果来替代显著性图,以改进显示适配结果。首先,采用显著性融合和传播的方法生成显著性图;接着,结合输入图像和显著性图,采用自适应三阈值方法实现显著物体分割;然后,以此为基础,生成输入图像的曲边网格表示;最后,通过对不同网格的非均匀缩放,生成符合目标尺寸的适配结果。结果 在面向图像显示适配的公开数据集RetargetMe上,将本文方法与现有的10种代表性显示适配方法的结果进行了人工评估和比较。本文方法可以有效地减少显著物体出现部分扭曲的现象,能在48.8%的图像上取得无明显缺陷的适配效果,比现有最好的方法提高了5%。结论 基于显著物体检测的图像显示适配方法有助于提高显示适配过程中对显著物体处理的一致性,减少由于显著物体部分扭曲而引起的明显人工处理痕迹,从而达到提升显示适配效果的目的。     

多特征融合的图像自动变形

目的 图像变形算法中特征基元提取和匹配方式大部分都是采用人机交互的方式进行,并且在遮挡区域变形时出现较多的鬼影和模糊现象,使得针对同一场景图像变形实现繁琐且效果不佳,针对这些问题提出一种基于多特征融合的自动图像变形算法。方法 该算法提取多种图像特征信息（如Surf特征算子、Harris算子、Canny算子等）并进行多特征融合匹配,得到一个分布适当且对应关系正确的三角网格,再结合图像变形,实现自动图像插值。结果 实验结果显示,自动的提取特征基元有效地减少了人工操作,而多特征融合匹配有效地抑制了图像变形时边缘或遮挡区域鬼影的产生。结论 提出的融合匹配方法,将不同的特征信息有效地融合匹配从而改善了图像变形算法。通过对多组实验结果进行问卷调查,91%的参与者认为该算法有效地改进图像变形结果。     

保特征的联合滤波网格去噪算法

目的 在去噪的过程中保持网格模型的特征结构是网格去噪领域研究的热点问题。为了能够在去噪中保持模型特征,本文提出一种基于变分形状近似（VSA）分割算法的保特征网格去噪算法。方法 引入变分形状近似分割算法分析并提取噪声网格模型的几何特征,分3步进行去噪。第1步使用变分形状近似算法对网格进行分割,对模型进行分块降噪预处理。第2步通过分析变分形状近似算法提取分割边界中的特征信息,将网格划分为特征区域与非特征区域。对两个区域用不同的滤波器联合滤波面法向量。第3步根据滤波后的面法向量,使用非迭代的网格顶点更新方法更新顶点位置。结果 相较于现有全局去噪方法,本文方法可以很好地保持网格模型的特征,引入的降噪预处理对于非均匀网格的拓扑结构保持有着很好的效果。通过对含有不同程度高斯噪声的网格模型进行实验表明,本文算法无论在直观上还是定量分析的结果都相较于对比的方法有着更好的去噪效果,实验中与对比算法相比去噪效果提升15%。结论 与现有的网格去噪算法对比,实验结果表明本文算法在中等高斯噪声下更加鲁棒,对常见模型有着比较好的去噪效果,能更好地处理不均匀采样的网格模型,恢复模型原有的特征信息和拓扑结构。     

基于混合能量的内容敏感图像缩放新方法

提出了一种内容敏感图像缩放的新方法.该方法旨在保持图像缩放前后重要特征区域尽量相似的前提下,通过约束重要区域的旋转使得图像缩放前后视觉效果尽量一致.该方法分为3个步骤:首先,为图像关联全局和局部的控制单元,并根据这些控制单元所覆盖原始区域的重要性给其赋予权值;然后定义一种新的混合能量来约束控制单元,在变化前后尽量保持相似并惩罚其旋转;最后通过优化混合能量加权和来计算这些控制单元变形后的最佳位置,并插值得到最终图像变形结果.大量的对比实验结果表明,该方法具有保全局和局部特征、重要物体不易旋转、能够高效地得到扭曲较小的结果等优点.     

多尺度显著区域检测图像压缩

目的 为了解决利用显著区域进行图像压缩已有方法中存在的对多目标的图像内容不能有效感知,从而影响重建图像的质量问题,提出一种基于多尺度深度特征显著区域检测图像压缩方法。方法 利用改进的卷积神经网络（CNNs）,进行多尺度图像深度特征检测,得到不同尺度显著区域;然后根据输入图像尺寸自适应调整显著区域图的尺寸,同时引入高斯函数,对显著区域进行滤波,得到多尺度融合显著区域;最后结合编码压缩技术,对显著区域实行近无损压缩,非显著区域利用有损编码技术进行有损压缩,完成图像的压缩和重建工作。结果 提出的图像压缩方法较JPEG压缩方法,编码码率为0.39 bit/像素左右时,在数据集Kodak PhotoCD上,峰值信噪比（PSNR）提高了2.23 dB,结构相似性（SSIM）提高了0.024;在数据集Pascal Voc上,PSNR和SSIM两个指标分别提高了1.63 dB和0.039。同时,将提出的多尺度特征显著区域方法结合多级树集合分裂（SPIHT）和游程编码（RLE）压缩技术,在Kodak数据集上,PSNR分别提高了1.85 dB、1.98 dB,SSIM分别提高了0.006、0.023。结论 提出的利用多尺度深度特征进行图像压缩方法得到了较传统编码技术更好的结果,该方法通过有效地进行图像内容的感知,使得在图像压缩过程中,减少了图像内容损失,从而提高了压缩后重建图像的质量。     

Geometry seam carving

We present a novel approach to feature-aware mesh deformation. Previous mesh editing methods are based on an elastic deformation model and thus tend to uniformly distribute the distortion in a least-squares sense over the entire deformation region. Recent results from image resizing, however, show that discrete local modifications such as deleting or adding connected seams of image pixels in regions with low saliency lead to far superior preservation of local features compared to uniform scaling — the image retargeting analog to least-squares mesh deformation. Hence, we propose a discrete mesh editing scheme that combines elastic as well as plastic deformation (in regions with little geometric detail) by transferring the concept of seam carving from image retargeting to the mesh deformation scenario. A geometry seam consists of a connected strip of triangles within the mesh’s deformation region. By collapsing or splitting the interior edges of this strip, we perform a deletion or insertion operation that is equivalent to image seam carving and can be interpreted as a local plastic deformation. We use a feature measure to rate the geometric saliency of each triangle in the mesh and a well-adjusted distortion measure to determine where the current mesh distortion asks for plastic deformations, i.e., for deletion or insertion of geometry seams. Precomputing a fixed set of low-saliency seams in the deformation region allows us to perform fast seam deletion and insertion operations in a predetermined order such that the local mesh modifications are properly restored when a mesh editing operation is (partially) undone. Geometry seam carving hence enables the deformation of a given mesh in a way that causes stronger distortion in homogeneous mesh regions while salient features are preserved much better.     

多先验特征与综合对比度的图像显著性检测

目的 图像的显著性检测在计算机视觉中应用非常广泛,现有的方法通常在复杂背景区域下表现不佳,由于显著性检测的低层特征并不可靠,同时单一的特征也很难得到高质量的显著图。提出了一种通过增加特征的多样性来实现显著性检测的方法。方法 在高层先验知识的基础上,对背景先验特征和中心先验特征重新进行了定义,并考虑人眼视觉一般会对暖色调更为关注,从而加入颜色先验。另外在图像低层特征上使用目前较为流行的全局对比度和局部对比度特征,在特征融合时针对不同情况分别采取线性和非线性的一种新的融合策略,得到高质量的显著图。结果 在MSRA-1000和DUT-OMRON两个公开数据库进行对比验证,实验结果表明,基于多先验特征与综合对比度的图像显著性检测算法具有较高的查准率、召回率和F-measure值,相较于RBD算法均提高了1.5%以上,综合性能均优于目前的10种主流算法。结论 相较于基于低层特征和单一先验特征的算法,本文算法充分利用了图像信息,能在突出全局对比度的同时也保留较多的局部信息,达到均匀突出显著性区域的效果,有效地抑制复杂的背景区域,得到更加符合视觉感知的显著图。     

融合图像显著性与特征点匹配的形变目标跟踪

目的 针对目标在跟踪过程中出现剧烈形变,特别是剧烈尺度变化的而导致跟踪失败情况,提出融合图像显著性与特征点匹配的目标跟踪算法。方法 首先利用改进的BRISK（binary robust invariant scalable keypoints）特征点检测算法,对视频序列中的初始帧提取特征点,确定跟踪算法中的目标模板和目标模板特征点集合;接着对当前帧进行特征点检测,并与目标模板特征点集合利用FLANN（fast approximate nearest neighbor search library）方法进行匹配得到匹配特征点子集;然后融合匹配特征点和光流特征点确定可靠特征点集;再后基于可靠特征点集和目标模板特征点集计算单应性变换矩阵粗确定目标跟踪框,继而基于LC（local contrast）图像显著性精确定目标跟踪框;最后融合图像显著性和可靠特征点自适应确定目标跟踪框。当连续三帧目标发生剧烈形变时,更新目标模板和目标模板特征点集。结果 为了验证算法性能,在OTB2013数据集中挑选出具有形变特性的8个视频序列,共2214帧图像作为实验数据集。在重合度实验中,本文算法能够达到0.567 1的平均重合度,优于当前先进的跟踪算法;在重合度成功率实验中,本文算法也比当前先进的跟踪算法具有更好的跟踪效果。最后利用Vega Prime仿真了无人机快速抵近飞行下目标出现剧烈形变的航拍视频序列,序列中目标的最大形变量超过14,帧间最大形变量达到1.72,实验表明本文算法在该视频序列上具有更好的跟踪效果。本文算法具有较好的实时性,平均帧率48.6帧/s。结论 本文算法能够实时准确的跟踪剧烈形变的目标,特别是剧烈尺度变化的目标。     

时空联合视差优化的立体视频重定向

目的智能适配显示的图像/视频重定向技术近年受到广泛关注。与图像重定向以及2D视频重定向相比,3D视频重定向需要同时考虑视差保持和时域保持。现有的3D视频重定向方法虽然考虑了视差保持却忽略了对视差舒适度的调整,针对因视差过大和视差突变造成视觉不舒适度这一问题,提出了一种基于时空联合视差优化的立体视频重定向方法,将视频视差范围控制在舒适区间。方法在原始视频上建立均匀网格,并提取显著信息和视差,进而得到每个网格的平均显著值;根据相似性变化原理构建形状保持能量项,利用目标轨迹以及原始视频的视差变化构建时域保持能量项,并结合人眼辐辏调节原理构建视差舒适度调整能量项;结合各个网格的显著性,联合求解所有能量项得到优化后的网格顶点坐标,将其用于确定网格形变,从而生成指定宽高比的视频。结果实验结果表明,与基于细缝裁剪的立体视频重定向方法对比,本文方法在形状保持、时域保持及视差舒适度方面均具有更好的性能。另外,使用现有的客观质量评价方法对重定向结果进行评价,本文方法客观质量评价指标性能优于均匀缩放和细缝裁剪的视频重定向方法,时间复杂度较低,每帧的时间复杂度至少比细缝裁剪方法降低了98%。结论提出的时空联合...     

基于SLIC融合纹理和直方图的图像显著性检测

针对基于颜色直方图的显著图无法突出边缘轮廓和纹理细节的问题,结合图像的颜色特征、空间位置特征、纹理特征以及直方图,提出了一种基于SLIC融合纹理和直方图的图像显著性检测方法。该方法首先通过SLIC算法对图像进行超像素分割,提取基于颜色和空间位置的显著图;然后分别提取基于颜色直方图的显著图和基于纹理特征的显著图;最后将前两个阶段得到的显著图进行融合得到最终的显著图。此外,通过简单的阈值分割方法得到图像中的显著性目标。实验结果表明,与经典显著性检测算法相比,提出的算法性能明显优于其他算法性能。     

融合双层信息的显著性检测

目的 针对已有工作在颜色及结构显著性描述方面的缺陷,提出一种新的图像显著性检测方法。方法 本文方法在不同的图像区域表达上从颜色与空间结构角度计算图像的显著性,充分考虑图像的特征与像素聚类方式之间的适应性。首先,根据颜色复杂度、边缘与连通性等信息,将图像从像素空间映射到双层区域表示空间。然后,根据两个层次空间的特性,与每个图像区域的边界特性,计算图像的结构和颜色显著度。最后,由于不同图像表示中的显著性信息存在互补性,将所有这些信息进行融合得到最终的显著性图。结果 在公认的MSRA-1000数据集上验证本文方法并与目前国际上流行的方法进行对比。实验结果表明,本文方法在精确率、召回率以及绝对误差(分别为75.03%、89.39%、85.61%)等方面要优于当前前沿的方法。结论 提出了一种融合双层信息的显著性检测算法。根据图像本身信息控制区域数目构建图像双层表示,提高了方法的普适性;利用图像不同层次的特性从不同角度计算显著性,增强了方法鲁棒性。     

融合多特征与先验信息的显著性目标检测

目的 图像的显著性目标检测是计算机视觉领域的重要研究课题。针对现有显著性目标检测结果存在的纹理细节刻画不明显和边缘轮廓显示不完整的问题,提出一种融合多特征与先验信息的显著性目标检测方法,该方法能够高效而全面地获取图像中的显著性区域。方法 首先,提取图像感兴趣的点集,计算全局对比度图,利用贝叶斯方法融合凸包和全局对比度图获得对比度特征图。通过多尺度下的颜色直方图得到颜色空间图,根据信息熵定理计算最小信息熵,并将该尺度下的颜色空间图作为颜色特征图。通过反锐化掩模方法提高图像清晰度,利用局部二值算子（LBP）获得纹理特征图。然后,通过图形正则化（GR）和流行排序（MR）算法得到中心先验图和边缘先验图。最后,利用元胞自动机融合对比度特征图、颜色特征图、纹理特征图、中心先验图和边缘先验图获得初级显著图,再通过快速引导滤波器优化处理得到最终显著图。结果 在2个公开的数据集MSRA10K和ECSSD上验证本文算法并与12种具有开源代码的流行算法进行比较,实验结果表明,本文算法在准确率-召回率（PR）曲线、受试者工作特征（ROC）曲线、综合评价指标（F-measure）、平均绝对误差（MAE）和结构化度量指标（S-measure）等方面有显著提升,整体性能优于对比算法。结论 本文算法充分利用了图像的对比度特征、颜色特征、纹理特征,采用中心先验和边缘先验算法,在全面提取显著性区域的同时,能够较好地保留图像的纹理信息和细节信息,使得边缘轮廓更加完整,满足人眼的层次要求和细节要求,并具有一定的适用性。