基于自适应网格变形的图像编辑算法?

提出一套基于自适应网格变形的图像编辑算法框架,包括图像中特征物的平移、旋转和变形,以及保持特征物的任意几何边界图像适应。该算法将图像表示为基于图像特征的自适应三角网格,由此将图像编辑问题转换为带约束的网格变形问题。网格变形由一个二次型能量函数所控制,特征物的平移、旋转和变形可以表述为该能量优化问题的约束;代表特征物的三角网格在网格变形过程中只允许发生刚性变换。该能量优化问题的全局最优解可以通过求解1个或多个稀疏方程组得到。实验结果表明,该算法效果理想、鲁棒性好、运行效率高,可以有效地应用于图像处理软件中。     

基于直线特征约束网格变形的航拍图像拼接

针对常用航拍图像拼接算法在处理存在视差的复杂图像时会出现鬼影、失真、不自然的问题,在APAP(as-projective-as-possible)算法的基础上,添加全局相似性和直线结构保护约束,提出一种基于直线特征约束网格变形的航拍图像拼接方法.首先,在图像重叠区域检测点、直线特征,并估计单应性扭曲;然后,使用网格将图像划分成多个局部图像块,建立网格优化模型,根据网格顶点坐标集定义一个包含图像扭曲不同特征的总能量函数,在APAP算法提供的局部单应性保证重叠区域对齐的前提下,对非重叠区域借鉴NISwGSP算法的全局相似性约束思想,并辅以直线结构约束提高拼接自然度;最后,在稀疏线性系统中求解能量误差最小化问题,得到最优网格顶点集,指导网格变形并完成航拍图像拼接.实验结果表明,所提出的变形方法能够减少重叠区域鬼影和非重叠区域失真问题,相比AutoStitch、APAP、AANAP、SPHP等经典算法拼接效果更自然,更能适应大视角的航拍图像拼接任务.     

交互式轮廓线骨架的提取

为精确抽取自由绘制的二维轮廓线骨架,提出了一种新的自适应骨架提取方法.将用户绘制的轮廓线,采用离散曲率约束,自适应调整步长,提取样点,进行最小二乘法实现样条曲线拟合,有效地突出了曲线形状特征;依据曲线模型的特征点,改进约束化三角剖分方法,高效地重建三角网格的拓扑结构;基于Voronoi图优化提取轮廓线骨架.实验结果表明了该算法的高效性和鲁棒性.     

基于Radon变换的纹理图像多尺度不变量分析算法

为了更好地进行图像纹理分析,提出了一种基于Radon变换的不变量纹理识别算法。该算法首先利用Radon变换将图像投影到1维空间,然后通过对投影数据进行一种平移和比例不变的自适应小波变换来构造出具有比例和平移不变性的图像的特征矩阵。这种通过对特征矩阵进行多尺度分析得到的多尺度能量特征不但具有平移、比例和旋转不变性,而且反映出了纹理图像在不同尺度上的能量分布特征。在特征提取完成以后,即可利用支撑向量机进行分类。同其他方法的比较说明,该算法可较好地描述纹理特征,并可完成纹理识别。     

基于局部—全局方法的三角网格优化算法

在基于网格形变的图像缩放算法中,表示图像的网格质量对于这类算法的结果有着很大的影响。为了改善图像网格质量,提出一种基于局部—全局方法的平面三角网格优化算法。在局部阶段利用自定义的最相似规则,为网格中的每一个三角形单元求取与之最相似的正三角形,得到一组目标仿射变换函数;全局阶段采用尽可能刚性方法,利用最小二乘法求取一组满足最小变形能量函数的最优解,使得最终生成的网格由尽可能相似于正三角形的三角形构成。同时,在优化过程中加入约束控制,保护网格中的重要区域不发生改变。实验结果表明,优化后的网格质量得到了明显的改善,有助于图像缩放算法后续工作的进行。     

多分辨率三维建筑群建模与实时绘制技术

将纹理特征分析技术引入到多边形网格建模中,提出一种基于高程特征值进行曲面细分的算法以构建多分辨率虚拟建筑群模型。该算法给出一种三角边与纹理特征曲线相交的三角面分裂方法构造自适应细分三角网格。通过设计细分三角网格的二叉树数据结构和开发测试程序进行测试,表明该算法具有自适应网格速度快和保持几何特征较好的特点,可以满足在PC机上实现三维建筑群的大范围建模和实时交互显示要求。     

利用贪心算法进行三角剖分的指纹匹配方法

针对指纹识别过程中的指纹匹配算法的准确性以及识别效果等问题,结合计算几何中平面点集的三角剖分方法-贪心算法的特点,将其引入指纹匹配处理,提出了一种基于三角网格(用贪心算法进行平面点集的三角剖分)的指纹匹配方法。该方法通过对细节点的拓扑结构进行三角划分,把空间上位置相近的细节点按照一定的规则相连,得到三角形网格,并基于该网格寻找若干参考点对,最后通过将两幅指纹图像进行姿势调整构成待识别指纹图像,使用获得的参考点对实现基于点模式的指纹匹配。经分析该方法是一种行之有效的指纹匹配方法,确保了指纹旋转、指纹平移参数计算结果的准确性,有效地提高了最终的识别效果。     

三维网格引导的癌变病人CT图像的腹腔分割

针对癌变CT图像中各器官变形严重,传统分割算法无法有效、完整地分割整个腹腔的问题,提出基于三维网格的分割算法.首先借助肋骨和脊椎等骨架获得初始腹腔骨架;然后构造一个球形初始三角网格,并建立与腹腔骨架间的关联;再通过3个目标函数变形网格;最后在网格附近的边界点优化网格,获得腹腔分割结果.实验结果表明,该算法能够有效地对病变严重的CT图像进行腹腔分割,对噪声和器官变形有良好的鲁棒性.     

图像上梯度相关的优化问题快速算法

针对图像处理中目标函数为对图像梯度的约束,形式为正则项与保真项之和的优化问题,提出了一种对该优化问题的变形形式,并给出了基于交替方向乘子法(alternatingdirectionmethodofmultipliers,ADMM)的优化算法进行求解.在约束条件下采用每个图像中的最小单元上的分段式,使得在每步迭代中的每个子问题可以分化为在每个最小单元上的二元优化问题,从而可直接获得优化问题的最优解.所提出的优化形式与优化算法可以控制每步迭代的时间复杂度在O(N),其中N为优化问题在该图像区域中最小单元的个数,还可进一步根据图像的分割进行并行化.文中给出了2个图像上比较经典的优化问题:L0模优化问题和Poisson图像编辑的优化算法.与现有的基于迭代算法相比,文中算法在达到相似结果的同时,可具有更快计算速度与更小的内存消耗.     

动态环境下基于旋转-平移解耦的立体视觉里程计算法

在实际应用中,若图像中的动态特征数量多且运动方向一致,这些特征会对视觉里程计的估计结果产生严重的影响.本文针对这类问题提出一种根据图像特征点位置解耦估计摄像机旋转-平移的立体视觉里程计算法.算法通过立体视觉系统将特征点划分成"远点"和"近点".在随机抽样一致性算法(RANSAC)框架下,采用"远点"估计视觉系统的姿态;进而在姿态已知的条件下,通过"近点"估计摄像机平移,实现旋转-平移解耦计算.这样处理可以通过姿态约束减少近距离运动物体对视觉里程计的影响.实验表明,在实际道路环境中,本文基于旋转-平移解耦估计的算法较之传统的同时估计旋转-平移的算法,能有效剔除动态特征.所提出算法对动态特征的抗干扰能力更好,鲁棒性更强,精度更高.     

一种基于网格参数化的图像适应方法

图像适应是指将高分辨率的数字图像显示在手机、PDA等屏幕较小的显示终端上的过程.提出一种全新的基于网格参数化的图像适应方法,该方法的关键在于把图像表示为特征网格,从而将图像适应问题转化为网格的参数化,即求取一个与该特征网格同拓扑,且具有目标屏幕尺寸的网格.为了突出图像中的重要物体,该方法建立了源图像对应的特征网格与图像显著度的关系;通过优化基于显著度伸长的网格参数化的能量来求解适应图像的网格;然后借助纹理映射生成适应图像.另外,该方法在参数化的过程中增加了对显著区域和背景结构的约束,能够在保持并增强图像中重要物体的同时,使适应图像的结构不发生明显形变.该方法能够方便地处理具有复杂背景和包含多目标物体的图像的适应问题.实验结果显示了该方法的有效性.     

融合显著物体检测的图像显示适配

目的 图像显著适配旨在自动调节图像尺寸,对图像内容进行非均匀缩放,以便在受限的展示空间内更好地保留显著物体。为了解决显示适配过程中显著物体部分扭曲的问题,提出一种基于显著物体检测的图像显示适配方法。方法 本文方法采用显著物体分割结果来替代显著性图,以改进显示适配结果。首先,采用显著性融合和传播的方法生成显著性图;接着,结合输入图像和显著性图,采用自适应三阈值方法实现显著物体分割;然后,以此为基础,生成输入图像的曲边网格表示;最后,通过对不同网格的非均匀缩放,生成符合目标尺寸的适配结果。结果 在面向图像显示适配的公开数据集RetargetMe上,将本文方法与现有的10种代表性显示适配方法的结果进行了人工评估和比较。本文方法可以有效地减少显著物体出现部分扭曲的现象,能在48.8%的图像上取得无明显缺陷的适配效果,比现有最好的方法提高了5%。结论 基于显著物体检测的图像显示适配方法有助于提高显示适配过程中对显著物体处理的一致性,减少由于显著物体部分扭曲而引起的明显人工处理痕迹,从而达到提升显示适配效果的目的。     

基于缝裁剪和变形的图像缩放方法

提出一种既能保持图像重要内容又能较好地保持重要物体形状的图像缩放算法。该方法结合传统的缝裁剪技术和变形技术来对图像进行缩放。首先利用当前公认效果良好的基于图模型的流形排序显著性检测算法得到图像的显著度图,结合图像梯度能量等信息来构造结构更为清晰的图像重要度图;其次利用之前构造的图像重要度图并按缩放尺度的大小来确定适当的缩放方法;最后根据度量比较结果来选择经典缝裁剪方法或基于能量优化的变形方法进行图像缩放。对比实验结果表明,该方法在图像缩放时能保持重要内容和显著物体形状结构。     

显著物体形状结构保持的图像缩放方法

针对传统的缝裁剪图像缩放方法中可能出现对图像中显著物体形状结构的破坏问题,提出一种既考虑到显著物体内容保持又考虑到显著物体形状结构保持的新的图像缩放方法。该方法首先利用经典的图像显著度图模型,结合图像梯度直方图等信息构建形状结构更加清晰的图像重要度图;然后利用已构建的重要度图,对图像进行分块,按显著块的大小来确定缩放方法;最后结合经典缝裁剪方法和基于共形能量的变形方法对图像进行缩放。实验结果显示,该方法能够在图像缩放时更好地保持显著物体的内容和形状结构。     

Geometry seam carving

We present a novel approach to feature-aware mesh deformation. Previous mesh editing methods are based on an elastic deformation model and thus tend to uniformly distribute the distortion in a least-squares sense over the entire deformation region. Recent results from image resizing, however, show that discrete local modifications such as deleting or adding connected seams of image pixels in regions with low saliency lead to far superior preservation of local features compared to uniform scaling — the image retargeting analog to least-squares mesh deformation. Hence, we propose a discrete mesh editing scheme that combines elastic as well as plastic deformation (in regions with little geometric detail) by transferring the concept of seam carving from image retargeting to the mesh deformation scenario. A geometry seam consists of a connected strip of triangles within the mesh’s deformation region. By collapsing or splitting the interior edges of this strip, we perform a deletion or insertion operation that is equivalent to image seam carving and can be interpreted as a local plastic deformation. We use a feature measure to rate the geometric saliency of each triangle in the mesh and a well-adjusted distortion measure to determine where the current mesh distortion asks for plastic deformations, i.e., for deletion or insertion of geometry seams. Precomputing a fixed set of low-saliency seams in the deformation region allows us to perform fast seam deletion and insertion operations in a predetermined order such that the local mesh modifications are properly restored when a mesh editing operation is (partially) undone. Geometry seam carving hence enables the deformation of a given mesh in a way that causes stronger distortion in homogeneous mesh regions while salient features are preserved much better.     

基于网格形变的立体图像内容重组

目的 近年来,随着数字摄影技术的飞速发展,图像增强技术越来越受到重视。图像构图作为图像增强中影响美学的重要因素,一直都是研究的热点。为此,从立体图像布局调整出发,提出一种基于Delaunay网格形变的立体图像内容重组方法。方法 首先将待重组的一对立体图像记为源图像,将用于重组规则确定的一幅图像记为参考图像;然后对源图像需要调整的目标、特征线和其他区域进行取点操作,建立Delaunay网格。将源图像的左图与参考图像进行模板匹配操作,得到源图像与参考图像在结构布局上的对应关系;最后利用网格形变的特性,移动和缩放目标对象,并对立体图像的深度进行自适应调整。结果 针对目标对象的移动、缩放和特征线调整几方面进行优化。当只涉及目标对象的移动或特征线调整时,立体图像视差保持不变;当目标对象缩放时,立体图像中目标对象的视差按照缩放比例变化而背景视差保持不变。实验结果表明,重组后的立体图像构图与参考图像一致且深度能自适应调整。与最新方法比较,本文方法在目标对象分割精度和图像语义保持方面具有优势。结论 根据网格形变相关理论,构建图像质量、布局匹配和视差适应3种能量项,实现了立体图像的内容重组。与现有需要提取和粘贴目标对象的重组方法不同,本文方法对目标对象的分割精度要求不高,不需要图像修复和混合技术,重组后的立体图像没有伪影和语义错误出现。用户可以通过参考图像来引导立体图像的布局调整,达到期望的图像增强效果。     

Specific object retrieval based on salient regions

In this paper, we present an image retrieval technique for specific objects based on salient regions. The salient regions we select are invariant to geometric and photometric variations. Those salient regions are detected based on low level features, and need to be classified into different types before they can be applied on further vision tasks. We first classify the selected regions into four types including blobs, edges and lines, textures, and texture boundaries, by using the correlations with the neigbouring regions. Then, some specific region types are chosen for further object retrieval applications. We observe that regions selected from images of the same object are more similar to each other than regions selected from images of different objects. Correlation is used as the similarity measure between regions selected from different images. Two images are considered to contain the same object, if some regions selected from the first image are highly correlated to some regions selected from the second image. Two data sets are employed for experiment: the first data set contains human face images of a number of different people and is used for testing the retrieval algorithm on distinguishing specific objects of the same category; and the second data set contains images of different objects and is used for testing the retrieval algorithm on distinguishing objects of different categories. The results show that our method is very effective on specific object retrieval.     

基于弹簧变形模型的图像缩放方法

目的 随着显示设备分辨率和纵横比的多样化,内容感知图像缩放技术逐渐成为图像处理领域新的研究热点之一,为了既能实现图像有效缩放,又能较好保持图像主体区域的几何结构完整,提出一种基于弹簧近似的内容感知图像缩放方法。方法 首先,为控制图像缩放,对输入图像进行显著性检测和特征直线检测;其次,在图像上构建一个平面三角网格,视三角网格的每一条边为一根弹簧,则整个三角网格构成一个弹簧系统,可利用该弹簧系统的变形实现图像缩放,其中,根据每根弹簧所在图像区域的显著度设置弹簧的弹性系数,该系数可在缩放时有效保持图像的主体区域,避免主体内容缩放不均匀或变形;然后,以图像直线特征保持为约束,构造用于约束弹簧系统变形的目标函数;最后,利用纹理贴图技术把弹簧系统每个三角形对应的图像贴回弹簧系统,得到缩放后的目标图像。结果 为证明本文方法的有效性,对大量图像进行多比例缩放测试,并与现有方法进行比较。在同比例缩放下,本文方法可以更好地保持图像中的主体区域,以及特征直线,使放缩后的图像整体具有更好的视觉效果。本文方法的计算时间小于0.19 s,时间成本与现有方法大致相同。结论 基于弹簧系统的内容感知图像缩放方法,通过弹簧系统变形带动网格变形进而实现图像缩放,与现有的内容感知图像缩放方法相比,本文方法所处理的图像视觉效果更好,实验结果表明,本文方法能够更有效、快速地处理各种图像的内容感知缩放。     

Image Retargeting Using Mesh Parametrization

Image retargeting aims to adapt images to displays of small sizes and different aspect ratios. Effective retargeting requires emphasizing the important content while retaining surrounding context with minimal visual distortion. In this paper, we present such an effective image retargeting method using saliency-based mesh parametrization. Our method first constructs a mesh image representation that is consistent with the underlying image structures. Such a mesh representation enables easy preservation of image structures during retargeting since it captures underlying image structures. Based on this mesh representation, we formulate the problem of retargeting an image to a desired size as a constrained image mesh parametrization problem that aims at finding a homomorphous target mesh with desired size. Specifically, to emphasize salient objects and minimize visual distortion, we associate image saliency into the image mesh and regard image structure as constraints for mesh parametrization. Through a stretch-based mesh parametrization process we obtain the homomorphous target mesh, which is then used to render the target image by texture mapping. The effectiveness of our algorithm is demonstrated by experiments.     

Saliency-driven scaling optimization for image retargeting

This paper proposes a saliency-weighted scaling factor energy for image retargeting. Considering that salient objects should be scaled with a larger scaling factor with respect to nonsalient regions, we define a quadric energy to establish the relation between the scaling factor of a local region and its saliency. The quadric energy is the weighted sum of the square of scaling factors, where the weight of each scaling factor is inversely proportional to its corresponding saliency. Furthermore, a triangle similarity quadric energy is introduced to prevent salient regions from distortion. Compared to previous methods, our approach not only preserves the shapes of salient objects and the integrity of the whole image well, but also reserves more resolution to salient objects in target image even when the aspect ratio is unchanged.