Detail-generating geometry completion for point-sampled geometry

In this paper, we present a novel method for detail-generating geometry completion over point-sampled geometry. The main idea consists of converting the context-based geometry completion into the detail-based texture completion on the surface. According to the influence region of boundary points surrounding a hole, a smooth patch covering the hole is first constructed using radial base functions. By applying region-growing clustering to the patch, the patching units for further completion with geometry details is then produced, and using the trilateral filtering operator formulated by us, the geometry-detail texture of each sample point on the input geometry is determined. The geometry details on the smooth completed patch are finally generated by optimizing a constrained global texture energy function on the point-sampled surfaces. Experimental results demonstrate that the method can achieve efficient completed patches that not only conform with their boundaries, but also contain the plausible 3D surface details.     

Image inpainting with salient structure completion and texture propagation

Image inpainting technique uses structural and textural information to repair or fill missing regions of a picture. Inspired by human visual characteristics, we introduce a new image inpainting approach which includes salient structure completion and texture propagation. In the salient structure completion step, incomplete salient structures are detected using wavelet transform, and completion order is determined through color texture and curvature features around the incomplete salient structures. Afterwards, curve fitting and extension are used to complete the incomplete salient structures. In the texture propagation step, the proposed approach first synthesizes texture information of completed salient structures. Then, the texture information is propagated into the remaining missing regions. A number of examples on real and synthetic images demonstrate the effectiveness of our algorithm in removing occluding objects. Our results compare favorably to those obtained by existing greedy inpainting techniques.     

基于先验约束和统计的图像修复算法

利用基于块匹配（PatchMatch）图像修复算法对破损区域较大且周围既含有几何结构信息又含有丰富纹理信息的图片进行修复时,容易出现纹理延伸现象以及样本块误匹配问题。针对此类问题,在样本块的精确匹配和算法的时效性两个方面进行改进,提出新的图像修复算法。在样本块精确匹配方面,改进算法对图像进行预处理以获得图像的先验信息,并利用先验信息约束算法偏移映射图的初始化,从而转变PatchMatch算法中对图像偏移映射图的全局随机初始化为在先验信息指导下的约束初始化;在像素块匹配过程中,利用均值法和夹角法来判断不同类别像素块的相似度,从而提高样本块的匹配精度。在算法的时效性方面,根据图像相似块的统计性特性,引入直方图统计的方法来减少最终用于修复的样本标签,提高改进算法的时效性。最后,将改进算法用于实例验证,相比原算法,改进算法的运行时间减少了5~10 s,峰值信噪比（PSNR）提高了0.5~1 dB。实例验证结果表明改进算法不但可以有效地提高图像修复的精度,而且提高了图像修复的效率。     

自适应尺度的双边纹理滤波方法

目前已有的结构保持的纹理平滑方法主要是利用矩形片内的统计量来区分纹理和结构,但是所用的矩形片边长是单一尺度的,这将导致含有尖锐结构或结构在多个尺度上的图像出现纹理过平滑或未平滑的现象。为此,提出一种自适应尺度的双边纹理滤波方法。首先,通过对局部区域进行统计分析,从给定候选值中自适应地为每个像素选取合适的矩形片边长,对于均匀的纹理区域,选取较大的矩形片边长,对于邻近特征边的区域选取较小边长;其次,利用自适应的矩形片边长计算引导图像;最后,对原始图像进行引导双边滤波。实验结果表明,所提方法能够在保持图像结构的同时更好地平滑纹理。     

基于图像结构纹理分解及局部总变分最小化的图像修复模型

在基于样例的图像修复算法中,由于优先权公式的计算容易受图像局部噪声和细小纹理的干扰,导致修复顺序错乱;而在搜索最优匹配块时,因忽略了图像块内部的结构影响,可能导致误匹配。针对以上问题提出了一种基于图像的结构-纹理分解及局部总变分最小化的图像修复模型。首先,根据对数总变分最小化模型,将待修复图像进行结构-纹理分解,得到图像的结构分量,并利用图像的结构分量来计算待修复点优先权,使优先权的计算排除局部纹理干扰而更具鲁棒性;其次,将优先权的计算改进为数据项和置信项的加权和,避免了乘积效应,确保数据项一直发挥作用,减少因修复顺序不合理造成的错误匹配;最后,根据图像的局部总变分最小化原则,将图像块的最优匹配转换为0-1优化问题,确保图像修复后的局部结构一致性。与3组参考文献的5组对比实验结果表明,峰值信噪比（PSNR）提高了1.12~3.56 dB,结构相似性指数提高了0.02~0.04。所提模型更好地遵循了修复优先性原则,具有更强的保持图像局部结构一致性的能力,改善了修复图像的视觉效果,适用于复杂结构的大面积毁损的图像的修复。     

不规则块的图像补全算法

目的 目前在图像补全领域研究的重点和难点是补全具有复杂结构信息和丰富纹理信息的大破损区域的图像。传统的基于样本块的图像补全算法主要采用规则的模板块和匹配块来进行补全,补全过程中不能充分利用图像的结构或纹理的不规则信息,从而影响算法修复的精度和效率。针对这一问题,本研究提出一种基于不规则块的图像补全算法。方法 在该算法中,首先利用结构稀疏度来区分图像的结构信息和纹理信息并基于结构稀疏度和置信度计算破损区域边界点的优先级,然后选择优先级最高的点构造规则模板块。对处于复杂结构区域的模板块,如果其邻域含有已知的结构信息,则膨胀该规则模板并利用其周围的结构信息来辅助构造不规则模板块。接下来,在图像完好区域内搜索与该模板块对应的匹配块,如果该匹配块的邻域包含有效的结构信息,则膨胀该匹配块并补充其周围的结构信息来完善该不规则匹配块。最后,利用该不规则匹配块补全破损区域。对于补全过程中块间接缝造成的视觉不连通问题,本研究利用图像的纹理信息来进行修饰。结果 将本文算法与4种修复效果较好的算法（3种基于规则块的算法和1种基于局部敏感哈希的修复算法）进行对比,通过8组经典图像进行实例验证,采用客观评价指标峰值信噪比PSNR和主观视觉连通性进行评价,结果表明本文提出的算法峰值信噪比相较4种对比算法均有04 dB的提高,且在补全的精细度和视觉连通性方面有更佳的效果。结论 本文算法在补全含有较复杂结构和丰富纹理的破损自然图像、壁画图像和目标物体移除上有较好的修复效果,普适性较强。     

Inpainting images with curvilinear structures propagation

Inpainting images with smooth curvilinear structures interrupted is a challenging problem, because the structures are salient features sensitive to the human vision system and they are not easy to be completed in a visually pleasing way, especially when gaps are large. In this paper, we propose an approach to address this problem. A curve with a desired nice shape is first created to smoothly extend the missing structure from the known to unknown regions. As the curve partitions the unknown region into separate areas, textures can be filled independently into each area. We then adopt a patch-based texture inpainting method enhanced by a novel similarity measurement of patches. After that, very abrupt edges caused by different inpainted colours on their two sides need to be smoothed for natural colour transition across the curve. Experimental results demonstrate the effectiveness of the proposed approach.     

划分特征子区域的图像修复算法

为了解决含有丰富纹理信息和复杂结构信息的大破损区域中的缺失信息修复的问题,提出了一种划分特征子区域的图像修复算法。首先,根据图像中包含的不同特征,运用特征公式进行特征提取,再通过统计特征值划分特征子区域,提高了图像修复的速度;其次,在原Criminisi算法的基础上改进了优先级的计算,通过增大结构项的影响,避免结构断裂的产生;然后,通过目标块和其最佳邻域相似块共同约束样本块的选取,确定最佳样本块集;最后,利用权值分配法合成最佳样本块。实验结果表明,所提算法相比原Criminisi算法,其峰值信噪比（PSNR）提升了2~3 dB,相比基于稀疏表示的块优先权值计算的算法,其修复效率有明显的提高。所提算法不但适用于一般小尺度的破损图像的修复,而且对于含有丰富纹理信息和复杂结构信息的大破损图像的修复效果也更佳,并且修复后的图像更加符合人们视觉上的连通性。     

基于优先权改进和块划分的图像修复

目的 针对基于样本块的Criminisi图像修复算法易发生置信项迅速下降趋于零,使优先权计算公式失效,导致修复顺序错乱造成的修复效果失真问题,以及在搜索匹配块时存在的搜索范围过大,效率过低,易出现匹配到不符合视觉效果的纹理块问题,提出一种基于优先权改进和块划分的图像修复算法。方法 首先重新定义优先权中的置信项,用样本块中的棋盘距离替代原计算公式,保证优先权一直发挥作用,从而减少因修复顺序不合理造成的错误匹配;其次根据图像纹理信息将其自适应划分为不同大小的图像块,使待修复样本块只在具有相似特征的图像块区域内搜索匹配。结果 实验结果表明,新定义的优先权,保证了修复算法的正常进行,改善了修复图像的视觉效果;由图像自适应块划分引导匹配过程,可使匹配在更少的候选块中进行,提高了算法速度。将本文方法与3种全局搜索匹配方法和1种局部搜索匹配方法进行修复结果对比分析,本文方法的修复结果视觉完整性较好,而且修复时间小于其中3种算法。结论 通过改进Criminisi算法优先权中的置信项,避免因其趋于零导致的修复顺序错乱造成的错误累积情况的发生;同时通过改进待修复匹配块的搜索范围,对整幅图像进行自适应块划分,使搜索只在相似块中进行,不仅减少了时间,而且提高了匹配的准确性。本文方法对于自然图像中大面积目标物体移除方面有较好的应用,可获得较满意的修复效果。     

新的彩色图像分层修复方法

基于全变分的彩色图像修复(CTV)模型,可以在保持边缘的同时达到去噪目的,但对纹理较复杂的区域修复效果不理想。利用分层修复的思想在对整幅彩色图像进行CTV修复后,再对有明显修复痕迹的局部待修复区域使用基于块的纹理合成算法。实验结果表明,这种分层修复的方法在彩色图像的结构修复和纹理修复两方面实现较好的统一,既能很好地降噪,又能保持彩色图像的清晰边界,而且在较大区域图像修复上表现出良好的效果。     

Non‐Local Image Inpainting Using Low‐Rank Matrix Completion

In this paper, we propose a highly accurate inpainting algorithm which reconstructs an image from a fraction of its pixels. Our algorithm is inspired by the recent progress of non‐local image processing techniques following the idea of ‘grouping and collaborative filtering’. In our framework, we first match and group similar patches in the input image, and then convert the problem of estimating missing values for the stack of matched patches to the problem of low‐rank matrix completion, and finally obtain the result by synthesizing all the restored patches. In our algorithm, how to accurately perform patch matching process and solve the low‐rank matrix completion problem are key points. For the first problem, we propose a robust patch matching approach, and for the second task, the alternating direction method of multipliers is employed. Experiments show that our algorithm has superior advantages over existing inpainting techniques. Besides, our algorithm can be easily extended to handle practical applications including rendering acceleration, photo restoration and object removal.     

Texture Repairing by Unified Low Rank Optimization

In this paper, we show how to harness both low-rank and sparse structures in regular or near-regular textures for image completion. Our method is based on a unified formulation for both random and contiguous corruption. In addition to the low rank property of texture, the algorithm also uses the sparse assumption of the natural image: because the natural image is piecewise smooth, it is sparse in certain transformed domain (such as Fourier or wavelet transform). We combine low-rank and sparsity properties of the texture image together in the proposed algorithm. Our algorithm based on convex optimization can automatically and correctly repair the global structure of a corrupted texture, even without precise information about the regions to be completed. This algorithm integrates texture rectification and repairing into one optimization problem. Through extensive simulations, we show our method can complete and repair textures corrupted by errors with both random and contiguous supports better than existing low-rank matrix recovery methods. Our method demonstrates significant advantage over local patch based texture synthesis techniques in dealing with large corruption, non-uniform texture, and large perspective deformation.     

参照四邻域裁剪样本的图像修复算法

针对结构纹理信息较复杂、破损尺度较大的图像修复问题,提出一种既能保持图像特征又能提高修复速度的参照四邻域裁剪样本的修复算法,将图像修复问题转化为最佳样本的检索过程。首先,提取图像结构信息,并对图像进行区域划分以缩小样本的裁剪与检索范围;其次,为了改进离差平方和（SSD）方法对块的结构信息匹配的忽视,在像素块匹配计算中引入结构对称匹配约束,有效避免了误匹配,提高了图像块匹配精度及样本搜索效率;然后,通过引入结构因子和置信度,结合传统的优先权计算,得到突出结构作用的优先级公式;最后,利用目标块与四邻域块间的重叠区域计算四邻域参照优先级,并根据四邻域提供的可靠参照信息,依据改进的块匹配方法裁剪样本集并检索最佳样本块,直至所有目标块都检索匹配到最佳样本,完成修复。实验结果表明,该算法可以很好地解决纹理模糊和结构错位等问题,在提高图像修复速度的同时,所提算法修复效果的峰值信噪比（PSNR）比其他对比算法平均提高了0.5~1 dB,使得修复后的图像更好地满足视觉连通性,同时能高效地修复一般区域,具有更好的普适性。     

结构张量的改进Criminisi修复

目的 针对传统基于样本块的图像修复算法中仅利用图像的梯度信息和颜色信息来修复破损区域时,容易产生错误填充块的问题,本文在Criminisi算法的基础上,利用结构张量特性,提出了一种改进的基于结构张量的彩色图像修复算法。方法 首先利用结构张量的特征值定义新的数据项,以确保图像的结构信息能够更加准确地传播;然后利用该数据项构成新的优先权函数,使得图像的填充顺序更加精准;最后利用结构张量的平均相干性来自适应选择样本块大小,以克服结构不连续和错误延伸的缺点;同时在匹配准则中,利用结构张量特征值来增加约束条件,以减少错误匹配率。结果 实验结果表明,改进算法的修复效果较理想,在主观视觉上有明显的提升,其修复结果的峰值信噪比（PSNR）和结构相似度（SSIM）都有所提高;与传统Criminisi算法相比,其峰值信噪比提高了1~3 dB。结论 本文算法利用结构张量的特性实现了对不同结构特征的彩色破损图像的修复,对复杂的线性结构和纹理区域都有较理想的修复,有效地保持了图像边缘结构的平滑性,而且对大物体的移除和文字去除也有较好的修复效果。     

多级注意力传播驱动的生成式图像修复方法

现有图像修复方案普遍存在着结构错乱和细节纹理模糊的问题, 这主要是因为在图像破损区域的重建过程中, 修复网络难以充分利用非破损区域内的信息来准确地推断破损区域内容. 为此, 本文提出了一种由多级注意力传播驱动的图像修复网络. 该网络通过将全分辨率图像中提取的高级特征压缩为多尺度紧凑特征, 进而依据尺度大小顺序驱动紧凑特征进行多级注意力特征传播, 以期达到包括结构和细节在内的高级特征在网络中充分传播的目标. 为进一步实现细粒度图像修复重建, 本文还同时提出了一种复合粒度判别器, 以期实现对图像修复过程进行全局语义约束与非特定局部密集约束. 大量实验表明, 本文提出的方法可以产生更高质量的修复结果.     

基于扩张卷积的图像修复

现有图像修复方法虽然能够补全图像缺失区域的内容,但是仍然存在结构扭曲、纹理模糊、内容不连贯等问题,无法满足人们视觉上的要求。针对这些问题,提出一种基于扩张卷积的图像修复方法,通过引入扩张卷积的思想增大感受野来提升图像修复的质量。该方法基于生成对抗网络（GAN）的思想,分为生成网络和对抗网络。生成网络包括全局内容修复网络和局部细节修复网络,并使用gated卷积动态地学习图像特征,解决了使用传统卷积神经网络方法无法较好地补全大面积不规则缺失区域的问题。首先利用全局内容修复网络获得一个初始的内容补全结果,之后再通过局部细节修复网络对局部纹理细节进行修复。对抗网络由SN-PatchGAN鉴别器构成,用于评判图像修复效果的好坏。实验结果表明,与目前存在的图像修复方法相比,该方法在峰值信噪比（PSNR）、结构相似性（SSIM）、inception分数3个指标上都有较大的提升;而且该方法有效解决了传统修复方法出现的纹理模糊问题,较好地满足了人们的视觉连贯性,证实了提出的方法的有效性和可行性。     

邻域窗口权重变分的图像修复

目的 传统的基于样本块的图像修复算法对于破损区域周围既含有几何结构信息又含有丰富纹理信息的情形,修复过程中易出现纹理延伸现象和错误样本块问题,该研究旨在改进传统的修复算法,提出基于邻域窗口权重变分的图像修复算法。方法 该算法利用领域窗口总变分和内在变分构造出权重变分,通过对Criminisi算法中的优先级测度进行加权,提高了对几何结构信息和纹理信息的辨识能力,使几何结构信息得到优先修复;同时,在像素块的匹配过程中,通过引入整体结构差异算子,并与传统的颜色匹配相结合,提高了匹配精度。结果 改进的算法很好地克服了原算法中的纹理延伸和误匹配问题,保持了修复结果的视觉连通性,其峰值信噪比相比原算法提高23 dB。结论 相比于Criminisi算法及其相应的改进算法,本文算法能够对既含有几何结构又含有丰富纹理信息的破损区域取得更好的修复效果,同时,也能高效修复一般的破损区域,从而具有更好的普适性。     

Field of Particle Filters for Image Inpainting

We present a novel algorithm for solving the image inpainting problem based on a field of locally interacting particle filters. Image inpainting, also known as image completion, is concerned with the problem of filling image regions with new visually plausible data. In order to avoid the difficulty of solving the problem globally for the region to be inpainted, we introduce a field of local particle filters. The states of the particle filters are image patches. Global consistency is enforced by a Markov random field image model which connects neighbouring particle filters. The benefit of using locally interacting particle filters is that several competing hypotheses on inpainting solutions are kept active, allowing the method to provide globally consistent solutions on problems where other local methods may fail. We provide examples of applications of the developed method.     

快速结构化图像修补

图像修补的目的是对图像中缺失的区域进行修复,或是将图像中的物体抠去并进行背景填充,以取得融合到难以用肉眼分辨的效果。在图像修补的过程中,较大的结构信息是修补的难点。为此提出了一种快速结构化的图像修补算法,该方法将图像修补分为结构修补与纹理填充两个部分,即在用户指定待修补区域与结构曲线之后,首先定义全局最优化能量函数,并用动态规划与置信度传播的算法将其最小化来完成结构修补;然后对剩余的待修补区域通过按行扫描来进行纹理填充,其中对于边界处的点是使用基于样本的修补算法,而对于待修补区域内部的点,则使用快速的加权Ashikhmin-WL算法,扫描完成后输出修补后的图像;最后实现了一个快速结构化图像修补系统,并给出一些实验结果,从实验结果中可以看到,该方法的修补流程与算法是有实际应用价值的。     

新搜索策略下的快速图像修复算法

提出了一种新搜索策略下的快速图像修复算法。通过定义新的优先权计算函数,克服了图像低纹理区域修复过于滞后的问题。又通过预测修复后图像块统计属性,对所有待匹配的图像块进行筛选,加快了图像修复速度,改善了修复效果。实验结果显示,该算法适用于多种类型的数字图像修复。