变分模型在矢量图像修复中的应用

图像修复是指恢复图像中破损区域的颜色信息或者去除图像中的多余物体。分析了基于整体变分法TV模型以及矢量图像耦合技术的原理,根据矢量图像耦合思想将整体变分法运用到矢量图像中并对矢量图像进行试验。实验结果表明：改进的矢量图像耦合修复模型能较好地修复大块彩色图像的缺失信息和移除多余物体,能保持彩色图像的边缘,且有较好的去噪功能。     

新搜索策略下的快速图像修复算法

提出了一种新搜索策略下的快速图像修复算法。通过定义新的优先权计算函数,克服了图像低纹理区域修复过于滞后的问题。又通过预测修复后图像块统计属性,对所有待匹配的图像块进行筛选,加快了图像修复速度,改善了修复效果。实验结果显示,该算法适用于多种类型的数字图像修复。     

基于均方差快速增强的图像修复算法

在分析几种关键图像修复算法的实现原理、适用性及其优劣的基础上,针对目前图像修复算法可能存在适用性有限、优化修复算法中存在的算法复杂度较高或者未考虑破损图像的结构信息的情况,提出了一种基于数据融合的加权均方差快速增强图像修复算法,并将其应用于壁画和自然图像的修复实验中。通过系统仿真实验证明,在修复强结构纹理自然图像和壁画时该方法能紧密结合图像结构信息进行有效地修复,同时,其适用性在原有的基础上有所提高。     

Combined frequency and spatial domain-based patch propagation for image completion

Film and photography archives now have an accelerated rate of degradation. Because the preservation of cultural heritage plays an important role in our society, photograph and film restoration has recently drawn a substantial amount of attention. In this paper, an approach that involves exemplar-based inpainting, aimed at determining patch priority and patch matching, is proposed. Different image regions have different levels of importance for vision perception; hence, a priority score must be assigned. Patch priority is calculated by the energy of its distributed cosine transform coefficients (DCT term) and the edge term. The edge term prioritizes the edge patches and the energy of the DCT coefficients of the patch is used as a discriminator for patches with similar edge terms. Patch inpainting is performed by assessing the similarity between the patches in such a manner that the similarity measure is consistent with human visual judgment. Therefore, a structure-based similarity measure is developed. Further, the interpolated missing pixels at the patch are also considered for applying the structure-based patch matching criteria in finding the candidate patch. Experimental results on damaged digitized photographs and natural images are presented, which demonstrate the effectiveness of the image completion framework for tasks such as scratch/text, object removal and image inpainting.     

结构张量的改进Criminisi修复

目的 针对传统基于样本块的图像修复算法中仅利用图像的梯度信息和颜色信息来修复破损区域时,容易产生错误填充块的问题,本文在Criminisi算法的基础上,利用结构张量特性,提出了一种改进的基于结构张量的彩色图像修复算法。方法 首先利用结构张量的特征值定义新的数据项,以确保图像的结构信息能够更加准确地传播;然后利用该数据项构成新的优先权函数,使得图像的填充顺序更加精准;最后利用结构张量的平均相干性来自适应选择样本块大小,以克服结构不连续和错误延伸的缺点;同时在匹配准则中,利用结构张量特征值来增加约束条件,以减少错误匹配率。结果 实验结果表明,改进算法的修复效果较理想,在主观视觉上有明显的提升,其修复结果的峰值信噪比（PSNR）和结构相似度（SSIM）都有所提高;与传统Criminisi算法相比,其峰值信噪比提高了1~3 dB。结论 本文算法利用结构张量的特性实现了对不同结构特征的彩色破损图像的修复,对复杂的线性结构和纹理区域都有较理想的修复,有效地保持了图像边缘结构的平滑性,而且对大物体的移除和文字去除也有较好的修复效果。     

Example-based 3D inpainting of point clouds using metric tensor and Christoffel symbols

In this paper, we address the problem of 3D inpainting using example-based methods for point cloud data. 3D inpainting is a process of filling holes or missing regions in the reconstructed 3D models. Typically inpainting methods addressed in the literature fill missing regions due to occlusions or inaccurate scanning of 3D models. However, we focus on scenarios involving naturally existing damaged models which are partly broken or incomplete in artifacts at cultural heritage sites. We propose two example-based inpainting techniques, namely region of interest (ROI)-based and patch-based methods, to inpaint the missing regions of the damaged model. For both the methods, we represent the 3D model as a set of Riemannian manifolds in Euclidean space, to capture the inherent geometry using metric tensor and Christoffel symbols as geometric features and decompose into basic shape (such as spherical, conical and cylindrical) regions using decomposition algorithm derived from supervised learning. In ROI-based method, instead of using single similar example for inpainting, we select the most relevant regions that best-fit the missing region from the set of basic shape regions derived from n similar examples. And in patch-based method, we not only select the most relevant regions but cluster the regions into a set of patches. The best corresponding patches that match the missing region to be inpainted are considered to be the most relevant best-fit patches that cover the complete missing region. We demonstrate the performance of proposed inpainting methods on cultural heritage artifacts with varying complexities and sizes for both synthetically generated holes and real missing regions.     

Image inpainting with salient structure completion and texture propagation

Image inpainting technique uses structural and textural information to repair or fill missing regions of a picture. Inspired by human visual characteristics, we introduce a new image inpainting approach which includes salient structure completion and texture propagation. In the salient structure completion step, incomplete salient structures are detected using wavelet transform, and completion order is determined through color texture and curvature features around the incomplete salient structures. Afterwards, curve fitting and extension are used to complete the incomplete salient structures. In the texture propagation step, the proposed approach first synthesizes texture information of completed salient structures. Then, the texture information is propagated into the remaining missing regions. A number of examples on real and synthetic images demonstrate the effectiveness of our algorithm in removing occluding objects. Our results compare favorably to those obtained by existing greedy inpainting techniques.     

一种改进的基于样图的图像修复算法

图像修复的目的是填补有信息缺损的图像,并使观察者无法察觉出图像的填补痕 迹。分析了图像修复技术中的Criminisi算法,针对它的不足,提出一种新的改进算法。新算法从4个方面加以改进：使用了新的优先权计算函数,优化了优先权大小选择的计算,避免了因模板数据项迅速衰减带来的错误填充次序;利用Sobel算子改进等照度线计算,使等照度线上的点优先被修复;采用新的匹配方法,将查找匹配的范围锁定在破损区域的边缘。最后为了平滑置信值更新导致的误差传播,定义了新的置信值更新方程。实验结果证明,本文图像修复算法不但可以改善图像修复质量,还可以提高图像修复效率。     

采用TV及纹理合成技术的分层图像修复

整体变分（TV）模型在图像修复中能够保持图像的边缘且数值实现方便,但在图像修复中对于人类视觉连通性的处理还有所不足。根据图像遗失或者损坏的不同类型,针对TV、CDD模型在图像修复中存在的问题,提出了一种结合TV、CDD模型及基于块的纹理合成算法的分层图像修复算法。实验结果表明,这种分层修复的方法在图像的结构修复和纹理修复两方面实现了较好的统一,而且在较大区域图像修复上表现出良好的效果。     

Image completion using prediction concept via support vector regression

Image completion is a widely used method for automatically removing objects or repairing the damaged portions of an image. However, information of the original image is often lacking in reconstructed structures; therefore, images with complex structures are difficult to restore. This study proposes a prediction-oriented image completion mechanism (PICM), which applies the prediction concept to image completion using numerous techniques and methods. The experiment results indicate that under normal circumstances, our PICM not only produces good inpainting quality but it is also easy to use.     

采用加权优化的图像修复

针对目前贪婪修复算法可能存在修复效果视觉不一致以及优化修复算法中存在的算法复杂度较高或者未考虑结构信息的情况,提出一种基于加权优化的图像修复算法,通过定义出新的能量函数,把图像破损修复问题转化为加权的离散优化问题,在保证结构信息强、信任度高的区域被优先修复的前提下,利用贪婪修复思想获取初值并计算权值,然后通过类EM算法迭代求解出破损区域中每一个像素的最佳值。与其他贪婪合成和最优化方法相比,优先考虑结构信息对修复效果的影响,更好地保持了纹理和结构的整体一致性。     

基于优先权改进和块划分的图像修复

目的 针对基于样本块的Criminisi图像修复算法易发生置信项迅速下降趋于零,使优先权计算公式失效,导致修复顺序错乱造成的修复效果失真问题,以及在搜索匹配块时存在的搜索范围过大,效率过低,易出现匹配到不符合视觉效果的纹理块问题,提出一种基于优先权改进和块划分的图像修复算法。方法 首先重新定义优先权中的置信项,用样本块中的棋盘距离替代原计算公式,保证优先权一直发挥作用,从而减少因修复顺序不合理造成的错误匹配;其次根据图像纹理信息将其自适应划分为不同大小的图像块,使待修复样本块只在具有相似特征的图像块区域内搜索匹配。结果 实验结果表明,新定义的优先权,保证了修复算法的正常进行,改善了修复图像的视觉效果;由图像自适应块划分引导匹配过程,可使匹配在更少的候选块中进行,提高了算法速度。将本文方法与3种全局搜索匹配方法和1种局部搜索匹配方法进行修复结果对比分析,本文方法的修复结果视觉完整性较好,而且修复时间小于其中3种算法。结论 通过改进Criminisi算法优先权中的置信项,避免因其趋于零导致的修复顺序错乱造成的错误累积情况的发生;同时通过改进待修复匹配块的搜索范围,对整幅图像进行自适应块划分,使搜索只在相似块中进行,不仅减少了时间,而且提高了匹配的准确性。本文方法对于自然图像中大面积目标物体移除方面有较好的应用,可获得较满意的修复效果。     

方向性纹理图像的修复算法

自然图片和一些方向性纹理图像通常有污点或者希望去掉覆盖背景的一些目标,如果直接擦掉前景会留下一个“空洞”。针对这种强方向性纹理分布图像,提出一种修复算法去填充这些“空洞”。由于强方向性,算法通过在局部区域选择图像块以合成缺失的图像块。若缺失信息的图像块BT附近的为已知图像块BTN,沿着纹理/颜色分布的方向或者约束的方向搜索,可以找到与BTN最相似的块BSN,并用BSN附近的图像块BS去更新BT。在更新BT前,计算块与块之间边界的最小误差路径,以其为更新边界,以减小拼接的痕迹。最后文章给出了对不同的纹理图像修复的例子,以说明方法的有效性。     

划分特征子区域的图像修复算法

为了解决含有丰富纹理信息和复杂结构信息的大破损区域中的缺失信息修复的问题,提出了一种划分特征子区域的图像修复算法。首先,根据图像中包含的不同特征,运用特征公式进行特征提取,再通过统计特征值划分特征子区域,提高了图像修复的速度;其次,在原Criminisi算法的基础上改进了优先级的计算,通过增大结构项的影响,避免结构断裂的产生;然后,通过目标块和其最佳邻域相似块共同约束样本块的选取,确定最佳样本块集;最后,利用权值分配法合成最佳样本块。实验结果表明,所提算法相比原Criminisi算法,其峰值信噪比（PSNR）提升了2~3 dB,相比基于稀疏表示的块优先权值计算的算法,其修复效率有明显的提高。所提算法不但适用于一般小尺度的破损图像的修复,而且对于含有丰富纹理信息和复杂结构信息的大破损图像的修复效果也更佳,并且修复后的图像更加符合人们视觉上的连通性。     

面向图像修复的增强语义双解码器生成模型

目的 图像修复技术虽然取得了长足进步,但是当图像中缺失区域较大时,非缺失区域提供的信息量非常有限,从而导致难以产生语义信息一致的内容来增强修复图像和真实图像的视觉一致性;同时图像修复常使用两阶段网络结构,基于该结构的模型不仅需要较长的训练时间,还会导致图像修复效果对第1阶段输出结果依赖性较强。针对上述问题,提出了一种基于双解码器的增强语义一致的图像修复方法。方法 使用双解码器网络结构消除两阶段修复方法中存在的依赖性问题,同时有效缩短模型的训练时间;利用一致性损失、感知损失和风格损失,更好地捕获图像的上下文语义信息,解决图像修复任务中出现的视觉不一致的问题。此外,本文使用了跳跃连接,并引入多尺度注意力模块和扩张卷积,进一步提高了网络的特征提取能力。结果 为了公正地评价,在Celeb A、Stanford Cars和UCF Google Street View共3个数据集上对具有规则和不规则缺失区域的图像分别进行实验,采用客观评价指标:均方误差(L₂)、峰值信噪比(peak signal-to-noise ratio,PSNR)、结构相似性(structural si...     

新的彩色图像分层修复方法

基于全变分的彩色图像修复(CTV)模型,可以在保持边缘的同时达到去噪目的,但对纹理较复杂的区域修复效果不理想。利用分层修复的思想在对整幅彩色图像进行CTV修复后,再对有明显修复痕迹的局部待修复区域使用基于块的纹理合成算法。实验结果表明,这种分层修复的方法在彩色图像的结构修复和纹理修复两方面实现较好的统一,既能很好地降噪,又能保持彩色图像的清晰边界,而且在较大区域图像修复上表现出良好的效果。     

一种改进的基于样本块的目标移除方法

图像修补的目的是对指定的区域进行修补,填补该区域的信息,并且要求最终图像的原有区域与填补区域间的过渡自然,尽量减少人工痕迹。Criminisi曾提出一种基于样本块的图像修补方法,这种方法不仅适用于对数字图像中的大面积破损区域进行修补,而且可以用于移除图像中不想要的目标物。对Criminisi的方法进行改进,在计算优先权时增加多个已知像素的梯度信息,并且用加法代替乘法防止了快速衰减,对于一些比较特殊的图像,通过改变修补顺序提高修补效果。大量实验结果表明,与Crimini-si的方法相比,该方法能够取得更好的视觉效果。     

Edge-guided GAN：边界信息引导的深度图像修复

目的 目前大多数深度图像修复方法可分为两类：色彩图像引导的方法和单个深度图像修复方法。色彩图像引导的方法利用色彩图像真值,或其上一帧、下一帧提供的信息来修复深度图像。若缺少相应信息,这类方法是无效的。单个深度图像修复方法可以修复数据缺失较少的深度图像。但是,无法修复带有孔洞（数据缺失较大）的深度图像。为解决以上问题,本文将生成对抗网络（generative adversarial network,GAN）应用于深度图像修复领域,提出了一种基于GAN的单个深度图像修复方法,即Edge-guided GAN。方法 首先,通过Canny算法获得待修复深度图像的边界图像,并将此两个单通道图像（待修复深度图像和边界图像）合并成一个2通道数据;其次,设计Edge-guided GAN高性能的生成器、判别器和损失函数,将此2通道数据作为生成器的输入,训练生成器,以生成器生成的深度图像（假值）和深度图像真值为判别器的输入,训练判别器;最终得到深度图像修复模型,完成深度图像修复。结果 在Apollo scape数据集上与其他4种常用的GAN、不带边界信息的Edge-guided GAN进行实验分析。在输入尺寸为256×256像素,掩膜尺寸为32×32像素情况下,Edge-guided GAN的峰值信噪比（peak signal-to-noise ratio,PSN）比性能第2的模型提高了15.76%;在掩膜尺寸为64×64像素情况下,Edge-guided GAN的PSNR比性能第2的模型提高了18.64%。结论 Edge-guided GAN以待修复深度图像的边界信息为其修复的约束条件,有效地提取了待修复深度图像特征,大幅度地提高了深度图像修复的精度。     

相似度自适应样本块的高分辨SAR图像阴影修复

高分辨率SAR图像目标阴影可为目标识别提供更多的信息,对SAR图像目标阴影进行修复可以获取完整的目标阴影.采用传统样本匹配方法对SAR图像进行目标阴影修复时会出现阴影区域漏判问题和过渡区域不均匀问题.提出一种相似度自适应样本块的SAR图像目标阴影修复方法.利用SAR图像中目标及其阴影斜距的相对位置关系作为待修复区域的预判依据,有效地解决了阴影区域漏判问题;然后采用相似度自适应样本块的图像修复方法,改善了过渡区域不均匀问题.实验结果表明,本文方法可以有效地恢复高分辨率SAR图像中缺失的目标阴影.     

基于大位移视点图像的单帧图像修复

提出一种基于大位移视点图像的单帧图像修复算法,利用大位移视点图像中的可见信息修补目标图像中的被遮挡或信息丢失区域.算法的关键在于如何转化大位移视点图像的可见信息为可用信息,以及如何利用得到的可用信息来有效地修补目标图像.在交互指定待修复的目标区域后,算法首先将所有图像分割为不同的平面场景区域,并基于图像匹配将大位移视点图像中的平面场景区域变换到当前视点.因此,其中的可见信息就可被直接使用.进而通过定义合适的修复和融合优先级函数,提出基于纹理合成和图像融合的图像修复算法,利用获得的可用信息来修补目标区域.修复区域和目标图像之间的鬼影现象使用Poisson图像融合算法来消除,以达到无缝的修复结果.实验结果表明,该算法能够修复较大的丢失信息区域中的结构和纹理信息,具有一定的实用价值.