参照四邻域裁剪样本的图像修复算法

针对结构纹理信息较复杂、破损尺度较大的图像修复问题,提出一种既能保持图像特征又能提高修复速度的参照四邻域裁剪样本的修复算法,将图像修复问题转化为最佳样本的检索过程。首先,提取图像结构信息,并对图像进行区域划分以缩小样本的裁剪与检索范围;其次,为了改进离差平方和（SSD）方法对块的结构信息匹配的忽视,在像素块匹配计算中引入结构对称匹配约束,有效避免了误匹配,提高了图像块匹配精度及样本搜索效率;然后,通过引入结构因子和置信度,结合传统的优先权计算,得到突出结构作用的优先级公式;最后,利用目标块与四邻域块间的重叠区域计算四邻域参照优先级,并根据四邻域提供的可靠参照信息,依据改进的块匹配方法裁剪样本集并检索最佳样本块,直至所有目标块都检索匹配到最佳样本,完成修复。实验结果表明,该算法可以很好地解决纹理模糊和结构错位等问题,在提高图像修复速度的同时,所提算法修复效果的峰值信噪比（PSNR）比其他对比算法平均提高了0.5~1 dB,使得修复后的图像更好地满足视觉连通性,同时能高效地修复一般区域,具有更好的普适性。     

基于改进Criminisi算法的地基云图修复方法

全天空成像仪（Total sky imager,TSI）对天空进行观测时,设备的结构特点会使采集到的云图信息不完整,对图像的分析造成不利影响。针对Criminisi算法修复地基云图所造成修复顺序发生错误、图像不连续以及匹配块遍历搜索时间复杂度大的问题,本文提出了一种基于改进Criminisi算法的地基云图修复方法。该算法改进了优先权计算公式,引入地基云图独特的红蓝比特征作为置信项,使得含有更多信息的像素块具有更高的优先级,在搜索匹配块的过程中,基于启发信息选择匹配区域的大小,避免了搜索到离待修复块较远的相关性较低的匹配块,也有效缩短了匹配块搜索时间,降低了算法的时间复杂度。实验结果表明,改进后的Criminisi算法具有较好的图像修复效果,且降低了时间复杂度,提高了修复效率。     

利用结构连续块和多尺度变换的缺损图像修复

针对严重缺损图像修复后往往存在信息连续性差的问题，以古墓葬壁画图像为例，提出基于结构连续块和多尺度变换相结合的修复方法。依据图像缺损标注结果确定缺损边界；通过下降置信度项、匹配置信度项、数据项和梯度项确定边界点优先权；利用待修复块与匹配块间像素差异和结构差异全局搜索得到最佳匹配块以替换待修复块；更新新补点置信度项，重确定缺损边界直至为空，得到粗修复结果，并转换到HSV（Hue Saturation Value）色彩空间；采用非下采样轮廓波变换（Nonsubsampled Contourlet Transform，NSCT）分解[V]分量，低频信息用抑制数据项方法修复后与其高频信息逆变换，其结果与[H、][S]分量合成并转换到RGB色彩空间，得到图像最终修复结果。实验结果表明，相比Criminisi等方法，基于结构连续块和多尺度变换相结合的方法在结构连续性、峰值信噪比和均方根误差方面均有所提升，证明了所提出方法的有效性。     

基于随机映射的快速图像修复算法

传统基于样本块的图像修复方法是在图像全局区域内循环搜索最优相似块,且结构传播过程易受置信因子影响,使得算法运算量大、时间长、效率低。针对以上问题,提出基于随机映射的修复算法。该算法采用随机映射的方法搜索与待修复区域在结构和纹理相似的样本区域,去除冗余的样本搜索空间;其次优化了基于置信因子和边缘信息的优先级计算方法,改进了最优相似块的计算方法,增强了图像结构传播的正确性。实验结果表明,该方法的修复速度比传统方法提高了5~10倍,且增强了图像修复效果。     

改进的Criminisi图像修复算法

图像修复是一种去除图像中多余物体并采用合理的纹理去填充待修复区域的技术。针对Criminisi等人提出的基于样本的图像修复算法,根据目标块中的结构信息与中心点梯度值的相关性,提出了一种新的优先权函数设计方法,以保持待修复区域的强连续性。为加快匹配效率,在确保要获取的匹配块在搜索范围内的同时,采用局部搜索匹配块的方法,相比Criminisi原算法中通过全局搜索得到匹配块的方式,速率更快。实验结果表明,该算法能获得更佳的修复效果。     

不规则块的图像补全算法

目的 目前在图像补全领域研究的重点和难点是补全具有复杂结构信息和丰富纹理信息的大破损区域的图像。传统的基于样本块的图像补全算法主要采用规则的模板块和匹配块来进行补全,补全过程中不能充分利用图像的结构或纹理的不规则信息,从而影响算法修复的精度和效率。针对这一问题,本研究提出一种基于不规则块的图像补全算法。方法 在该算法中,首先利用结构稀疏度来区分图像的结构信息和纹理信息并基于结构稀疏度和置信度计算破损区域边界点的优先级,然后选择优先级最高的点构造规则模板块。对处于复杂结构区域的模板块,如果其邻域含有已知的结构信息,则膨胀该规则模板并利用其周围的结构信息来辅助构造不规则模板块。接下来,在图像完好区域内搜索与该模板块对应的匹配块,如果该匹配块的邻域包含有效的结构信息,则膨胀该匹配块并补充其周围的结构信息来完善该不规则匹配块。最后,利用该不规则匹配块补全破损区域。对于补全过程中块间接缝造成的视觉不连通问题,本研究利用图像的纹理信息来进行修饰。结果 将本文算法与4种修复效果较好的算法（3种基于规则块的算法和1种基于局部敏感哈希的修复算法）进行对比,通过8组经典图像进行实例验证,采用客观评价指标峰值信噪比PSNR和主观视觉连通性进行评价,结果表明本文提出的算法峰值信噪比相较4种对比算法均有04 dB的提高,且在补全的精细度和视觉连通性方面有更佳的效果。结论 本文算法在补全含有较复杂结构和丰富纹理的破损自然图像、壁画图像和目标物体移除上有较好的修复效果,普适性较强。     

基于演化算法的纹理合成图像修复技术

针对Criminisi算法中计算待修复块优先级时存在的一些不足及搜索最佳匹配块效率低的问题,提出一种基于演化算法EA(Evolutionary Algorithm)的纹理合成图像修复技术。该算法首先从等照度线方向和梯度方向共同考虑待修复块的优先权,并根据梯度的变化来控制模板窗口的大小,然后提出用演化算法在待修复区域周围搜索最佳匹配块,最终达到快速准确修复图像的目的。仿真实验表明,提出的新算法与传统算法相比具有更快地收敛速度和更好地修复效果,其综合性能优于Criminisi算法。     

结合颜色和梯度信息的稀疏图像修复算法

现有基于稀疏性的图像修复算法仅利用颜色信息衡量样本块的相似度,易降低修复区域内结构部分的连通性及与邻域信息的连续一致性,同时在全局范围内搜索匹配块也增加了算法的运行时间.为解决上述问题,利用颜色与梯度模值信息度量样本块之间的距离,构造新的相似度以确定块结构稀疏度函数,利用块结构稀疏度确定填充顺序,同时构造新的匹配准则函数寻找匹配块;并利用块结构稀疏度值能够较好地反映样本块所处区域特征的特性,根据块结构稀疏度值自适应确定局部搜索区域大小.并通过实验验证在不同图像中颜色信息与梯度信息所占比例不同.实验结果表明,该算法较对比算法能够更好地保持结构部分的连贯性及与邻域信息的连续一致性,在峰值信噪比上至少提高1dB,并且算法速度提高4~11倍.     

基于优先权改进和块划分的图像修复

目的 针对基于样本块的Criminisi图像修复算法易发生置信项迅速下降趋于零,使优先权计算公式失效,导致修复顺序错乱造成的修复效果失真问题,以及在搜索匹配块时存在的搜索范围过大,效率过低,易出现匹配到不符合视觉效果的纹理块问题,提出一种基于优先权改进和块划分的图像修复算法。方法 首先重新定义优先权中的置信项,用样本块中的棋盘距离替代原计算公式,保证优先权一直发挥作用,从而减少因修复顺序不合理造成的错误匹配;其次根据图像纹理信息将其自适应划分为不同大小的图像块,使待修复样本块只在具有相似特征的图像块区域内搜索匹配。结果 实验结果表明,新定义的优先权,保证了修复算法的正常进行,改善了修复图像的视觉效果;由图像自适应块划分引导匹配过程,可使匹配在更少的候选块中进行,提高了算法速度。将本文方法与3种全局搜索匹配方法和1种局部搜索匹配方法进行修复结果对比分析,本文方法的修复结果视觉完整性较好,而且修复时间小于其中3种算法。结论 通过改进Criminisi算法优先权中的置信项,避免因其趋于零导致的修复顺序错乱造成的错误累积情况的发生;同时通过改进待修复匹配块的搜索范围,对整幅图像进行自适应块划分,使搜索只在相似块中进行,不仅减少了时间,而且提高了匹配的准确性。本文方法对于自然图像中大面积目标物体移除方面有较好的应用,可获得较满意的修复效果。     

基于统计及结构稀疏特性的图像修复算法

目前普遍使用的基于等照度线的优先权图像修复算法,不能快速准确地确定待修复图像的结构位置。提出利用破损区域边缘图像块的灰度均值直方图,快速准确定位结构点的位置,优先修复结构区域后,实现纹理区域修复,获得很好的修复结果。该算法与传统算法相比,不必计算每个边缘图像块的优先级,直接利用统计信息获得结构点的位置,比传统算法更准确获取结构点位置。算法的计算效率和修复效果都有了很大提升。     

划分特征子区域的图像修复算法

为了解决含有丰富纹理信息和复杂结构信息的大破损区域中的缺失信息修复的问题,提出了一种划分特征子区域的图像修复算法。首先,根据图像中包含的不同特征,运用特征公式进行特征提取,再通过统计特征值划分特征子区域,提高了图像修复的速度;其次,在原Criminisi算法的基础上改进了优先级的计算,通过增大结构项的影响,避免结构断裂的产生;然后,通过目标块和其最佳邻域相似块共同约束样本块的选取,确定最佳样本块集;最后,利用权值分配法合成最佳样本块。实验结果表明,所提算法相比原Criminisi算法,其峰值信噪比（PSNR）提升了2~3 dB,相比基于稀疏表示的块优先权值计算的算法,其修复效率有明显的提高。所提算法不但适用于一般小尺度的破损图像的修复,而且对于含有丰富纹理信息和复杂结构信息的大破损图像的修复效果也更佳,并且修复后的图像更加符合人们视觉上的连通性。     

结构张量的改进Criminisi修复

目的 针对传统基于样本块的图像修复算法中仅利用图像的梯度信息和颜色信息来修复破损区域时,容易产生错误填充块的问题,本文在Criminisi算法的基础上,利用结构张量特性,提出了一种改进的基于结构张量的彩色图像修复算法。方法 首先利用结构张量的特征值定义新的数据项,以确保图像的结构信息能够更加准确地传播;然后利用该数据项构成新的优先权函数,使得图像的填充顺序更加精准;最后利用结构张量的平均相干性来自适应选择样本块大小,以克服结构不连续和错误延伸的缺点;同时在匹配准则中,利用结构张量特征值来增加约束条件,以减少错误匹配率。结果 实验结果表明,改进算法的修复效果较理想,在主观视觉上有明显的提升,其修复结果的峰值信噪比（PSNR）和结构相似度（SSIM）都有所提高;与传统Criminisi算法相比,其峰值信噪比提高了1~3 dB。结论 本文算法利用结构张量的特性实现了对不同结构特征的彩色破损图像的修复,对复杂的线性结构和纹理区域都有较理想的修复,有效地保持了图像边缘结构的平滑性,而且对大物体的移除和文字去除也有较好的修复效果。     

基于统计特征的图像修复

在基于样图图像修复思想的基础上,从填充顺序和匹配准则两个方面进行改进,提出了一种图像修复方法。优先级函数加入了面片梯度信息和方差信息,使得填充顺序能够正确地修复结构和纹理信息。匹配准则采用自定义的颜色特征函数和统计特征函数对相似片进行两重匹配,取最优匹配块填充。一系列的修复实例证明该方法的有效性和鲁棒性。     

基于图像结构纹理分解及局部总变分最小化的图像修复模型

在基于样例的图像修复算法中,由于优先权公式的计算容易受图像局部噪声和细小纹理的干扰,导致修复顺序错乱;而在搜索最优匹配块时,因忽略了图像块内部的结构影响,可能导致误匹配。针对以上问题提出了一种基于图像的结构-纹理分解及局部总变分最小化的图像修复模型。首先,根据对数总变分最小化模型,将待修复图像进行结构-纹理分解,得到图像的结构分量,并利用图像的结构分量来计算待修复点优先权,使优先权的计算排除局部纹理干扰而更具鲁棒性;其次,将优先权的计算改进为数据项和置信项的加权和,避免了乘积效应,确保数据项一直发挥作用,减少因修复顺序不合理造成的错误匹配;最后,根据图像的局部总变分最小化原则,将图像块的最优匹配转换为0-1优化问题,确保图像修复后的局部结构一致性。与3组参考文献的5组对比实验结果表明,峰值信噪比（PSNR）提高了1.12~3.56 dB,结构相似性指数提高了0.02~0.04。所提模型更好地遵循了修复优先性原则,具有更强的保持图像局部结构一致性的能力,改善了修复图像的视觉效果,适用于复杂结构的大面积毁损的图像的修复。     

一种改进的基于样本的图像修复方法

分析了Criminisi等人提出的基于样本的图像修复算法,针对其在计算修复块优先级时存在的一些不足,提出一种改进的基于样本的图像修复方法,通过基于TV模型的分解算法将待修复图像分解为结构图像和纹理图像,利用结构图像来计算修复块的优先级,使得优先级的计算更加准确。实验结果表明该方法对图像结构边缘的修复有明显的改善。     

基于样本块与曲率特征的图像修复改进算法*

针对目前基于样本块的图像修复算法在图像修复过程中容易产生错误的匹配纹理块,难以保持纹理结构连贯性的问题,提出了结合等照度线的曲率特征和高斯函数的图像修复改进算法,首先在数据项中引入了反映纹理结构特征的曲率因子来计算优先权;其次运用高斯函数更新置信项,避免了因置信项快速下降而导致的误匹配问题。通过计算修复结果的PSNR值与其他算法进行对比,实验结果表明,该算法对丰富纹理信息的图像有更好的修复效果。     

Combined frequency and spatial domain-based patch propagation for image completion

Film and photography archives now have an accelerated rate of degradation. Because the preservation of cultural heritage plays an important role in our society, photograph and film restoration has recently drawn a substantial amount of attention. In this paper, an approach that involves exemplar-based inpainting, aimed at determining patch priority and patch matching, is proposed. Different image regions have different levels of importance for vision perception; hence, a priority score must be assigned. Patch priority is calculated by the energy of its distributed cosine transform coefficients (DCT term) and the edge term. The edge term prioritizes the edge patches and the energy of the DCT coefficients of the patch is used as a discriminator for patches with similar edge terms. Patch inpainting is performed by assessing the similarity between the patches in such a manner that the similarity measure is consistent with human visual judgment. Therefore, a structure-based similarity measure is developed. Further, the interpolated missing pixels at the patch are also considered for applying the structure-based patch matching criteria in finding the candidate patch. Experimental results on damaged digitized photographs and natural images are presented, which demonstrate the effectiveness of the image completion framework for tasks such as scratch/text, object removal and image inpainting.     

基于改进Criminisi算法的图像修复

针对Criminisi算法难以获得理想的修复效果,且存在修复时间过长等缺陷,提出一种改进Criminisi算法的图像修复算法。改进优先权计算方式找到最优待修复块,完善最优匹配块搜索策略,找到最优匹配块,采用新的置信值更新方式以获得更为理想修复效果,通过仿真实验测试算法性能,结果表明,相较于Criminisi算法,改进Criminisi算法不仅获得了较理想的图像修复效果,而且大幅度减少了修复时间,提高了图像修复的效果。