基于边缘特征和像素结构相似度的图像修复算法

针对Criminisi算法的块匹配准则仅采取单一颜色判断因子导致无法合理选择最佳样本块,且其在修复过程中使用单一修复模板易出现填充裂纹和错误像素的问题,提出基于边缘特征和像素结构相似度的图像修复算法.首先提出一种局部特征与边缘纹理分辨相结合的分段修复算法以增强边缘纹理分辨能力;其次采用样本相似度和信息熵相似度确定最佳样本块集合,并依据颜色和特征项的欧氏几何距离及结构相似性确立块匹配准则;再通过基于信息熵的自适应修复模板解决Criminisi算法的填充裂纹和错误像素问题;最后引入果蝇优化算法以减少图像修复时间.实验结果证明,对于不同的图像,文中算法能取得较为满意的修复效果和修复效率.     

一种改进的基于样本的图像修复方法

分析了Criminisi等人提出的基于样本的图像修复算法,针对其在计算修复块优先级时存在的一些不足,提出一种改进的基于样本的图像修复方法,通过基于TV模型的分解算法将待修复图像分解为结构图像和纹理图像,利用结构图像来计算修复块的优先级,使得优先级的计算更加准确。实验结果表明该方法对图像结构边缘的修复有明显的改善。     

划分特征子区域的图像修复算法

为了解决含有丰富纹理信息和复杂结构信息的大破损区域中的缺失信息修复的问题,提出了一种划分特征子区域的图像修复算法。首先,根据图像中包含的不同特征,运用特征公式进行特征提取,再通过统计特征值划分特征子区域,提高了图像修复的速度;其次,在原Criminisi算法的基础上改进了优先级的计算,通过增大结构项的影响,避免结构断裂的产生;然后,通过目标块和其最佳邻域相似块共同约束样本块的选取,确定最佳样本块集;最后,利用权值分配法合成最佳样本块。实验结果表明,所提算法相比原Criminisi算法,其峰值信噪比（PSNR）提升了2~3 dB,相比基于稀疏表示的块优先权值计算的算法,其修复效率有明显的提高。所提算法不但适用于一般小尺度的破损图像的修复,而且对于含有丰富纹理信息和复杂结构信息的大破损图像的修复效果也更佳,并且修复后的图像更加符合人们视觉上的连通性。     

结构张量的改进Criminisi修复

目的 针对传统基于样本块的图像修复算法中仅利用图像的梯度信息和颜色信息来修复破损区域时,容易产生错误填充块的问题,本文在Criminisi算法的基础上,利用结构张量特性,提出了一种改进的基于结构张量的彩色图像修复算法。方法 首先利用结构张量的特征值定义新的数据项,以确保图像的结构信息能够更加准确地传播;然后利用该数据项构成新的优先权函数,使得图像的填充顺序更加精准;最后利用结构张量的平均相干性来自适应选择样本块大小,以克服结构不连续和错误延伸的缺点;同时在匹配准则中,利用结构张量特征值来增加约束条件,以减少错误匹配率。结果 实验结果表明,改进算法的修复效果较理想,在主观视觉上有明显的提升,其修复结果的峰值信噪比（PSNR）和结构相似度（SSIM）都有所提高;与传统Criminisi算法相比,其峰值信噪比提高了1~3 dB。结论 本文算法利用结构张量的特性实现了对不同结构特征的彩色破损图像的修复,对复杂的线性结构和纹理区域都有较理想的修复,有效地保持了图像边缘结构的平滑性,而且对大物体的移除和文字去除也有较好的修复效果。     

基于边缘先验融合动态门控特征的人脸图像修复

为解决现有人脸图像修复算法因无法提取动态特征和缺乏边缘先验信息导致修复大区域不规则破损时纹理模糊和结构扭曲问题,提出了基于边缘先验融合动态门控特征的人脸图像修复算法。首先,设计动态门控卷积模块动态提取破损区域特征,关联已知区域和缺失区域的有效特征,提升纹理细腻度;然后,设计动态门控边缘增强网络和U型编码纹理修复网络,边缘增加网络旨在获取边缘轮廓信息,为U型编码纹理修复网络提供结构先验约束;U型编码纹理修复网络采用UNet++网络融合多层特征以保证人脸修复图像结构和纹理一致性;最后,通过消融实验证明UNet++网络的有效性和通用性,并剪枝U型网络以选取适宜的人脸图像模型表征层进行缺失区域纹理重建,在CelebA-HQ人脸数据集上进行实验评估。实验结果表明：相较于主流算法,所提方法在SSIM上平均提升3.87%,PSNR平均提升3.79 dB,FID平均下降16.54%,能有效修复大区域不规则缺失面积,生成纹理清晰、结构合理的图像。     

改进的Criminisi图像修复算法

针对Criminisi等人提出的基于样本的图像修复算法在确定匹配块大小时存在的一些不足,提出了一种改进的基于样本的图像修复算法。该算法根据样本的纹元大小确定其匹配块大小,使得匹配更为准确,并利用多级合成提高修复效果,弥补了Criminisi算法修复时出现的结构断裂缺陷。实验结果表明,该方法在修复强结构纹理图像时有很好的效果。     

自适应样本块局部搜索算法对古代寺观壁画的修复

针对开化寺宋代寺观壁画存在的脱落病害侵蚀问题,在Criminisi算法的基础上,提出一种自适应样本块局部搜索(ASB-LS)的图像修复算法,实现了壁画脱落区域的虚拟修复.首先分析壁画的构图特征,引入结构张量,利用其特征值重新定义数据项,确保图像的结构信息可以准确传播;然后利用该数据项构成新的优先级函数,使得图像的填充顺序更合理;最后利用结构张量的平均相关性自适应选择样本块的大小,同时采用局部搜索策略提升匹配效率,有效地避免了修复后图像结构误传播和匹配块盲目搜索的问题.在VisualStudio2015环境下、采用开化寺宋代壁画进行仿真实验,与Criminisi算法和其他相关算法相比较,结果表明,提出的ASB-LS算法的修复效果较理想,主观视觉上有明显提升,更符合图像的构图特征;同时修复效率有较大提升,峰值信噪比最大提高了3.1 dB,平均提高了0.9 dB,为古代壁画的实际修复奠定了良好的基础.     

基于结构相关性的自适应图像修复

针对传统的Criminisi修复算法中优先函数计算的不足,以及修复后图像质量下降的问题,文中提出了一种基于结构相关性的自适应图像修复算法。首先,引入结构相关性,对优先权计算进行改进,增加优先权计算的可靠性;然后,自适应选择样本块大小,使修复更加准确并提高修复效率;最后,引入HSV颜色空间,根据样本的色度、亮度来搜寻最佳匹配块,减少修复误差,完成图像恢复。实验结果表明,所提算法在主观视觉上有明显提升,并且在峰值信噪比(PSNR)和结构相似度(SSIM)方面均有一定提高,修复效果明显,与传统的Criminisi修复算法相比,其峰值信噪比提高了1～3 dB,结构相似度更接近1。所提算法利用结构相关性和自适应选择样本块大小对彩色破损图像进行修复,优先权计算更加合理准确,修复效率有所提高,修复效果可视性更佳,有利于实际应用。     

邻域窗口权重变分的图像修复

目的 传统的基于样本块的图像修复算法对于破损区域周围既含有几何结构信息又含有丰富纹理信息的情形,修复过程中易出现纹理延伸现象和错误样本块问题,该研究旨在改进传统的修复算法,提出基于邻域窗口权重变分的图像修复算法。方法 该算法利用领域窗口总变分和内在变分构造出权重变分,通过对Criminisi算法中的优先级测度进行加权,提高了对几何结构信息和纹理信息的辨识能力,使几何结构信息得到优先修复;同时,在像素块的匹配过程中,通过引入整体结构差异算子,并与传统的颜色匹配相结合,提高了匹配精度。结果 改进的算法很好地克服了原算法中的纹理延伸和误匹配问题,保持了修复结果的视觉连通性,其峰值信噪比相比原算法提高23 dB。结论 相比于Criminisi算法及其相应的改进算法,本文算法能够对既含有几何结构又含有丰富纹理信息的破损区域取得更好的修复效果,同时,也能高效修复一般的破损区域,从而具有更好的普适性。     

基于聚类分割和纹理合成的图像修复改进算法

Criminisi提出的基于样本的图像修复技术需要在整幅图像中遍历样本,代价太大,并可能因选择错误的样本,不断迭代更新后而导致错误信息累积,使修复结果出现较大的偏差。同时,考虑到Criminisi算法中优先权函数的计算失误可能导致修复结果中出现结构失真,由此提出一种基于聚类分割和纹理合成的图像修复改进算法,将目标样本块的搜索限定在与源样本块所覆盖的类别一致的区域当中。在像素点优先权计算中,引入该像素点邻域灰度梯度差值信息,提出更为合理的优先权计算公式,以最大限度保证复杂场景中边缘优先传递,并在置信度更新项中有差别地对待新填充像素点。通过实验证明,改进算法不仅解决了Criminisi算法可能存在的结构偏差延续问题,修复视觉效果更加符合人们的主观感受,而且大大缩短了修复时间。     

利用纹理和边缘特征的Criminisi改进算法

针对Criminisi算法在图像修复过程中易将纹理部分误认为边缘部分,造成修复顺序偏差而影响修复效果的不足,充分利用图像的纹理结构特征和边缘结构特征,引入差别因子,改进优先权模型,以增强对结构部分的辨别能力,并通过采用新型的搜索方式来克服在修复过程中易产生瑕疵点的不足来完善修复效果。实验结果表明,改进算法较好地克服了原算法所存在的纹理延伸等不足,保持了修复内容的线性结构,其峰值信噪比相比于原算法提高了23 dB,具有更好的视觉效果。     

融合边缘检测和自注意力的图像修复方法

针对修复后图像边界模糊、图像纹理不清晰、视觉效果差的问题,提出了一种融合边缘检测和自注意力机制的生成式对抗修复模型.通过边缘检测可提取出图像的轮廓信息,避免了修复后边界模糊的问题;利用自注意力机制能够捕获图像全局信息并生成图像精确细节的能力,设计出融合自注意力机制的纹理修复网络.该模型由边缘补全网络和纹理修复网络组成,首先,设计的边缘补全网络对受损图像的边缘进行补全,得到边缘补全图像;其次,利用纹理修复网络联合补全的边缘图像对缺失区域的纹理进行精确修复.在CelebA和Place2两个图像数据集上对本文所建模型进行了训练和测试.实验结果表明:本文所建模型与现有图像修复方法相比,大幅提高了图像修复的精确度,且生成的图像更加逼真.     

小波变换与纹理合成相结合的图像修复

目的 为了克服传统的图像修复算法在结构和纹理边界的错误修复,利用小波变换域的系数特征,探讨了一种基于小波变换与纹理合成相结合的修复算法。方法 算法先利用小波变换将待修复图像分解成具有不同分辨率的低频子图和高频子图,然后根据不同子图各自的特征分别进行修复。对代表图像结构信息的低频子图,采用FMM(fast marching method)算法进行修复;对代表图像纹理信息的高频子图,根据各子图中小波系数的特征,利用纹理合成方法进行修复。结果 分层、分类修复方法对边缘破损具有良好的修复效果,其峰值信噪比相比于传统算法提高了1~2 dB。结论 与相关算法相比,本文算法的综合修复能力较好,可以有效修复具有较强边缘和丰富纹理的破损图像,尤其对破损自然图像的修复,修复后图像质量得到较大提升,修复效果更符合人眼视觉效应。     

参照四邻域裁剪样本的图像修复算法

针对结构纹理信息较复杂、破损尺度较大的图像修复问题,提出一种既能保持图像特征又能提高修复速度的参照四邻域裁剪样本的修复算法,将图像修复问题转化为最佳样本的检索过程。首先,提取图像结构信息,并对图像进行区域划分以缩小样本的裁剪与检索范围;其次,为了改进离差平方和（SSD）方法对块的结构信息匹配的忽视,在像素块匹配计算中引入结构对称匹配约束,有效避免了误匹配,提高了图像块匹配精度及样本搜索效率;然后,通过引入结构因子和置信度,结合传统的优先权计算,得到突出结构作用的优先级公式;最后,利用目标块与四邻域块间的重叠区域计算四邻域参照优先级,并根据四邻域提供的可靠参照信息,依据改进的块匹配方法裁剪样本集并检索最佳样本块,直至所有目标块都检索匹配到最佳样本,完成修复。实验结果表明,该算法可以很好地解决纹理模糊和结构错位等问题,在提高图像修复速度的同时,所提算法修复效果的峰值信噪比（PSNR）比其他对比算法平均提高了0.5~1 dB,使得修复后的图像更好地满足视觉连通性,同时能高效地修复一般区域,具有更好的普适性。     

基于改进Criminisi算法的图像修复

针对Criminisi算法难以获得理想的修复效果,且存在修复时间过长等缺陷,提出一种改进Criminisi算法的图像修复算法。改进优先权计算方式找到最优待修复块,完善最优匹配块搜索策略,找到最优匹配块,采用新的置信值更新方式以获得更为理想修复效果,通过仿真实验测试算法性能,结果表明,相较于Criminisi算法,改进Criminisi算法不仅获得了较理想的图像修复效果,而且大幅度减少了修复时间,提高了图像修复的效果。