基于样本块的唐卡图像修复技术研究

图像的修复技术已成为图像工程领域的一个新的活跃研究方向,本文主要目的就是研究如何更好地实现图像损伤区域的修复,并根据受损图像周围的有效信息用图像修复算法自动进行修复。本文在基于样本块修复算法的基础上,对算法所具有的不足之处,建立了唐卡图像库,采用基于图像颜色特征检索唐卡图像,用检索到最相似图像区域来修复图像破损区域,使唐卡图像的修复更加完美。     

基于样本块的破损唐卡图像修复算法的改进

基于样本块的修复算法由于能同时有效地修复图像的受损纹理和结构的优点被引入到唐卡图像的数字化保护中,而且它对特定破损唐卡图像修复效果良好,但是由于优先权计算和最佳样本块不唯一等问题的影响,算法对其他类唐卡图像修复效果不佳。针对此算法的不足,对信任度计算方法和等照线计算方法进行了改进,解决了最佳样本块不唯一的问题。实验结果证明,改进后的算法不仅能够得到令人满意的修复结果而且能够提高修复效率。     

划分特征子区域的图像修复算法

为了解决含有丰富纹理信息和复杂结构信息的大破损区域中的缺失信息修复的问题,提出了一种划分特征子区域的图像修复算法。首先,根据图像中包含的不同特征,运用特征公式进行特征提取,再通过统计特征值划分特征子区域,提高了图像修复的速度;其次,在原Criminisi算法的基础上改进了优先级的计算,通过增大结构项的影响,避免结构断裂的产生;然后,通过目标块和其最佳邻域相似块共同约束样本块的选取,确定最佳样本块集;最后,利用权值分配法合成最佳样本块。实验结果表明,所提算法相比原Criminisi算法,其峰值信噪比（PSNR）提升了2~3 dB,相比基于稀疏表示的块优先权值计算的算法,其修复效率有明显的提高。所提算法不但适用于一般小尺度的破损图像的修复,而且对于含有丰富纹理信息和复杂结构信息的大破损图像的修复效果也更佳,并且修复后的图像更加符合人们视觉上的连通性。     

破损区域分块划分的图像修复

目的： 提出一个算法,使计算机能够自动修复破损区域较大且结构信息较复杂的图像。 方法： 本研究通过模仿手工修复破损区域较大且结构信息较复杂的图像的方法,按如下2个步骤来修复图像：1) 破损区域的划分,首先,对各断裂边界线进行匹配配对。然后,将已配对的各断裂边界线进行直接连接,从而在破损区域内形成各个待修复块。2) 各块的修复,首先,采用BSCB算法中的传输方程和扩散方程将已选邻域信息迭代传输和扩散到各块破损区域,以修复完优先级最大的各个块。然后,判断是否有次优先级的待修复块,若有,则采用边界线删除算法删除部分冗余边界线,接着按相同方法修复次优先级的待修复块;若无,则修复完成。 结果： 基于以上图像修复步骤,提出了破损区域分块划分的图像修复算法。将提出的该算法和其它3个算法用于修复破损区域较大且结构信息较复杂的图像,其结果显示,该算法所修复图像的PSNR值平均提高1.49db,同时,所修复图像具有较好的视觉效果。 结论： 和其它3个算法相比,提出的破损区域分块划分的图像修复算法更适合于修复破损区域较大且结构信息较复杂的图像。     

唐卡褪色区域分割

采用数字化技术修复唐卡需先对唐卡破损区域进行分割,针对唐卡褪色区域的特点,提出一种分割算法.首先对破损图像的灰度图进行二值化和分块处理,并对处理后的2种图像进行与操作得到分割结果1;再对分割结果1中白色区域覆盖的灰度图利用最大类间分割法和基于数学形态学的分割法进行分割,得到分割结果2和分割结果3;合并分割结果2,3得到分割结果4;从分割结果1～4中选择分割效果最佳的图像,去除小面积破损区域和伪破损区域得到最终的分割结果.实验结果表明,该算法对唐卡褪色区域的分割效果较好,具有一定的鲁棒性.     

基于改进样本块的数字图像修复算法研究及GUI设计

针对现有基于样本块图像修复算法中修复块优先级判断不准确、界面操作复杂等问题,本文引入主体构造概念,同时利用图形用户界面GUI进行操作.本文算法以Matlab7.11为平台,通过人工操作选定修复区域,经高斯滤波,小波变换与边缘检测得到主体构造,进而判断优先级,最后采用样本块修复算法更新自信度,完成修复.实验结果表明,修复后图像峰值信噪比提高了10.5~11.07%,且操作过程简便,适用范围广泛.     

基于参考纹理与自身色彩的图像修复

传统的图像修复工作仅仅利用破损图像本身的信息完成,破损面积较大并且结构比较复杂时,破损图像不能提供足够的信息导致修复效果不理想。针对这个问题提出了基于参考图像纹理与破损图像自身颜色的修复算法。该算法在图像库中通过图像检索智能筛选相似参考图像,并选择最优区域填充破损图像区域,利用参考图像样块与自身未破损区域的纹理信息保证修复边界的平滑性,再结合颜色迁移与扩展算法使破损图像修复区域与完好区域的色彩协调一致。实验结果表明新提出的修复算法使得图像修复区域过渡更加自然,能在视觉上有较好的效果。     

基于最大熵和局部优先度的裂痕唐卡分割

为数字化修复唐卡文物,需先解决破损区域分割问题。针对裂痕型唐卡破损区域破损程度不等,与邻近区域颜色有反差的特点,提出基于最大熵和局部优先度的算法。首先采用最大熵阈值法分割破损唐卡灰度图像,去除伪破损区域,得到破损程度较深区域;然后采用本文提出的新算法—基于局部优先度的过渡区算法分割唐卡灰度图像,去除伪破损区域,得到破损区域的过渡区区域;合并这两类区域得到最终的分割结果。实验结果表明本文算法不仅能对破损唐卡实现有效分割,对壁画等其他破损图像也能很好分割。该算法具有一定的有效性和鲁棒性。     

一种基于颜色区域分割的图像修复算法

现有的基于样本块纹理合成的数字图像修复技术在全局式搜索样本匹配块时可能选择错误的匹配块,导致繁衍错误信息而使修复结果不理想。该文提出一种基于颜色区域分割的图像修复方法,其目标匹配块的搜索限定在源样本块所覆盖的颜色区域中。实验结果表明这是一种更健壮、视觉效果更理想的修复算法,可以有效修复各种破损情况,尤其是具有复杂背景的较大区域填充。     

色彩脱落型唐卡破损区域的分割

为修复唐卡,需对破损区域进行分割。针对色彩脱落型唐卡破损区域特点,提出了分类分割的方法。利用彩色图像的灰度梯度模获取区域的边缘,去除伪破损区域边缘后,利用边缘点扩散得到区域。将其分为小面积区域和大面积区域两类。对这两类区域再分别处理,小面积区域去除伪破损区域得到小面积破损区域;大面积区域经过去除伪破损区域、提取大面积破损区域后,剩余的便为复杂区域,再提取复杂区域中的小面积破损区域、小孔区域,把这两种区域合并、膨胀、去伪处理,得到复杂区域的破损区域。把小面积破损区域、大面积破损区域和复杂区域中的破损区域合并,得到整幅图像的破损区域。实验验证分割效果良好。     

结构先验指导的文本图像修复模型

目的 图像修复是根据图像中已知内容来自动恢复丢失内容的过程。目前基于深度学习的图像修复模型在自然图像和人脸图像修复上取得了一定效果，但是鲜有对文本图像修复的研究，其中保证结构连贯和纹理一致的方法也没有关注文字本身的修复。针对这一问题，提出了一种结构先验指导的文本图像修复模型。方法 首先以Transformer为基础，构建一个结构先验重建网络，捕捉全局依赖关系重建文本骨架和边缘结构先验图像，然后提出一种新的静态到动态残差模块（static-to-dynamic residual block，StDRB），将静态特征转换到动态文本图像序列特征，并将其融合到编码器—解码器结构的修复网络中，在结构先验指导和梯度先验损失等联合损失的监督下，使修复后的文本笔划连贯，内容真实自然，达到有利于下游文本检测和识别任务的目的。结果 实验在藏文和英文两种语言的合成数据集上，与4种图像修复模型进行了比较。结果表明，本文模型在主观视觉感受上达到了较好的效果，在藏文和英文数据集上的峰值信噪比和结构相似度分别达到了42.31 dB，98.10%和39.23 dB，98.55%，使用Tesseract OCR （optical character recognition）识别修复后藏文图像中的文字的准确率达到了62.83%，使用Tesseract OCR、CRNN （convolutional recurrent neural network）以及ASTER （attentional scene text recognizer）识别修复后英文图像中的文字的准确率分别达到了85.13%，86.04%和76.71%，均优于对比模型。结论 本文提出的文本图像修复模型借鉴了图像修复方法的思想，利用文本图像中文字本身的特性，取得了更加准确的文本图像修复结果。     

变分模型在矢量图像修复中的应用

图像修复是指恢复图像中破损区域的颜色信息或者去除图像中的多余物体。分析了基于整体变分法TV模型以及矢量图像耦合技术的原理,根据矢量图像耦合思想将整体变分法运用到矢量图像中并对矢量图像进行试验。实验结果表明：改进的矢量图像耦合修复模型能较好地修复大块彩色图像的缺失信息和移除多余物体,能保持彩色图像的边缘,且有较好的去噪功能。     

基于大位移视点图像的单帧图像修复

提出一种基于大位移视点图像的单帧图像修复算法,利用大位移视点图像中的可见信息修补目标图像中的被遮挡或信息丢失区域.算法的关键在于如何转化大位移视点图像的可见信息为可用信息,以及如何利用得到的可用信息来有效地修补目标图像.在交互指定待修复的目标区域后,算法首先将所有图像分割为不同的平面场景区域,并基于图像匹配将大位移视点图像中的平面场景区域变换到当前视点.因此,其中的可见信息就可被直接使用.进而通过定义合适的修复和融合优先级函数,提出基于纹理合成和图像融合的图像修复算法,利用获得的可用信息来修补目标区域.修复区域和目标图像之间的鬼影现象使用Poisson图像融合算法来消除,以达到无缝的修复结果.实验结果表明,该算法能够修复较大的丢失信息区域中的结构和纹理信息,具有一定的实用价值.     

Block-based image inpainting in the wavelet domain

This paper introduces a new model for block-based image inpainting in the wavelet domain. The proposed technique separates the inpainting process into two different and important steps, both using the energy of wavelet coefficients. First, the model explores wavelet detail coefficients to estimate the image gradient vector, weighting each vector with the energy of wavelet coefficients. Such information is then used to determine which block belonging to the inpainting region should be filled first. After that, an adapted method for texture synthesis in the wavelet domain is applied in order to successfully fill this block. These two steps are applied successively, until the inpainting region is completely filled. Experimental results indicate that the proposed algorithm can fill large inpainting regions with good visual quality, presenting results comparable to or better than other competitive approaches for image inpainting.     

相似度自适应样本块的高分辨SAR图像阴影修复

高分辨率SAR图像目标阴影可为目标识别提供更多的信息,对SAR图像目标阴影进行修复可以获取完整的目标阴影.采用传统样本匹配方法对SAR图像进行目标阴影修复时会出现阴影区域漏判问题和过渡区域不均匀问题.提出一种相似度自适应样本块的SAR图像目标阴影修复方法.利用SAR图像中目标及其阴影斜距的相对位置关系作为待修复区域的预判依据,有效地解决了阴影区域漏判问题;然后采用相似度自适应样本块的图像修复方法,改善了过渡区域不均匀问题.实验结果表明,本文方法可以有效地恢复高分辨率SAR图像中缺失的目标阴影.     

基于双分支网络的图像修复取证方法

图像修复是一项利用图像已知区域的信息来修复图像中缺失或损坏区域的技术。人们借助以此为基础的图像编辑软件无须任何专业基础就可以轻松地编辑和修改数字图像内容,一旦图像修复技术被用于恶意移除图像的内容,会给真实的图像带来信任危机。目前图像修复取证的研究只能有效地检测某一种类型的图像修复。针对这一问题,提出了一种基于双分支网络的图像修复被动取证方法。双分支中的高通滤波卷积网络先使用一组高通滤波器来削弱图像中的低频分量,然后使用4个残差块提取特征,再进行两次4倍上采样的转置卷积对特征图进行放大,此后使用一个 5×5 的卷积来减弱转置卷积带来的棋盘伪影,生成图像高频分量上的鉴别特征图。双分支中的双注意力特征融合分支先使用预处理模块为图像增添局部二值模式特征图。然后使用双注意力卷积块自适应地集成图像局部特征和全局依赖,捕获图像修复区域和原始区域在内容及纹理上的差异,再对双注意力卷积块提取的特征进行融合。最后对特征图进行相同的上采样,生成图像内容和纹理上的鉴别特征图。实验结果表明该方法在检测移除对象的修复区域上,针对样本块修复方法上检测的F1分数较排名第二的方法提高了2.05%,交并比上提高了3.53%;针对深度学习修复方法上检测的F1分数较排名第二的方法提高了1.06%,交并比提高了1.22%。对结果进行可视化可以看出,在检测修复区域上能够准确地定位移除对象的边缘。     

一种基于样本块的快速图像修复算法

分析了Criminisi等人提出的基于样本块的图像修复算法,针对其不足,提出一种改进的基于样本块的快速图像修复方法.引入新的度量函数更新置信度,使优先级的计算更加准确;待匹配块的再筛选策略降低了选择最佳匹配块的随机性;已修复样本块邻域检测避免了全局范围内寻找破损边缘.实验结果表明:该方法取得了较好的修复效果,同时提高了...     

参照四邻域裁剪样本的图像修复算法

针对结构纹理信息较复杂、破损尺度较大的图像修复问题,提出一种既能保持图像特征又能提高修复速度的参照四邻域裁剪样本的修复算法,将图像修复问题转化为最佳样本的检索过程。首先,提取图像结构信息,并对图像进行区域划分以缩小样本的裁剪与检索范围;其次,为了改进离差平方和（SSD）方法对块的结构信息匹配的忽视,在像素块匹配计算中引入结构对称匹配约束,有效避免了误匹配,提高了图像块匹配精度及样本搜索效率;然后,通过引入结构因子和置信度,结合传统的优先权计算,得到突出结构作用的优先级公式;最后,利用目标块与四邻域块间的重叠区域计算四邻域参照优先级,并根据四邻域提供的可靠参照信息,依据改进的块匹配方法裁剪样本集并检索最佳样本块,直至所有目标块都检索匹配到最佳样本,完成修复。实验结果表明,该算法可以很好地解决纹理模糊和结构错位等问题,在提高图像修复速度的同时,所提算法修复效果的峰值信噪比（PSNR）比其他对比算法平均提高了0.5~1 dB,使得修复后的图像更好地满足视觉连通性,同时能高效地修复一般区域,具有更好的普适性。     

基于邻域滤波的图像修复

图像修复是图像恢复研究中的一个重要内容,它的目的是根据图像现有的信息来自动恢复丢失的信息,可以用于对旧图片的修复。大多数现有图像修复算法都非常复杂,而且难于实现。由于图像中的边缘代表了图像的重要信息,所以在设计修复算法时,必须着重考虑边缘的恢复。提出了一种基于图像邻域滤波算法、利用图像的空间连续性,及图像的边缘信息的图像修复算法。该算法实现简单,修复速度快,对小区域的修复效果较好。