彩色纹理图像恢复的非局部TV模型及其特征保持

基于局部算子的不同形式的TV模型用于彩色图像噪声去除时往往存在边缘模糊、纹理模糊、阶梯效应、Mosaic效应等问题。本文基于非局部算子概念将传统的Tikhonov模型、TV模型、MTV模型、CTV模型推广到NL-CT模型、NL-LTV模型、NL-MTV模型、NL-CTV模型,并通过引入辅助变量和Bregman迭代参数设计了相应的快速Split Bregman算法。实验表明,所提出的非局部TV模型在纹理、边缘、光滑度等特征保持方面具有良好特性,且差异不大,但不同模型的计算效率存在较大差异。     

彩色纹理图像恢复的非局部TV模型

基于局部算子不同形式的TV(total variation)模型用于彩色图像的噪声去除时往往存在边缘模糊、纹理模糊、阶梯效应、Mosaic效应等问题.因此,将传统局部的Tikhonov模型、TV模型、MTV(multi-channel total variation)模型、CTV(color total variation)模型推广到基于非局部算子概念的NL-CT(non-local color Tikhonov)模型、NL-LTV(non-local layered total variation)模型、NL-MTV(non-local multi-channel total variation)模型、NL-CTV(non-local color total variation)模型,并通过引入辅助变量和Bregman迭代参数设计了相应的快速Split Bregman算法.实验结果表明,所提出的非局部TV模型都很好地解决了局部模型中出现的问题,在纹理、边缘、光滑度等特征保持方面取得了良好特性,其中NL-CTV处理效果最好,但是计算效率较低.     

局部自适应混合模型的遥感图像去噪算法

遥感图像的噪声分析和去除作为经典问题一直受到关注并成为遥感图像处理的一个重要研究领域。传统的去噪方法在一定程度上可以去除图像中的噪声,但往往在去噪的同时会使图像的边缘和细节信息模糊化。针对P-M模型在去除遥感图像高斯噪声时所存在的对图像强边缘和细节附近的噪声难以去除,以及ROF模型通常会导致平坦区域出现“假边缘”,甚至会产生块状效应等问题,提出一种基于局部自适应的混合模型。该模型针对图像局部区域所包含纹理信息的不同,自适应地调整约束权函数,使模型在平滑局部区域能更多地发挥P-M模型的特点,而在纹理丰富或边缘区域则更多地发挥ROF模型的特性,使模型在有效地去除高斯噪声的同时,很好地保护了遥感图像中的边缘特征和细节纹理信息。实验结果表明,对相同的高斯噪声所提出的混合模型去噪后图像的SNR较P-M和ROF模型分别提高了3dB和2dB。     

变分模型在矢量图像修复中的应用

图像修复是指恢复图像中破损区域的颜色信息或者去除图像中的多余物体。分析了基于整体变分法TV模型以及矢量图像耦合技术的原理,根据矢量图像耦合思想将整体变分法运用到矢量图像中并对矢量图像进行试验。实验结果表明：改进的矢量图像耦合修复模型能较好地修复大块彩色图像的缺失信息和移除多余物体,能保持彩色图像的边缘,且有较好的去噪功能。     

新的彩色图像分层修复方法

基于全变分的彩色图像修复(CTV)模型,可以在保持边缘的同时达到去噪目的,但对纹理较复杂的区域修复效果不理想。利用分层修复的思想在对整幅彩色图像进行CTV修复后,再对有明显修复痕迹的局部待修复区域使用基于块的纹理合成算法。实验结果表明,这种分层修复的方法在彩色图像的结构修复和纹理修复两方面实现较好的统一,既能很好地降噪,又能保持彩色图像的清晰边界,而且在较大区域图像修复上表现出良好的效果。     

彩色图像乘性噪声去除的高阶变分模型

传统的变分去噪模型中,MTV模型去噪后的图像可以较好的保持图像的边缘,但会有阶梯效应。高阶TC模型可以防止阶梯效应,但是边缘保持不好。采用耦合的MTV模型和高阶TC模型相结合的方法,构造出新的混合模型,并推广到彩色图像乘性噪声去除的高阶变分模型。为提高新模型的计算效率,引入辅助变量和拉格朗日乘子设计了相应的增广拉格朗日算法。实验结果表明,新模型在处理彩色图像时能有效地避免阶梯效应,同时保持图像的边缘和细节。与实验中的传统模型相比,新模型的峰值信噪比和结构相似性指数均有提升。     

基于边缘先验融合动态门控特征的人脸图像修复

为解决现有人脸图像修复算法因无法提取动态特征和缺乏边缘先验信息导致修复大区域不规则破损时纹理模糊和结构扭曲问题,提出了基于边缘先验融合动态门控特征的人脸图像修复算法。首先,设计动态门控卷积模块动态提取破损区域特征,关联已知区域和缺失区域的有效特征,提升纹理细腻度;然后,设计动态门控边缘增强网络和U型编码纹理修复网络,边缘增加网络旨在获取边缘轮廓信息,为U型编码纹理修复网络提供结构先验约束;U型编码纹理修复网络采用UNet++网络融合多层特征以保证人脸修复图像结构和纹理一致性;最后,通过消融实验证明UNet++网络的有效性和通用性,并剪枝U型网络以选取适宜的人脸图像模型表征层进行缺失区域纹理重建,在CelebA-HQ人脸数据集上进行实验评估。实验结果表明：相较于主流算法,所提方法在SSIM上平均提升3.87%,PSNR平均提升3.79 dB,FID平均下降16.54%,能有效修复大区域不规则缺失面积,生成纹理清晰、结构合理的图像。     

一种新的基于偏微分方程的图像修复

图像的修复是图像处理中一个重要的部分,主要是利用一定的方法针对产生划痕和有缺损的图像进行修复,或者从图像中去除指定的物体和文字,以达到特定的目的。该文比较了CDD图像修复模型和快速图像修复模型的性能。它们都满足“连接整体性准则”,对于具有较大破损区域及细小边缘的图像具有良好的修复能力。但是前者修复速度较慢,而后者可以克服CDD修复速度较慢的缺点。实验结果表明,该模型在保证与CDD模型相近修复质量的情况下可以大幅度地提高修复速度。     

基于边缘网格的图像检索算法研究

为了准确高效地进行彩色图像检索，结合图像空间分布特性，提出了一种基于边缘刚格的图像检索新算法，不仅利用了彩色边缘的颜色统计信息，而且考虑了彩色边缘像素点的径向与角向分布特性。该算法首先利用Canny检测算子提取出原始图像的彩色边缘信息；然后将整个彩色边缘划分成局部刚格区域，并分别计算出每个网格区域的颜色直方图和纹理直方图；最后综合利用上述网格区域的颜色直方图和纹理直方图来计算图像间内容的相似度，用于进行彩色图像检索。仿真实验表明，该算法不仅能够准确和高效地查找出用户所需内容的彩色图像，并且具有较好的查准率和查全率。     

基于改进复扩散自适应耦合非局部变换域模型的图像放大

针对二阶偏微分方程（PDE）放大算法丢失弱边缘和纹理细节的不足,提出一种改进复扩散自适应耦合非局部变换域模型的图像放大算法。利用复扩散具有边缘定位准确的特点耦合冲击滤波器,改进复扩散模型能够较好地增强强边缘;而通过对相似图像块构成图像组的三维变换系数的稀疏特性进行建模,非局部变换域模型能够很好地利用图像中相似图像块的非局部信息,对弱边缘和纹理细节有较好的处理效果;最后利用复扩散得到图像的二阶导数作为参数实现改进复扩散模型和非局部变换域模型自适应耦合。所提算法与偏微分方程放大算法、非局部变换域放大算法和偏微分方程耦合空域非局部模型放大算法进行仿真实验比较,在强边缘、弱边缘和细节纹理具有较好的放大效果,弱边缘和纹理细节图像在平均结构相似性测度上高于改进复扩散放大算法、非局部变换域放大算法。所提算法验证了空域模型和变换域模型、局部模型和非局部模型耦合结合的有效性。     

融合边缘检测和自注意力的图像修复方法

针对修复后图像边界模糊、图像纹理不清晰、视觉效果差的问题,提出了一种融合边缘检测和自注意力机制的生成式对抗修复模型.通过边缘检测可提取出图像的轮廓信息,避免了修复后边界模糊的问题;利用自注意力机制能够捕获图像全局信息并生成图像精确细节的能力,设计出融合自注意力机制的纹理修复网络.该模型由边缘补全网络和纹理修复网络组成,首先,设计的边缘补全网络对受损图像的边缘进行补全,得到边缘补全图像;其次,利用纹理修复网络联合补全的边缘图像对缺失区域的纹理进行精确修复.在CelebA和Place2两个图像数据集上对本文所建模型进行了训练和测试.实验结果表明:本文所建模型与现有图像修复方法相比,大幅提高了图像修复的精确度,且生成的图像更加逼真.     

采用TV及纹理合成技术的分层图像修复

整体变分（TV）模型在图像修复中能够保持图像的边缘且数值实现方便,但在图像修复中对于人类视觉连通性的处理还有所不足。根据图像遗失或者损坏的不同类型,针对TV、CDD模型在图像修复中存在的问题,提出了一种结合TV、CDD模型及基于块的纹理合成算法的分层图像修复算法。实验结果表明,这种分层修复的方法在图像的结构修复和纹理修复两方面实现了较好的统一,而且在较大区域图像修复上表现出良好的效果。     

结合纹理结构的分数阶TV模型的图像修复

目的 TV（total variation）模型在图像修复时易导致图像中具有弱导数性质的纹理和边缘细节等信息变得模糊,为了克服该缺陷,分数阶微分被引入到TV模型中,但传统的分数阶TV模型对弱边缘和弱纹理等细节信息的保持仍不够理想,并且没有充分利用图像已知区域的先验信息,修复精度仍有待提高。方法 针对该问题,提出结合纹理结构信息和分数阶TV模型的图像修复算法。改进的模型在分数阶TV模型求解时,在梯度计算过程中增加了一个极小值,克服了正则项和数据项在零点处的不可微,从而增加了模型的稳定性。再则改进的模型根据图像已知区域的先验信息确定待修复区域的纹理方向,从而更好地保持了图像中的纹理细节和弱边缘信息。结果 将本文算法与3种修复效果较好的算法进行对比,采用客观评价指标：均方差（MSE）、峰值信噪比（PSNR）和差值图像进行评价,实验结果表明本文算法在不同的纹理图像修复中均取得较好的效果,如对标准图像库中的Barbara和Lena图像以及岩石图像进行修复后,与原始TV模型相比,它们的峰值信噪比分别提高5.94%、8.07%和3.85%,灰度均方差分别降低48.66%、65.89%和35%;与分数阶TV模型相比,它们的峰值信噪比分别提高4.17%、8.59%和1.81%,灰度均方差分别降低37.90%、68.00%和18.68%。结论 提出的模型相对于原始的TV模型和分数阶TV模型,均能有效地提高图像修复的精度,适合于包含较多弱纹理和弱边缘信息的图像修复,该模型是TV模型的重要延伸和推广。     

偏微分方程约束下基于动态大小模块的图像修复模型

提出一种保持图像线性特征和纹理信息、并能应用于存在较大规模缺失信息区域的图像修复模型.该模型根据图像局部纹理特征强度动态地选择匹配模块的大小,使用切向等照度线强度数据项约束修复顺序.几何特征作用下的切向等照度线偏微分方程在边缘宽度约束下扩散,具有很好的线性特征保持性能;它具有形态学不变性,可以真实地修复自然场景图像.根据基于模块的修复模型的特点,使用欧氏距离作为模块相似度测量函数.针对模型引起的模块接缝效应,使用散度约束下总体变分插值法对修复结果进行无接缝效应处理,使得最终结果平滑.理论和实验证明了该模型在图像修复中的有效性.     

基于样本块的破损唐卡图像修复算法的改进

基于样本块的修复算法由于能同时有效地修复图像的受损纹理和结构的优点被引入到唐卡图像的数字化保护中,而且它对特定破损唐卡图像修复效果良好,但是由于优先权计算和最佳样本块不唯一等问题的影响,算法对其他类唐卡图像修复效果不佳。针对此算法的不足,对信任度计算方法和等照线计算方法进行了改进,解决了最佳样本块不唯一的问题。实验结果证明,改进后的算法不仅能够得到令人满意的修复结果而且能够提高修复效率。     

结构张量的改进Criminisi修复

目的 针对传统基于样本块的图像修复算法中仅利用图像的梯度信息和颜色信息来修复破损区域时,容易产生错误填充块的问题,本文在Criminisi算法的基础上,利用结构张量特性,提出了一种改进的基于结构张量的彩色图像修复算法。方法 首先利用结构张量的特征值定义新的数据项,以确保图像的结构信息能够更加准确地传播;然后利用该数据项构成新的优先权函数,使得图像的填充顺序更加精准;最后利用结构张量的平均相干性来自适应选择样本块大小,以克服结构不连续和错误延伸的缺点;同时在匹配准则中,利用结构张量特征值来增加约束条件,以减少错误匹配率。结果 实验结果表明,改进算法的修复效果较理想,在主观视觉上有明显的提升,其修复结果的峰值信噪比（PSNR）和结构相似度（SSIM）都有所提高;与传统Criminisi算法相比,其峰值信噪比提高了1~3 dB。结论 本文算法利用结构张量的特性实现了对不同结构特征的彩色破损图像的修复,对复杂的线性结构和纹理区域都有较理想的修复,有效地保持了图像边缘结构的平滑性,而且对大物体的移除和文字去除也有较好的修复效果。     

结构先验指导的文本图像修复模型

目的 图像修复是根据图像中已知内容来自动恢复丢失内容的过程。目前基于深度学习的图像修复模型在自然图像和人脸图像修复上取得了一定效果，但是鲜有对文本图像修复的研究，其中保证结构连贯和纹理一致的方法也没有关注文字本身的修复。针对这一问题，提出了一种结构先验指导的文本图像修复模型。方法 首先以Transformer为基础，构建一个结构先验重建网络，捕捉全局依赖关系重建文本骨架和边缘结构先验图像，然后提出一种新的静态到动态残差模块（static-to-dynamic residual block，StDRB），将静态特征转换到动态文本图像序列特征，并将其融合到编码器—解码器结构的修复网络中，在结构先验指导和梯度先验损失等联合损失的监督下，使修复后的文本笔划连贯，内容真实自然，达到有利于下游文本检测和识别任务的目的。结果 实验在藏文和英文两种语言的合成数据集上，与4种图像修复模型进行了比较。结果表明，本文模型在主观视觉感受上达到了较好的效果，在藏文和英文数据集上的峰值信噪比和结构相似度分别达到了42.31 dB，98.10%和39.23 dB，98.55%，使用Tesseract OCR （optical character recognition）识别修复后藏文图像中的文字的准确率达到了62.83%，使用Tesseract OCR、CRNN （convolutional recurrent neural network）以及ASTER （attentional scene text recognizer）识别修复后英文图像中的文字的准确率分别达到了85.13%，86.04%和76.71%，均优于对比模型。结论 本文提出的文本图像修复模型借鉴了图像修复方法的思想，利用文本图像中文字本身的特性，取得了更加准确的文本图像修复结果。     

强化边缘结构的分段自适应图像修复算法

针对基于样本的图像修复技术在修复井下煤岩图像时存在纹理过渡延伸和边缘结构不连续的问题,提出一种强化边缘结构的分段自适应图像修复算法,其在Criminisi算法中引入基于ISEF的数据项和等照度线曲率信息构成新的优先权函数,解决了修复顺序不当的问题;并利用局部方差特征与信息熵划分的区域类型自适应选择样本块大小,解决了边缘保持的问题。在常用测试图像与孟村煤矿的煤岩图像上进行了修复实验,相较于传统的Criminisi方法,该算法的平均PSNR分别提升了0.37 dB与1.33 dB,平均SSIM分别提升了0.002 3与0.002 7。实验结果表明,该算法对纹理结构信息复杂的图像具有较好的修复效果,为煤壁图像的修复奠定了基础。     

小波变换与纹理合成相结合的图像修复

目的 为了克服传统的图像修复算法在结构和纹理边界的错误修复,利用小波变换域的系数特征,探讨了一种基于小波变换与纹理合成相结合的修复算法。方法 算法先利用小波变换将待修复图像分解成具有不同分辨率的低频子图和高频子图,然后根据不同子图各自的特征分别进行修复。对代表图像结构信息的低频子图,采用FMM(fast marching method)算法进行修复;对代表图像纹理信息的高频子图,根据各子图中小波系数的特征,利用纹理合成方法进行修复。结果 分层、分类修复方法对边缘破损具有良好的修复效果,其峰值信噪比相比于传统算法提高了1~2 dB。结论 与相关算法相比,本文算法的综合修复能力较好,可以有效修复具有较强边缘和丰富纹理的破损图像,尤其对破损自然图像的修复,修复后图像质量得到较大提升,修复效果更符合人眼视觉效应。