图像的盲解卷积恢复

通常图像恢复方法均在成像系统的点扩展函数PSF已知下进行,实际上它通常是未知的。在PSF未知的情况下,盲解卷积是实现图像恢复的有效方法。该算法优点是,在对失真情况毫无先验知识的情况下,仍能实现对模糊图像的恢复操作。给出了利用MATLAB实现的图像恢复实例,并对恢复图像的失真情况做了改善。     

结合SENet的密集卷积生成对抗网络图像修复方法

本文针对数据集较小或者图像结构相对复杂的较大面积缺失的图像修复问题,提出结合SENet的密集卷积生成对抗网络图像修复方法.首先,采用生成对抗网络的思想,生成器使用密集卷积块捕捉图像中缺失部分的语义信息再利用;其次,取消密集卷积块之间的过渡层,引入SENet注意力机制SE模块,获取特征重要程度,增强特征信息指导能力;再次...     

基于FFT的迭代盲反卷积图像恢复算法研究

迭代盲反卷积方法是同时估计出清晰图像和点扩展函数。该文主要是实现一种基于快速傅立叶变换的迭代盲反卷积算法。     

基于上下文块的隐空间图像动画技术

图像动画方法通常是指将驱动视频的运动“复制”给源图像,使源图像获得与驱动视频相同的运动,让静止图像动起来。然而,以往的图像动画方法通常需要提取标签、光流、语义图等结构信息,如果源图像和驱动视频具有较大的外观变化,就会难以保留源图像的身份信息,生成伪影和错误的运动。基于此,提出了基于上下文块的自监督隐空间图像动画方法,通过隐空间中的线性导航使图像动画,由隐空间编码的线性位移来生成驱动视频的运动。在编码部分引入上下文模块能够更加准确地对源图像和驱动图像进行编码,生成准确真实的图像动画。实验分析表明,该模型在VoxCeleb2、Celeb-V2和Ted-talk谈话数据集上系统地和显著地优于其他方法。     

基于上下文特征的渐进式图像修复方法

针对现有图像修复方法在面对大尺度缺失时生成部分易产生伪影、不符合原始图像语义等问题,提出了一种基于上下文特征的渐进式图像修复方法。首先,使用ResNet18网络对破损图像进行粗略填充。然后,将其输入具有双分支结构的细化网络：上下文特征聚合模块通过多尺度语义特征获取现存图像内部最有利于修复图像的区域;注意转移网络学习缺失区域与剩余背景区域的联系,将其以更高分辨率对缺失区域进行填充,引入CBAM(convolutional block attention module)模块作为网络注意力机制。定义全局和局部判别网络实现生成图像与背景语义一致性并计算得到对抗损失,将L₁损失与结构相似性损失相结合作为网络重建损失,再将其与对抗损失相结合作为损失函数。在Place2数据集上进行实验,平均峰值信噪比和平均结构相似性分别为27.83 dB和93.19%;与四种图像修复方法进行比较：主观感受上该方法较其他方法生成的修复图像更加清晰自然,与背景语义高度相符;客观指标上选用四种常用评价指标进行比较,在更符合人眼视觉的结构相似性上该方法分别提升11.48%、6.23%、3.24%、2....     

基于密集卷积生成对抗网络的图像修复

图像修复是一项利用缺损图像中已知信息对缺损区域信息进行估计修复的技术。针对大面积语义信息缺失的图像进行修复时,若训练数据集较小且图像背景相对复杂,则基于生成模型的修复结果常出现模糊、伪影和视觉相似度差等问题。针对上述问题,文中提出了一种基于密集卷积生成对抗网络的图像修复算法。该算法采用生成对抗网络作为图像修复的基本框架。首先,利用密集卷积块构建具有编解码结构的生成网络,不但加强了图像特征的提取,提高了图像修复能力,而且避免了深度增加引起的梯度消失问题。其次,在编码和解码结构之间引入跳跃连接,解决了网络层间信息传递丢失的问题。然后,在网络优化过程中,结合重建损失、对抗损失和TV损失来训练网络模型,增强了网络稳定性。最后,分别在CelebA和Car两个数据集上进行实验,所提算法的修复结果在视觉效果、峰值信噪比PSNR和结构相似度SSIM 3个方面均优于3种代表性图像修复算法,其有效性得到验证。     

结合上下文注意力的卷积自校正图像语义分割

针对现有图像语义分割中存在小目标对象分割精度不高等问题,提出一种结合上下文注意力的卷积自校正图像语义分割模型.使用上下文注意力机制挖掘局部区域内细粒度特征,结合上下文循环神经网络和残差学习充分挖掘图像的深层隐含语义特征;构建辅助分割模型,在给定图像和边界框注释的情况下生成每像素的标签分布,提出卷积自校正模型,实现分割模...     

基于卷积块注意力模块的图像描述生成模型

图像描述生成模型是使用自然语言描述图片的内容及其属性之间关系的算法模型.对现有模型描述质量不高、图片重要部分特征提取不足和模型过于复杂的问题进行了研究,提出了一种基于卷积块注意力机制模块(CBAM)的图像描述生成模型.该模型采用编码器-解码器结构,在特征提取网络Inception-v4中加入CBAM,并作为编码器提取图片的重要特征信息,将其送入解码器长短期记忆网络(LSTM)中,生成对应图片的描述语句.采用MSCOCO2014数据集中训练集和验证集进行训练和测试,使用多个评价准则评估模型的准确性.实验结果表明,改进后模型的评价准则得分优于其他模型,其中Model2实验能够更好地提取到图像特征,生成更加准确的描述.     

改进的规范化卷积图像修复算法

规范化卷积算法可用来处理离散、孤立丢失数据的修复,但针对大量数据连续缺失的图像修复效果不佳,为此设计了像素的邻域滤波器,提出一种改进的基于规范化卷积的图像修复算法.首先设定由待修复区域边界向区域内部逐步扩散的修复顺序;然后为每个待修复像素关联一个置信度,并根据修复的先后顺序从高到低进行赋值,即最后修复的像素置信度取值最小;最后根据像素值和置信度进行插值,修复缺失的图像信息.实验结果表明,该算法是一种实用的图像修复算法,可实现图像连续块状区域信息丢失的修复,并可得到良好的修复效果.     

基于扩张卷积的图像修复

现有图像修复方法虽然能够补全图像缺失区域的内容,但是仍然存在结构扭曲、纹理模糊、内容不连贯等问题,无法满足人们视觉上的要求。针对这些问题,提出一种基于扩张卷积的图像修复方法,通过引入扩张卷积的思想增大感受野来提升图像修复的质量。该方法基于生成对抗网络（GAN）的思想,分为生成网络和对抗网络。生成网络包括全局内容修复网络和局部细节修复网络,并使用gated卷积动态地学习图像特征,解决了使用传统卷积神经网络方法无法较好地补全大面积不规则缺失区域的问题。首先利用全局内容修复网络获得一个初始的内容补全结果,之后再通过局部细节修复网络对局部纹理细节进行修复。对抗网络由SN-PatchGAN鉴别器构成,用于评判图像修复效果的好坏。实验结果表明,与目前存在的图像修复方法相比,该方法在峰值信噪比（PSNR）、结构相似性（SSIM）、inception分数3个指标上都有较大的提升;而且该方法有效解决了传统修复方法出现的纹理模糊问题,较好地满足了人们的视觉连贯性,证实了提出的方法的有效性和可行性。     

结构先验指导的文本图像修复模型

目的 图像修复是根据图像中已知内容来自动恢复丢失内容的过程。目前基于深度学习的图像修复模型在自然图像和人脸图像修复上取得了一定效果，但是鲜有对文本图像修复的研究，其中保证结构连贯和纹理一致的方法也没有关注文字本身的修复。针对这一问题，提出了一种结构先验指导的文本图像修复模型。方法 首先以Transformer为基础，构建一个结构先验重建网络，捕捉全局依赖关系重建文本骨架和边缘结构先验图像，然后提出一种新的静态到动态残差模块（static-to-dynamic residual block，StDRB），将静态特征转换到动态文本图像序列特征，并将其融合到编码器—解码器结构的修复网络中，在结构先验指导和梯度先验损失等联合损失的监督下，使修复后的文本笔划连贯，内容真实自然，达到有利于下游文本检测和识别任务的目的。结果 实验在藏文和英文两种语言的合成数据集上，与4种图像修复模型进行了比较。结果表明，本文模型在主观视觉感受上达到了较好的效果，在藏文和英文数据集上的峰值信噪比和结构相似度分别达到了42.31 dB，98.10%和39.23 dB，98.55%，使用Tesseract OCR （optical character recognition）识别修复后藏文图像中的文字的准确率达到了62.83%，使用Tesseract OCR、CRNN （convolutional recurrent neural network）以及ASTER （attentional scene text recognizer）识别修复后英文图像中的文字的准确率分别达到了85.13%，86.04%和76.71%，均优于对比模型。结论 本文提出的文本图像修复模型借鉴了图像修复方法的思想，利用文本图像中文字本身的特性，取得了更加准确的文本图像修复结果。     

强化边缘结构的分段自适应图像修复算法

针对基于样本的图像修复技术在修复井下煤岩图像时存在纹理过渡延伸和边缘结构不连续的问题,提出一种强化边缘结构的分段自适应图像修复算法,其在Criminisi算法中引入基于ISEF的数据项和等照度线曲率信息构成新的优先权函数,解决了修复顺序不当的问题;并利用局部方差特征与信息熵划分的区域类型自适应选择样本块大小,解决了边缘保持的问题。在常用测试图像与孟村煤矿的煤岩图像上进行了修复实验,相较于传统的Criminisi方法,该算法的平均PSNR分别提升了0.37 dB与1.33 dB,平均SSIM分别提升了0.002 3与0.002 7。实验结果表明,该算法对纹理结构信息复杂的图像具有较好的修复效果,为煤壁图像的修复奠定了基础。     

基于边缘先验融合动态门控特征的人脸图像修复

为解决现有人脸图像修复算法因无法提取动态特征和缺乏边缘先验信息导致修复大区域不规则破损时纹理模糊和结构扭曲问题,提出了基于边缘先验融合动态门控特征的人脸图像修复算法。首先,设计动态门控卷积模块动态提取破损区域特征,关联已知区域和缺失区域的有效特征,提升纹理细腻度;然后,设计动态门控边缘增强网络和U型编码纹理修复网络,边缘增加网络旨在获取边缘轮廓信息,为U型编码纹理修复网络提供结构先验约束;U型编码纹理修复网络采用UNet++网络融合多层特征以保证人脸修复图像结构和纹理一致性;最后,通过消融实验证明UNet++网络的有效性和通用性,并剪枝U型网络以选取适宜的人脸图像模型表征层进行缺失区域纹理重建,在CelebA-HQ人脸数据集上进行实验评估。实验结果表明：相较于主流算法,所提方法在SSIM上平均提升3.87%,PSNR平均提升3.79 dB,FID平均下降16.54%,能有效修复大区域不规则缺失面积,生成纹理清晰、结构合理的图像。     

基于超像素的深度图修复算法

随着计算机视觉领域不断的发展,用于描述场景深度信息的深度图受到越来越多的关注。针对深度图中由于深度信息缺失导致的图像空洞、深度值准确度不高及图像噪声等问题,提出了一种融合超像素和基于方向的联合双边滤波器的深度图修复算法来改善深度图的质量。该算法引入了基于超像素的自适应滤波窗口,并对不同类型的空洞像素点采用不同的滤波算法,从而对深度图进行修复和优化。定性对比实验和定量评价结果表明,其可以有效地修复深度图空洞噪点,获得高质量、高准确性的深度图。     

变分模型在矢量图像修复中的应用

图像修复是指恢复图像中破损区域的颜色信息或者去除图像中的多余物体。分析了基于整体变分法TV模型以及矢量图像耦合技术的原理,根据矢量图像耦合思想将整体变分法运用到矢量图像中并对矢量图像进行试验。实验结果表明：改进的矢量图像耦合修复模型能较好地修复大块彩色图像的缺失信息和移除多余物体,能保持彩色图像的边缘,且有较好的去噪功能。     

基于各向异性插值模型的快速图像修复方法*

基于偏微分方程的图像修复算法运行缓慢,且无法恢复纹理细节,实用性较差。基于地统计学思想,提出一种简单有效的基于各向异性插值模型的图像修复方法。实验表明该方法具有计算复杂度低和能够恢复图像纹理细节的优点,对于图像小区域划痕具有很好的修复效果,具有较高的实用价值。     

基于纹理方向的图像修复算法

在使用基于样本的纹理合成技术的图像修复算法中,搜索纹理的匹配块时,利用纹理的方向特性,可以将搜索过程约束到沿着纹理的方向进行。在Criminisi A的算法基础上,加入了确定纹理方向过程,优化了纹理块的优先权和大小的计算方法。实验结果表明,该方法在处理强方向性的纹理图像的修复时有很好的效果,明显地提高了计算效率。     

基于深度可分离卷积和宽残差网络的医学影像超分辨率重建

为提高医学影像超分辨率的重建质量,提出了一种基于深度可分离卷积的宽残差超分辨率神经网络算法。首先,利用深度可分离卷积改进网络的残差块,扩宽残差块中卷积层的通道,将更多的特征信息传入了激活函数,使得网络中浅层低级图像特征更容易地传播到高层,提高了医学影像超分辨率的重建质量;然后,采用组归一化的方法训练网络,将卷积层的通道维度划分为组,在每个组内计算归一化的均值和方差,使得网络训练过程更快地收敛,解决了深度可分离卷积扩宽通道数导致网络训练难度增加的问题,同时网络表现出更好的性能。实验结果表明,对比传统的最近邻插值、双三次插值超分辨率算法,以及基于稀疏表达的超分辨率算法,所提算法重建出的医学影像纹理细节更加丰富、视觉效果更加逼真。对比基于卷积神经网络的超分辨率算法,基于宽残差超分辨率神经网络算法和生成对抗网络超分辨率算法,所提算法在峰值信噪比（PSNR）和结构相似性（SSIM）上有显著的提升。