改进的生成对抗网络图像超分辨率重建

近年来,生成对抗网络在约束图像生成方面表现出了较好的潜力,使其适用于图像超分辨率重建。针对基于卷积神经网络的图像超分辨率重建算法存在的特征信息利用率低的问题,基于生成对抗网络框架,提出了残差密集生成对抗网络的超分辨率重建算法。该算法定义生成器网络、判别器网络,通过构建残差密集网络作为生成器网络及PatchGAN作为判别器网络,以解决基于卷积神经网络的超分辨率算法中特征信息利用率低以及生成对抗网络收敛慢的问题。该重建算法在Set5等标准数据集上与主流的超分辨率重建算法进行对比,实验表明,该算法能够有效地提高特征信息利用率,较好地恢复低分辨率图像的细节信息,提高图像重建的质量。     

改进的非局部均值视频超分辨率重建算法

针对基于非局部均值(NLM)的视频超分辨率重建方法存在结果过于平滑、收敛速度慢及计算量大等问题,提出一种改进的NLM视频超分辨率重建算法。该方法采用模糊边缘补足算法将经过预处理的视频图像分成平坦区和纹理区;对于平坦区,采用直方图均衡化的方式进行图像增强处理,以减少算法计算量;对于纹理区,采用改进的NLM重建算法进行处理,通过设计多方向自适应搜索窗并引入邻域相干系数修正相似性权值,以增强重建图像的纹理细节,加快算法的收敛速度;将重建的纹理区与增强的平坦区进行叠加归一化处理,完成整个视频图像的超分辨率重建。实验结果表明,该算法能够在提高重建图像纹理细节及峰值信噪比的同时,降低算法的整体复杂度,缩短重建时间。     

改进的SRGAN图像超分辨率重建算法

图像超分辨率重建技术可以提高图像的分辨率,在医学、军事等领域都发挥着重要作用.传统的SRGAN图像超分辨率重建算法训练收敛速度慢,高频纹理锐化过度导致部分细节扭曲,影响重建图像质量.针对以上问题,对传统SRGAN模型的生成网络和损失函数进行改进,用于图像超分辨率重建.采用稀疏残差密集网络(SRDN)代替传统的SRRes...     

基于PCA与残差补偿的人脸超分辨率算法

提出一种基于主成分分析(PCA)与相似递归残差补偿的人脸超分辨率算法。基于PCA获得高低分辨率人脸图像特征空间的映射系数,通过该系数重建初步的高分辨率人脸图像。利用高低分辨率人脸图像空间同一区域图像块的内容相似性,递归计算残差补偿图像。采用该残差图像对初步重建的全局人脸进行细节补偿。实验结果表明,该算法的重建效果较优。     

基于对偶回归和注意力机制的图像超分辨率重建网络

针对单幅图像超分辨率(single image super-resolution, SISR)重建算法存在低分辨率图像(LR)到高分辨率图像(HR)的映射学习具有不适定性,深层神经网络收敛慢且缺乏对高频信息的学习能力以及在深层神经网络传播过程中图像特征信息存在丢失的问题.本文提出了基于对偶回归和残差注意力机制的图像超分辨率重建网络.首先,通过对偶回归约束映射空间.其次,融合通道和空间注意力机制构造了残差注意力模块(RCSAB),加快模型收敛速度的同时,有效增强了对高频信息的学习.最后,融入密集特征融合模块,增强了特征信息流动性.在Set5、Set14、BSD100、Urban100四种基准数据集上与目前主流的单幅图像超分辨率算法进行对比,实验结果表明该方法无论是在客观质量评价指标还是主观视觉效果均优于对比算法.     

基于深度可分离卷积和宽残差网络的医学影像超分辨率重建

为提高医学影像超分辨率的重建质量,提出了一种基于深度可分离卷积的宽残差超分辨率神经网络算法。首先,利用深度可分离卷积改进网络的残差块,扩宽残差块中卷积层的通道,将更多的特征信息传入了激活函数,使得网络中浅层低级图像特征更容易地传播到高层,提高了医学影像超分辨率的重建质量;然后,采用组归一化的方法训练网络,将卷积层的通道维度划分为组,在每个组内计算归一化的均值和方差,使得网络训练过程更快地收敛,解决了深度可分离卷积扩宽通道数导致网络训练难度增加的问题,同时网络表现出更好的性能。实验结果表明,对比传统的最近邻插值、双三次插值超分辨率算法,以及基于稀疏表达的超分辨率算法,所提算法重建出的医学影像纹理细节更加丰富、视觉效果更加逼真。对比基于卷积神经网络的超分辨率算法,基于宽残差超分辨率神经网络算法和生成对抗网络超分辨率算法,所提算法在峰值信噪比（PSNR）和结构相似性（SSIM）上有显著的提升。     

图像超分辨率重建的研究进展

图像超分辨率重建技术对于输入的低分辨率图像进行相关处理,从而重构出高分辨率图像,该技术已经成为图像处理研究领域的一个热点方向。对超分辨率图像重建的研究进展进行了综述。阐述了图像超分辨率重建的基本原理。对基于重建的图像超分辨重建中：IBP,POCS等算法,基于学习的图像超分辨率重建中：稀疏表示,基于深度神经网络等算法及一些相关改进的算法进行了综述。对图像超分辨率重建的研究提出了展望。     

Adam优化的CNN超分辨率重建

为了使单帧图像在不同放大倍数的条件下进行超分辨率重建能得到较好的效果,提出了一种Adam优化的卷积神经网络(convolutional neural network,CNN)超分辨率重建方法。该方法首先使用ISODATA(iterative selforganizing data analysis)聚类算法对训练的图像集进行分类处理,然后在Adam优化的卷积神经网络中对输入图像进行特征提取和非线性映射得到特征映射图,最后在Adam优化的卷积神经网络中对特征映射图进行反卷积重建得到多尺度放大的重建图像。通过实验验证使用该方法在不同放大倍数条件下的重构效果优于传统算法,在视觉效果上有较好的表现。     

基于球形矩匹配与特征判别的图像超分辨率重建

由于网络训练不稳定,基于生成对抗网络（GAN）的图像超分辨率重建存在模式崩溃的现象。针对此问题,提出了一种基于球形几何矩匹配与特征判别的球面双判别器超分辨率重建网络SDSRGAN,通过引入几何矩匹配与高频特征判别来改善网络训练的稳定性。首先,生成器对图像提取特征并通过上采样生成重建图像;接着,球面判别器将图像特征映射至高维球面空间,充分利用特征数据的高阶统计信息;然后,在传统判别器的基础上增加特征判别器,提取图像高频特征,重建特征高频分量和结构分量两方面;最后,对生成器与双判别器进行博弈训练,提高生成器重建图像质量。实验结果表明,所提算法能有效收敛,其网络能够稳定训练,峰值信噪比（PSNR）为31.28 dB,结构相似性（SSIM）为0.872,而与双三次差值、超分辨率残差网络（SRResNet）、加速的卷积神经网络超分辨率（FSRCNN）、基于GAN的单图像超分辨率（SRGAN）和增强型超分辨率生成对抗网络（ESRGAN）算法相比,所提算法的重建图像具有更加逼真的结构纹理细节。所提算法为基于GAN的图像超分辨率研究提供了球形矩匹配与特征判别的双判别方法,在实际应用中可行且有效。     

基于多种正则化的改进超分辨率重建算法

为了解决超分辨率图像重建过程中无法同时降低平滑区域噪声和保持图像细节的问题,结合改进的非局部变分（NLTV）和全变分（TV）正则项方法提出一种新的超分辨率重建算法。首先,根据图像重尾分布特性,结合高斯分布、拉普拉斯分布及柯西分布改进了传统NLTV正则项系数,提出了改进的ANLTV正则项。然后利用ANLTV正则项基于分裂Bregman算法重建了初始的高分辨率图像。最后结合TV正则项对重建的高分辨率图像进行去模糊操作,进而得到最终的超分辨率图像重建结果。为验证所提算法的性能,分别利用该算法与传统的TV和NLTV算法进行超分辨率图像重建并对比。实验结果表明,所提出的方法相比于传统的TV和NLTV重建算法,其峰值信噪比、信噪比和结构相似度均有所提高,能够同时满足超分辨率图像重建过程中抑制噪声和保持边缘细节的需求。     

基于递归残差网络的遥感图像超分辨率重建

深层网络有效地提高了重建图像的精度，但是拥有大量参数，使训练时间过长。因此，改进了一种基于递归残差网络的遥感图像超分辨率重建算法，将全局残差学习和局部残差学习相结合，有效地降低训练深层网络的难度，并且通过递归学习控制网络参数。实验结果证明了递归残差网络在遥感图像超分辨率重建中的有效性，改进的网络可以获得更好的主观视觉效果以及客观评价指标。     

基于NSCT阈值和自适应扩散的图像降噪

提出一种基于非下采样Contourlet变换(NSCT)阈值和P-Laplace扩散的图像降噪方法。通过NSCT阈值的平移不变性得到初步降噪图像,保留阈值变换后需要置0的高频部分,利用P-Laplace算子对其进行扩散,并将得到的扩散图像融合到阈值降噪图像中,从而提高降噪图像的质量。数值结果表明,该方法能有效保持原图像的纹理细节,减少图像降噪的吉普斯震荡现象。     

基于对抗网络人脸超分辨率重建算法研究

由于受到光照和成像设备等条件因素的影响,采集到的单帧人脸图像分辨率低,无法进行准确人脸识别,所以需要图像超分辨率重建。而利用SRGAN模型在进行人脸超分辨率重建过程中,易出现梯度消失或爆炸的问题,严重影响了重建图像的精度和质量。针对上述问题,提出了基于生成对抗网络的改进人脸超分辨率重建算法,在SRGAN结合WGA-N的基础上引入Wasserstein散度,并将其最大化得到最优化标量函数[T],实现去掉Lipschit-z约束能够直接得到Wassertein距离,并通过最小化Wassertein距离得到生成网络的目标函数,最终改进的模型提高了重建图像的质量。实验结果表明,该方法能够生成高分辨率的人脸图像,在主观视觉和客观评价指标均同比优于DRCN、FSRCNN、SRGAN_WGAN、VDSR和DRRN模型。     

基于NSCT的红外与可见光图像融合

针对红外与可见光图像的不同特点,提出一种基于非采样Contourlet变换（NSCT）的红外与可见光图像融合算法。采用NSCT对源图像进行多尺度、多方向分解;分别采用基于局部能量和区域特征的融合规则得到融合图像的低频子带系数和带通方向子带系数;最后经过NSCT逆变换得到融合图像。实验结果表明,该算法能够获得较理想的融合图像,其融合效果优于基于Contourlet变换的图像融合算法。     

基于SIFT的POCS图像超分辨率重建

针对传统的POCS图像超分辨率重建算法中广泛使用的基于改进的Keren配准算法,对于序列帧间存在剪切和非均匀尺度变换现象时,很难做到精确的亚像素级配准,文中讨论了一种基于SIFT算法的POCS序列图像超分辨率重建算法。首先利用SIFT算法提取序列帧与参考帧间的SIFT关键点对,随后选取匹配关键点对,通过RANSAC去除误配点的同时估算出六参数仿射变换参数,最后使用POCS重建算法得到最终的重建结果。实验结果表明：该方法能有效地解决因运动估计不准而引起的重建图像效果不好的问题,特别是在序列帧间存在剪切和非均匀尺度变换现象时,重建效果明显好于传统的POCS算法,具有更强适应性。     

基于可嵌入式网络结构的图像超分辨率重建方法

针对卷积神经网络中的图像超分辨率重建模型训练不稳定与收敛速度较慢等问题,提出一种可嵌入式并行网络框架（EPNF）,用于单幅图像超分辨率重建任务。将现有的图像超分辨率网络模型作为EPNF框架的深层结构部分嵌入到该框架中,能够以较小参数代价加快所嵌入的超分辨率模型的收敛速度,在一定程度上提高模型的准确率。在EPNF网络结构的基础上,提出一种新的超分辨率重建方法EPNF_DCSR,采用稠密跳跃连接构造高分辨率（HR）图像的高频成分,并使用单层卷积构造HR图像的低频成分,合成一幅HR输出图像。实验结果表明,与当前主流的图像超分辨率算法相比,EPNF_DCSR具有更好的图像生成效果。     

基于NSCT-GLCM的CT图像特征提取算法

针对海量CT图像分割中特征提取的难题,提出一种非下采样轮廓变换(NSCT)和灰度共生矩阵(GLCM)相融合的CT图像特征提取算法。首先采用NSCT对CT图像进行多尺度、多方向分解,并采用GLCM提取子带图像的共生特征量,然后对共生特征量进行主成分分析,消除冗余特征量,构成多特征矢量,最后利用支持向量机完成多特征矢量空间的划分,实现CT图像分割。实验结果表明,NSCT-GLCM能够较好地提取CT图像特征,提高了CT图像分割准确率,可以为医生诊断提供辅助信息。     

回环结构与PAM结合的双目图像超分辨率网络

双目图像第二视点为图像超分辨率重建网络提供更多的细节信息,为更充分利用双目图像的互补信息,提出一种基于深度学习的回环结构与视差注意力模块（PAM）相结合的双目图像超分辨率重建网络。该网络特征提取模块由MJR-ASPP+构成的回环结构与扩张残差块交替级联而成,回环结构中混合跳跃式残差（MJR）能聚合网络中不同深度的信息,改进空洞空间金字塔池化块（ASPP+）用于提取图像多尺度特征,扩张残差块融合多级特征的同时有效去噪;引入视差注意力模块获取双目图像中的全局对应关系,集成图像对的有用信息;通过亚像素层重建出超分辨率左（右）图,并将FReLU用于整个网络中提高捕获空间相关性效率。该网络在Middlebury、KITTI2012、KITTI2015和Flickr1024四个公开数据集中都取得了优异结果,实验结果表明该网络具有更好的超分辨率性能。     

基于递归多尺度卷积网络的图像超分辨率重建

不断加深网络的深度可提高网络的超分辨率重建效果,但是网络的加深会导致网络参数量急速增加,难以进行网络训练和内存存储.为了减小深度网络的参数规模并尽量保持网络的重建性能,基于递归和多尺度的思想,文中提出精简的基于递归多尺度卷积网络的图像超分辨率重建方法.首先利用多尺度模块充分提取图像在不同尺度下的特征信息,再通过递归操作实现网络规模的加深而不增加网络的参数量,最后将每次递归操作的输出进行特征融合,作为高分辨率图像重建的输入.实验表明,文中方法在网络参数量较少时重建效果较优.     

基于超分辨率和深度神经网络的车型识别

车型识别在视频监控系统中起着关键作用,文中利用深度神经网络和超分辨率来实现交通监控中的车型识别。利用深度卷积神经网络CaffeNet,并采用先进的深度学习框架CAFFE和具有强大计算能力的GPU来完成对车辆的车型识别。在图像预处理阶段,采用一种基于深度学习和稀疏表示的图像超分辨率(SR)重构算法,来增强图像的细节信息。其中首先基于深度学习模型自编码器,提出一种改进模型非负稀疏去噪自编码器(Nonnegative Sparse Denoising Auto-Encoders,NSDAE)来实现字典的联合学习,然后基于稀疏表示实现车辆图像的超分辨率重构。经实验验证,在加入超分辨率处理之后,车型识别效果在精确度上得到了明显的提升。