基于特征复用的膨胀-残差网络的SAR图像超分辨重建

对于合成孔径雷达(SAR)图像,传统的超分辨重建方法对视觉特征的人为构造十分依赖,基于普通卷积神经网络(CNN)的超分辨重建方法对微小目标的重建能力较弱,对边缘轮廓的保真度较差。针对以上问题,该文提出一种基于特征复用的膨胀-残差卷积超分辨网络模型,同时引入感知损失,实现了精确的SAR图像4倍语义级超分辨。该方法为增加网络感受野,采用膨胀-残差卷积(DR-CNN)结构用于限制模型中特征图分辨率的严重损失,提高网络对微小细节的敏感度;为实现不同层级的特征最大化利用,将不同层级的特征图进行级联,形成一种特征复用结构(FRDR-CNN),以此大幅度提升特征提取模块的效率,进一步提升超分辨精度;针对SAR图像特殊的相干斑噪声干扰,引入感知损失,使得该方法在恢复图像边缘和精细的纹理信息方面具有优越表现。文中实验表明,与传统算法以及目前较为流行的几种全卷积神经网络超分辨重建算法相比,该文采用的FRDR-CNN模型在视觉上对小物体的超分辨重建能力更强,对边界等轮廓信息的重建更准确,客观指标中的峰值信噪比(PSNR)和结构相似性指数(SSIM)分别为33.5023 dB和0.5127,边缘保持系数(EPD-ROA)在水平和垂直方向上分别为0.4243和0.4373。      

基于聚类字典的图像超分辨率重构算法

针对图像超分辨率(SR)重构在空间邻域选取过程中 细节特征易被大幅度特征分量淹没的问题,提出 一种基于聚类字典的SR重构(DD-NE)算法。图像SR重构是利用信号处理方 法来提高图像分辨 率,针对NE算法在空间邻域选取时细节信号易被大幅度信号淹没的问题,对输入图像及邻域 利用聚类字典进行 稀疏分解。从大、小幅值表示系数中分别重构大、小幅度特征子图,保护邻域计算中的小幅 度特征,并将 低分辨率(LR)图像库及输入图像使用聚类字典表示。细节信号以字典原子的形式得到表达 ,空间邻域度 量转换为字典原子间的度量,从而细节特征对邻域的选择更加准确。实验结果表明,相对于 NE算法,本文算法图像SR 重构的峰值信噪比(PSNR)值平均提升了1.1dB,有效改善了重构效果;重构时间仅为NE算法的30.9%。     

基于卷积稀疏编码与生成对抗网络的图像超分辨率重建

针对现有图像超分辨率重建算法的重建图像仍存在高频信息缺失、噪点增多问题，本文提出了一种基于卷积稀疏编码与生成对抗网络的图像超分辨率重建模型。首先，利用卷积网络实现稀疏编码并获取图像稀疏表示，充分利用图像的先验信息，有效避免重建图像高频信息缺失和噪点增多的问题；在得到低分辨率图像的稀疏表示后，通过重建模块对稀疏表示进行重建得到超分辨率图像；随后，鉴别器对重建图像进行鉴别，缓解由PSNR主导的算法导致重建图像趋于平滑的问题。在不断对抗训练后，最后的重建图像具有更好的视觉效果。本文在Set5、Set14、BSD100和Urban100通用测试数据集上进行2倍和4倍的超分辨率重建实验，并与Bicubic、SRGAN、EDSR和ESRGAN对比。与ESRGAN方法相比，本文模型在4个数据集上平均PSNR提升约0.702 8 dB，平均SSIM提升约0.047，平均LPIPS提升了0.016。实验结果表明，所提出的模型具有较强的竞争力，能够恢复更多的细纹理细节且具有更好的清晰度。     

融合压缩激活注意机制的图像去雾算法

针对非均匀带雾图像出现颜色失真和细节丢失的问题,提出一种融合压缩激活注意力机制的端到端感知去雾卷积神经网络。首先,根据非均匀雾图特征,在特征融合注意网络上引入压缩激活注意力机制,通过学习的方式自动获取每个特征通道的重要程度,并对其进行排序后去提升有用的特征权重,遏制对当前任务用途较小的特征比例;其次,在损失函数方面融入感知损失,使去雾网络模型学习到更多语义特征信息,从而加强被模糊的边缘细节,获取较好的去雾效果;最后,在非均匀带雾图像NH-HAZE数据集上进行定性和定量分析。实验结果表明,所提出的网络与经典方法相比在量化指标PSNR、SSIM分别提升了3.05 dB和0.08%,且主观视觉效果上保留了更多的边缘信息和纹理细节。     

深层跳线残差网络热红外图像超分辨重建

在公共安全、军事等领域高分辨率热红外图像能够提供更多的场景细节信息,有着广泛的应用需求,但高昂的设备成本限制了高分辨率红外图像的获取。为此设计了一种多级跳线深层残差卷积神经网络(DR-CNN),通过软件超分辨的方法重构出高分辨率的红外图像。采用多级跳线双通道注意力残差块增加卷积深度以解决卷积层间缺乏关联性的问题;使用Concat模块实现局部特征信息的融合,利用反卷积层进行特征图像的上采样,使其直接从低分辨率图像学习到高分辨率图像以降低训练的复杂度,加快运行速度。所提算法与SRCNN,FSRCNN和ADSR等算法进行对比测试,使用峰值信噪比(PSNR)和结构相似度(SSIM)作为算法的评价指标。实验结果表明提出的RD-CNN算法优于其他对比算法,生成的高分辨率图像细节丰富且清晰。     

基于多尺度与残差网络的图像超分辨率重建

针对目前图像超分辨率重建算法在提取图像信息时过于单一地累加卷积层导致的深层网络梯度消失和图像信息丢失的问题,提出了一种基于多尺度与残差网络的图像超分辨率重建算法。该算法使用多尺度密集连接的卷积核代替单一累加的卷积核,充分提取输入低分辨率图像信息并实现通道特征维度的复用;利用残差网络,多层次地对丢失图像信息进行补充并对深层网络模型的梯度问题实现了抑制,在反向传播的过程中帮助全网络模型自适应地完成对权重更新;最后以非线性映射的方式输出最终重建图像。实验表明,所提算法在测试集上的峰值信噪比和结构相似性与对比算法相比均有所提升;在与目前主流算法对比中获得了细节信息更加丰富、边缘纹理更加清晰的重建图像。     

多尺度CNN与高频信息融合的图像去雾算法

针对现有去雾算法在恢复图像边缘区域效果不佳以及存在薄雾残留等问题,本文提出了一种基于多尺度卷积神经网络(CNN)与高频信息融合的图像去雾算法(HF-MSNet),采用拉普拉斯算子分离高频信息作为额外先验,用于提高图像细节恢复。首先,采用多尺度CNN作为主干网络,提取图像的主要纹理特征;其次,采用高频特征融合分支对高频信息逐阶段地提炼,并融合了通道注意力模块,使用注意力机制对不重要的特征进行约束;最后,采用高频注意力模块对全局特征自适应地筛选,整合高频特征和纹理特征的分布,得到目标的无雾图像。实验结果表明,本文的算法可以生成更自然真实的去雾图像,并在峰值信噪比(PSNR)、结构相似度(SSIM)两种指标上都达到了理想的效果。     

基于Contourlet域分块压缩感知的图像融合

针对传统图像融合方法导致纹理细节丢失的现象,提出了一种基于抗混叠移不变Contourlet域的分块压缩感知（block-based compressed sensing,BCS）图像融合算法——Contourlet_BCS。把善于表达图像纹理及边缘信息的Contourlet变换引入了压缩感知稀疏表示中,同时对分解得到的低频系数采取加权的区域能量融合规则,高频系数采取基于广义高斯分布模型的加权融合规则进行图像系数融合,最后在压缩感知框架下利用带平滑处理的投影Landweber算法重构。实验结果表明,Contourlet_BCS融合效果优于传统方法,融合的图像纹理清晰,边缘细节信息更为丰富。     

多尺度特征融合的壁画多光谱图像颜料3D-CNN分类方法

颜料的分类识别是古代壁画进行保护修复的基础,多光谱成像方法能够无损快速地获取壁画颜料的光谱图像数据并进行分析。传统利用卷积神经网络进行特征提取的算法中连续的卷积和池化操作会丢失壁画多光谱图像的部分特征信息,使得图像细节无法重建,导致分类图像边界不平滑。针对该问题,提出了一种基于多尺度特征融合的三维空洞卷积残差神经网络对壁画多光谱图像进行颜料分类。首先,在卷积核中引入空洞结构提高卷积核的感受野来提取不同尺度信息,避免池化操作所导致的部分特征丢失;其次,使用特征融合的方法融合不同尺度的特征图,增加多尺度特征的结构层次;最后,引入残差学习模块避免网络层数加深导致的梯度消失问题,重建完整的边缘信息。实验结果表明,所提方法在模拟壁画多光谱图像数据集上的总体精度和平均精度分别达到了98.87%和96.89%,与各对照组相比,不仅具有更好的分类精度,而且得到了边界更清晰的分类图像。     

基于CSR和能量特征的红外与可见光图像融合

传统稀疏表示(SR)分块处理策略降低了图像连续性,使得特征信息损失严重。因此,提出了基于卷积稀疏表示(CSR)和能量特征的红外与可见光图像融合算法。该算法将非下采样轮廓波变换(NSCT)域低频子带分解成低频基础分量和细节特征分量,使用局部拉普拉斯能量法(LLE)和卷积稀疏表示分别进行融合,获得低频子带融合图像。同时,根据底层视觉特征构建新活性度量方法来融合高频子带,最后对高、低频部分进行NSCT反变换重建。实验结果表明:该算法有效结合了源图像的边缘纹理信息,在主观和客观评价上皆优于现有的大部分算法。     

一种基于先验生成对抗网络的人脸超分辨率重建方法

针对人脸超分辨率算法中图像失真大、缺乏细节特征等问题,提出了一种基于先验知识的人脸超分辨率重建模型。通过在超分网络中加入纹理辅助分支,为重建过程提供额外纹理结构先验,以生成精细的面部纹理,恢复高分辨率纹理图。同时引入级联叠加模块对纹理辅助分支进行反馈。设计特征融合模块,将纹理特征图与超分分支特征图融合,获得更好的纹理细节;将纹理损失融入损失函数,以提高网络恢复纹理细节的能力。4倍放大因子下,该方法的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、结构相似性指数(Structural Similarity Index, SSIM)比现有方法至少提升1.082 5 dB和0.036,无参考图像质量评价(Natural Image Quality Evaluator, NIQE)至少降低1.690 2;8倍放大因子下,该方法的PSNR与SSIM值分别至少提升0.787 5 dB和0.046 85,NIQE值最小降低3.92。     

结合多尺度深度学习网络和Retinex理论的低光照图像增强算法

针对低光照增强任务缺乏参考图像及现有算法存在的色彩失真、纹理丢失、细节模糊、真值图像获取难等问题,本文提出了一种基于Retinex理论与注意力机制的多尺度加权特征低光照图像增强算法。该算法通过基于Unet架构的特征提取模块对低光照图像进行多尺度的特征提取,生成高维度的多尺度特征图;建立注意力机制模块凸显对增强图像有利的不同尺度的特征信息,得到加权的高维特征图;最后反射估计模块中利用Retinex理论建立网络模型,通过高维特征图生成最终的增强图像。设计了一个端到端的网络架构并利用一组自正则损失函数对网络模型进行约束,摆脱了参考图像的约束,实现了无监督学习。最终实验结果表明本文算法在增强图像的对比度与清晰度的同时维持了较高的图像细节与纹理,具有良好的视觉效果,能够有效增强低光照图像,视觉质量得到较大改善;并与其他多种增强算法相比,客观指标PSNR和SSIM得到了提高。     

基于边缘先验的人脸去手势遮挡修复方法研究

针对当下人脸去手势遮挡任务中常出现的结构缺失和纹理模糊等问题,文章提出一种基于边缘条件和注意力机制的两阶段修复网络——EmmNet。第一阶段网络为第二阶段细节修复提供边缘指导信息,以避免出现过度平滑等问题。第二阶段网络中的并行多扩张卷积模块可在有效扩大网络感受野的同时提高对有效像素的利用率。此外,注意力模块可促使网络生成具有全局一致性,使研究者获得符合原图特征的修复图像。实验结果表明,EmmNet在去手势遮挡任务中可以生成轮廓结构更加完整流畅,细节纹理更加清晰自然的人脸图像。     

一种基于立体注意力机制的立体图像超分辨算法

针对因图像采集系统或采集环境本身的限制导致的立体图像模糊、质量低下、感兴趣区域不显著等问题，在最新的基于立体注意力模块的立体图像超分辨算法的基础上，通过在单图超分辨（Single Image Super-Resolution,SISR）的深度网络中引入立体图像左右两个视点间的互补信息以及平滑损失（Smoothness Loss）函数，增强超分辨后立体图像的视觉效果。在该算法中，梯度更小、更加平滑的立体注意力图可以获得更好的立体图像超分辨效果。为证明引入的函数有效，对改进前后的基于立体注意力机制的立体图像超分辨算法进行对比实验和分析，结果表明，引入平滑损失后，SRCNN和SRResNet模型的峰值信噪比（Peak Signal to Noise Ratio,PSNR）值和结构相似性（Structural Similarity,SSIM）值有明显提高。     

并行多特征提取网络的红外图像增强方法

为解决低质量红外图像细节模糊、对比度低等问题,提出了并行多特征提取网络的红外图像增强方法,设计了结构特征映射网络和双尺度特征提取网络。结构特征映射网络用于建立全局结构特征权重,以保持原始图像的空间结构信息。双尺度特征提取网络采用多尺度卷积层和融合多空洞卷积的注意力,增强网络对上下文信息的关注力,提升网络对感兴趣区域的特征提取能力,同时学习不同尺度的特征信息,完成双尺度间信息的交换,生成目标增强映射,实现目标区域细节纹理自适应增强。实验证明,所提方法能有效提高对比度,避免过增强,丰富图像细节纹理,减少伪影和光晕现象,在BSD200数据集上的PSNR与SSIM较典型的传统方法和深度学习方法分别提升了约37.35%、2.1%与25.94%、3.15%,在真实红外数据集上分别提升了约30.62%、1.04%与24.83%、2.08%,且对不同对比度因子的低质量图像,文中方法也具有良好的增强效果。     

双层约束下基于局部和全局信息的图像插值新模型

该文提出一种双层约束的图像插值模型,模型在原始未插值图像梯度模约束下同时基于局部和全局信息处理。使用偏微分方程处理边缘像素,锐化边缘同时平滑边缘块状效应;平滑区域像素点的插值操作使用非局部均值模型,非局部均值模型通过对原始图像全局信息加权平均得到待处理图像像素值,图像平滑。使用双层约束模型处理纹理图像可以保持纹理特征,平滑纹理部分线形特征位置的块状效应。最后理论和实验结果证明使用双层控制模型可以直接将噪声图像插值放大。     

基于深度卷积神经网络的红外图像超分辨率重建技术

由于器件及工艺等技术限制，红外图像分辨率相对可见光图像较低，存在细节纹理特征模糊等不足。对此，本文提出一种基于深度卷积神经网络（convolutional neural network,CNN）的红外图像超分辨率重建方法。该方法改进残差模块，降低激活函数对信息流影响的同时加深网络，充分利用低分辨率红外图像的原始信息。结合高效通道注意力机制和通道-空间注意力模块，使重建过程中有选择性地捕获更多特征信息，有利于对红外图像高频细节更准确地进行重建。实验结果表明，本文方法重建红外图像峰值信噪比（peak signal to noise ratio,PSNR）优于传统的Bicubic插值法以及基于CNN的SRResNet、EDSR、RCAN模型。当尺度因子为×2和×4时，重建图像的平均PSNR值比传统Bicubic插值法分别提高了4.57 dB和3.37 dB。     

多输入融合对抗网络的水下图像增强

针对水下图像出现对比度低、颜色偏差和细节模糊等问题,提出了多输入融合对抗网络进行水下图像增强。该方法主要特点是生成网络采用编码解码结构,通过卷积层滤除噪声,利用反卷积层恢复丢失的细节并逐像素进行细化图像。首先,对原始图像进行预处理,得到颜色校正和对比度增强两种类型图像。其次,利用生成网络学习两种增强图像与原始图像之间差异的置信度图。然后,为减少在生成网络学习过程中两种增强算法引入的伪影和细节模糊,添加了纹理提取单元对两种增强图像进行纹理特征提取,并将提取的纹理特征与对应的置信度图进行融合。最后,通过构建多个损失函数,反复训练对抗网络,得到增强的水下图像。实验结果表明,增强的水下图像色彩鲜明并且对比度提升,评价指标UCIQE均值为0.639 9,NIQE均值为3.727 3。相比于其他算法有显著优势,证明了该算法的良好效果。     

改进生成对抗网络实现红外与可见光图像融合

红外与可见光图像融合技术能够同时提供红外图像的热辐射信息和可见光图像的纹理细节信息,在智能监控、目标探测和跟踪等领域具有广泛的应用。两种图像基于不同的成像原理,如何融合各自图像的优点并保证图像不失真是融合技术的关键,传统融合算法只是叠加图像信息而忽略了图像的语义信息。针对该问题,提出了一种改进的生成对抗网络,生成器设计了局部细节特征和全局语义特征两路分支捕获源图像的细节和语义信息;在判别器中引入谱归一化模块,解决传统生成对抗网络不易训练的问题,加速网络收敛;引入了感知损失,保持融合图像与源图像的结构相似性,进一步提升了融合精度。实验结果表明,提出的方法在主观评价与客观指标上均优于其他代表性方法,对比基于全变分模型方法,平均梯度和空间频率分别提升了55.84%和49.95%。     

基于结构组全变分模型的图像压缩感知重建

针对基于传统全变分(TV)模型的图像压缩感知(CS)重建算法不能有效地恢复图像的细节和纹理,从而导致图像过平滑的问题,该文提出一种基于结构组全变分(SGTV)模型的图像压缩感知重建算法。该算法利用图像的非局部自相似性和结构稀疏特性,将图像的重建问题转化为由非局部自相似图像块构建的结构组全变分最小化问题。算法以结构组全变分模型为正则化约束项构建优化模型,利用分裂Bregman迭代将算法分离成多个子问题,并对每个子问题高效地求解。所提算法很好地利用了图像自身的信息和结构稀疏特性,保护了图像细节和纹理。实验结果表明,该文所提出的算法优于现有基于全变分模型的压缩感知重建算法,在PSNR和视觉效果方面取得了显著提升。