改进的生成对抗网络的超分辨率方法研究

本文针对基于深度学习的超分辨率重建网络SRGAN中存在的训练不稳定,重建图像信息缺失等问题进行了分析研究,做出相应的改进,提出了一种改良的生成器残差块结构,提高了重建效率,增强了重建图像的质量;引入Wasserstein距离代替JS散度来描述数据分布之间的差异,解决了生成对抗网络训练不稳定的问题,有效避免了梯度消失现象...     

基于深度学习的红外夜视图像超分辨率重建

针对红外夜视图像对比度低、成像质量不高的问题,提出适合红外夜视图像超分辨率重建方法。在自然图像超分辨率重建模型的基础上增加基于Retinex的对比度增强预处理步骤,并对网络模型做如下改进:构建超深卷积神经网络学习低分辨率图像与高分辨率图像之间的映射关系,增大感受野,提升网络学习能力;仅学习高低分辨率图像间的差值信息加速网络收敛。针对高分辨率红外夜视图像不易获得,数据量较少的问题,利用迁移学习理论,使用少量的高分辨率红外夜视图像为目标样本,对自然图像超分辨率重建模型进行微调,得到适合红外夜视图像重建的网络权重模型。实验结果证明:使用该方法得到的红外夜视图像信息丰富,层次分明,具有良好的视觉效果。     

基于生成对抗网络的单帧红外图像超分辨算法

高分辨率红外图像的获取受到了硬件性能的限制,利用信号处理的方法实现红外图像的超分辨率重建可以有效地提高红外图像的分辨率.将基于深度学习的超分辨方法应用于红外图像,实现了单帧红外图像的超分辨率重建,获得了更好的评价结果.通过引入对抗训练的思想,以及添加基于判别网络的损失函数分量,提高了放大倍数的同时,获得更好的高频细节恢复,图像边缘锐化,避免了超分辨率红外图像过于模糊.     

基于随机森林的红外图像超分辨力算法

为提高低分辨力红外图像的分辨力,提出了一种红外图像超分辨力算法。该算法训练2个随机森林模型：红外图像训练第1个模型、配准的多传感器图像训练第2个模型。采用自适应边缘提取算法提取红外图像与可见光图像的边缘,计算输入的低分辨力红外图像块与对应的高分辨力可见光图像块之间的相关系数。根据相关性选择合适的重建模型,用选择的模型重建高分辨力红外图像块,并整合为高分辨力红外图像。实验结果表明,与超分辨力随机森林算法相比,算法重建的高分辨力红外图像具有更高的客观指标,峰值信噪比(PSNR)平均提升了0.09 dB,并且获得更为清晰的主观视觉效果,更接近原始图像。     

采用卷积神经网络的红外和可见光图像块匹配

红外和可见光图像块匹配在视觉导航和目标识别等任务中有着广泛的应用。由于红外和可见光传感器有不同的成像原理,红外和可见光图像块匹配更加具有挑战。深度学习在可见光领域图像的块匹配上取得了很好的性能,但是它们很少涉及到红外和可见光的图像块。文中提出了一种基于卷积神经网络的红外和可见光的图像块匹配网络。此网络由特征提取和特征匹配两部分组成。在特征提取过程中,使用对比和三重损失函数能够最大化不同类的图像块的特征距离,缩小同一类图像块的特征距离,使得网络能够更加关注于图像块的公共特征,而忽略红外和可见光成像之间差异。在红外和可见光图像中,不同尺度的空间特征能够提供更加丰富的区域和轮廓信息。红外和可见光图像块的高层特征和底层特征融合可以有效地提升特征的表现能力。改进后的网络相比于先前卷积神经匹配网络,准确率提升了9.8%。     

基于稀疏编码的红外显著区域超分重建算法

由于红外光学衍射限和红外探测器的局限,得到的红外图像噪声相对偏大,分辨率偏低。对红外图像进行超分辨率重建可以提高图像分辨率,但同时又会增强背景噪声。针对此问题,提出了基于稀疏编码的红外显著区域超分重建算法,将超分重建和显著度检测相结合,可以提高目标分辨率并降低背景噪声。首先采用双层卷积提取图像特征,并自适应选择图像信息熵较大的图像块用于训练联合字典。然后利用稀疏特征计算显著度获取显著区域,再将显著区域用训练好的字典进行超分辨重建,与目标无关的背景区域采用高斯滤波。实验结果显示改进的重建算法在同等条件下重建效果优于重建模型ScSR和SRCNN,图像信噪比提高3～4倍。     

基于迁移学习的红外图像超分辨率方法研究

针对红外图像空间分辨率低、成像质量不高的问题,提出了基于迁移学习的红外图像超分辨率方法。该方法以基于卷积神经网络的自然图像超分辨率方法为基础进行改进:增加网络的层数进行更深层次的学习训练,串联多层小的卷积核使其能够利用更多的图像信息,以“相差图”为目标进行训练,减小网络训练时间,提升网络收敛速度;利用迁移学习知识,再以少量高质量红外图像为目标样本,对自然图像超分辨率的网络进行二次训练,将网络权重经过微调后迁移应用到红外图像的超分辨率上。实验结果表明:基于卷积神经网络的超分辨率方法能够有效迁移应用到红外图像的超分辨率上,且改进后的网络具有更好的自然及红外图像的超分辨率性能,验证了本文所提方法的有效性及优越性。     

一种水上目标可见光图像生成红外图像的方法

红外警戒系统、红外成像制导导弹等军事装备在进行性能评估和模拟训练过程中都需要大量红外仿真图像,但目前红外仿真软件普遍存在生成红外仿真图像逼真度差、软件普适性不好等问题,且国外技术封锁造成我国红外仿真软件发展缓慢。因此,针对国内可见光图像仿真技术日趋成熟的现状,为提高红外仿真图像质量,本文提出了一种采用循环生成对抗网络、由可见光图像生成红外仿真图像的方法,并通过实验验证该算法是有效可行的。该算法首先通过区域生长算法从采集的可见光图像中提取水上目标,建立了水上目标可见光图像生成红外图像的训练数据集;然后利用训练好的网络生成红外仿真图像。测试实验表明,采用这种方法所生成的水上目标红外仿真图像视觉效果接近真实红外图像,可实际应用于海军红外军事装备模拟试验和训练系统。     

基于改进生成对抗网络的单帧图像超分辨率重建

为了获得更好的图像超分辨率重建质量,提高网络训练的稳定性,对生成对抗网络、损失函数进行研究。首先,介绍了SRGAN和DenseNet,并设计了基于DenseNet的生成网络用以生成图像,且将子像素卷积模块加入到DenseNet中。接着,移除了原本DenseNet中冗余的BN层,提高了模型的训练效率。最后,介绍了SRGAN的损失函数并基于Earth-Mover距离来重新设计损失函数,并且用SmoothL1损失取代MSE损失来计算VGG特征图,以防止MSE放大最大误差和最小误差间的差距。实验证明:该模型在网络训练过程中能够达到稳定收敛的状态。重建出的图像质量对比SRGAN,在3个基准测试集SET5,SET14,BSD100上的平均PSNR要高约2.02dB,SSIM高约0.042(5.6%)。重建出的图像不仅在指标上有所提升,且拥有更好的清晰度,高频细节更为丰富。     

基于深度卷积神经网络的红外图像超分辨率重建技术

由于器件及工艺等技术限制，红外图像分辨率相对可见光图像较低，存在细节纹理特征模糊等不足。对此，本文提出一种基于深度卷积神经网络（convolutional neural network,CNN）的红外图像超分辨率重建方法。该方法改进残差模块，降低激活函数对信息流影响的同时加深网络，充分利用低分辨率红外图像的原始信息。结合高效通道注意力机制和通道-空间注意力模块，使重建过程中有选择性地捕获更多特征信息，有利于对红外图像高频细节更准确地进行重建。实验结果表明，本文方法重建红外图像峰值信噪比（peak signal to noise ratio,PSNR）优于传统的Bicubic插值法以及基于CNN的SRResNet、EDSR、RCAN模型。当尺度因子为×2和×4时，重建图像的平均PSNR值比传统Bicubic插值法分别提高了4.57 dB和3.37 dB。     

基于渐进式生成对抗网络的舰船红外图像仿真

红外图像仿真在红外导引头设计、仿真训练中起到十分关键的作用。针对如何生成高分辨率、视觉特征可控的红外图像,提出了一种基于渐进式生成对抗网络的红外图像仿真方法。本文利用舰船模型的红外图像数据集训练了图像合成网络,输入随机特征向量,输出高分辨率的红外仿真图像;设计了图像编码网络,实现红外图像到特征向量的转换;利用Logistic回归方法,在特征向量域找到了控制红外图像角度特征的方向向量,并据此生成了不同角度的舰船模型仿真图像;最后通过均值哈希算法和平均结构相似性算法来定量评价仿真图像和真实图像的差异,实验结果表明仿真的红外图像和真实图像的相似度很高,可以为真实舰船的可控化红外图像仿真提供参考。     

An artificial neural network for SPECT image reconstruction

An artificial neural network has been developed to reconstruct quantitative single photon emission computed tomographic (SPECT) images. The network is trained with an ideal projection-image pair to learn a shift-invariant weighting (filter) for the projections. Once trained, the network produces weighted projections as a hidden layer when acquired projection data are presented to its input. This hidden layer is then backprojected to form an image as the network output. The learning algorithm adjusts the weighting coefficients using a backpropagation algorithm which minimizes the mean squared error between the ideal training image and the reconstructed training image. The response of the trained network to an impulse projection resembles the ramp filter typically used with backprojection, and reconstructed images are similar to filtered backprojection images.     

红外与可见光图像多特征自适应融合方法

由于成像机理不同,红外图像以像素分布表征典型目标,而可见光图像以边缘和梯度描述纹理细节,现有的融合方法不能依据源图像特征自适应变化,造成融合结果不能同时保留红外目标特征与可见光纹理细节。为此,本文提出红外与可见光图像多特征自适应融合方法。首先,构建了多尺度密集连接网络,可以有效聚合所有不同尺度不同层级的中间特征,利于增强特征提取和特征重构能力。其次,设计了多特征自适应损失函数,采用VGG-16网络提取源图像的多尺度特征,以像素强度和梯度为测量准则,以特征保留度计算特征权重系数。多特征自适应损失函数监督网络训练,可以均衡提取源图像各自的特征信息,从而获得更优的融合效果。公开数据集的实验结果表明,该方法在主、客观评价方面均优于其他典型方法。     

基于特征融合的RGBT双模态孪生跟踪网络

热红外成像技术被广泛地应用于军事、遥感和安防等领域中的目标跟踪,但热红外图像对对比度较低、目标模糊等跟踪场景效果一般。因此,将热红外图像与可见光图像进行融合提高跟踪性能具有重要意义。与基于可见光或热红外图像的单模态跟踪算法相比,基于可见光/热红外(RGB/Thermal, RGBT)图像的双模态跟踪算法对光照变化、云雾遮挡具有更强的鲁棒性。提出了一种基于特征融合的RGBT双模态孪生跟踪网络架构。该网络将双模态图像中提取的深度特征进行融合,提高目标外观特征的判别力。该网络可以利用训练数据进行端到端的离线训练。公开数据集RGBT234上的实验结果表明,所提出的RGBT双模态孪生特征融合跟踪网络能够实现复杂场景下鲁棒持续的目标跟踪。     

基于图像退化模型的红外与可见光图像融合方法

基于深度学习的红外与可见光图像融合算法依赖人工设计的相似度函数衡量输入与输出的相似度,这种无监督学习方式不能有效利用神经网络提取深层特征的能力,导致融合结果不理想。针对该问题,该文首先提出一种新的红外与可见光图像融合退化模型,把红外和可见光图像视为理想融合图像通过不同退化过程后产生的退化图像。其次,提出模拟图像退化的数据增强方案,采用高清数据集生成大量模拟退化图像供训练网络。最后,基于提出的退化模型设计了简单高效的端到端网络模型及其网络训练框架。实验结果表明,该文所提方法不仅拥有良好视觉效果和性能指标,还能有效地抑制光照、烟雾和噪声等干扰。     

基于无监督栈式降噪自编码网络的显著性检测算法

针对现有的显著性检测算法检测目标类型单一、通用性差的问题,提出一种基于无监督栈式降噪自编码网络的显著性检测算法.该算法利用无监督栈式降噪自编码网络（Stacked Denoising Auto Encoder,SDAE）在多个尺度对原始图像进行稀疏重构,将原始图像与SDAE网络重构图像之间的差作为显著图,二值化后的显著图作为显著性目标检测结果.在SDAE网络训练过程中,将原始图像作为原始数据,网络重构的图像作为观察数据.为了提升网络训练效率,首先利用无监督逐层贪婪方法训练同结构的深度信念网络（Deep Belief Network,DBN）,将训练得到的DBN网络参数设为SDAE网络的初始参数,再计算原始数据与观察数据之间的互信息作为网络收敛代价,利用反向传播进行网络参数微调.实验表明,该网络模型可以完成多类型目标的显著性检测,具有通用性好,准确度高等优点.     

NSST框架下结合局部自适应亮度与DCAPCNN的双波段图像融合

针对现有红外与可见光图像融合后,易出现边缘平滑严重、纹理细节恢复不足、对比度低、显著目标不突出、部分信息缺失等问题,提出一种基于非下采样剪切波变换(non-subsampled shearlet transform,NSST)的红外与可见光双波段图像融合算法。首先,采用基于自适应引导滤波(adaptive guided filter,AGF)的方法对源红外、可见光图像增强。其次,利用NSST正变换分别对源红外与可见光图像分解,得到红外、可见光图像的低、高频子带分量。然后,分别通过基于局部自适应亮度(local adaptive intensity,LAI)与双通道自适应脉冲耦合神经网络(dual channel adaptive pulse coupled neural network,DCAPCNN)规则融合低、高频子带分量。最后,通过NSST逆变换得到最终融合图像。实验结果表明,本文算法整体对比度更适宜,对红外热目标及可见光背景的边缘与纹理的细节恢复性更好,融合图像信噪比高,有效结合了红外及可见光图像的各自优势,与现有传统图像融合与深度学习融合算法相比,本文算法达到了更好的实验效果,在主观视觉感知和客观指标评价中均具有更好的融合性能。     

基于NSCT和改进型PCNN的红外与可见光图像融合算法

针对现有红外与可见光图像融合算法中易出现目标信息丢失或减弱的情况,提出了一种基于非下采样Contourlet变换和改进型脉冲耦合神经网络的融合算法.该算法首先对经过预处理和图像配准后的红外和可见光图像进行非下采样Contourlet变换,分别得到两幅图像的高频系数和低频系数;其次,采用改进型脉冲耦合神经网络对源图像高频系数进行融合,用区域能量最大处理低频系数;最后,对融合后的系数进行非下采样Contourlet反变换,得到融合后的图像.实验结果表明,本文算法在主观视觉上显示了更多的图像细节信息,同时客观数据指标也有不同程度的提升.