太赫兹图像的超分辨率重建

太赫兹波相对于光波和红外而言,波长较长,因此太赫兹成像系统的空间分辨率较低.为了在一定程度上提高太赫兹图像的分辨率,提出了一种超分辨率重建方法.该方法基于深度学习,在原有残差结构上进行改进,加深了网络结构.对太赫兹图像进行训练,拟合低分辨率和高分辨率图像之间的映射关系,能够实现在单个网络中同时处理多个尺度的超分辨率图像.实验结果表明,相对于一些传统的超分辨率重建方法,本方法在量化指标和视觉效果上都有一定程度的提升,且处理速度相对较快,能够满足安检系统中实时处理的要求.     

基于梯度变换的太赫兹图像超分辨率重建

为了提高太赫兹图像的质量，克服边缘模糊的缺陷，采用有理分形插值和基于梯度变换的图像超分辨率重建算法相结合的方法对0.25THz，0.50THz和0.75THz图像进行超分辨率重建实验，并对实验结果进行了定量分析，利用基于空间信息熵的直方图匹配技术和双边滤波器对重建算法进行了优化，增强了该方法的适用性。结果表明，对经过插值的太赫兹图像采用基于梯度变换的超分辨率重建方法处理之后，0.25THz，0.50THz和0.75THz图像的边缘强度分别提高了169%，116%和104%，平均梯度分别提高了16%，28%和24%；同时，成像信号频率和强度也会对重建性能产生影响。该方法可以有效恢复太赫兹图像当中的细节信息，锐化图像边缘，提高图像质量且不会出现振铃现象，具有较好的实用价值。     

太赫兹线阵快速扫描成像

采用0.3THz辐射源和线阵探测器,搭建了太赫兹线阵扫描成像系统。该成像系统完成100mm×100mm区域的测量仅需1min,成像分辨率可达1.5mm,可以准确识别聚乙烯样品和水管中预埋的缺陷,高精度定位隐藏在信封内的剪刀和小刀。研究结果表明,该成像技术可以快速检测隐蔽物,在无损探伤和安全检查领域具有一定的实用价值。     

连续波太赫兹成像系统的单幅图像超分辨重建

针对现有的太赫兹成像系统所需硬件设备复杂且昂贵的问题,设计了基于单幅图像超分辨重建的连续波太赫兹成像系统,降低设备复杂度和硬件成本。通过对该成像系统生成的太赫兹图像进行双维度预处理,降低图像处理的占用内存,提高后续处理速度。引入限制对比度自适应直方图均衡方法对太赫兹图像进行分区域对比度提升,有效解决太赫兹图像对比度低的问题。利用稀疏表示和字典学习实现太赫兹图像的超分辨重建,提出了反余割拟牛顿平滑零范数的算法解决零范数优化问题,提高了重建精度。通过对该成像系统采集的单幅太赫兹图像进行超分辨重建,在边缘强度上提高了3.232,在平均梯度对比中提高了0.300,验证了对单幅太赫兹图像超分辨重建的有效性与优越性。     

基于改进生成对抗网络的红外图像超分辨率重建

由于硬件成本和拍摄条件等限制,很难直接获取高分辨率红外图像。生成对抗网络可以实现红外图像的超分辨率重建,但仍存在训练不稳定,训练时不收敛等不足。针对这些问题,本文使用Wasserstein距离代替KL散度,结合图像间的欧式距离构造新的损失函数,优化原有网络结构和算法流程,使网络更准确地学习低分辨率图像与重建图像的对应特征映射关系,网络训练更加稳定。实验结果表明,重建图像的边缘过渡平缓,目标细节得到有效保证,并获得了更好的客观评价结果。     

基于改进生成对抗网络的单帧图像超分辨率重建

为了获得更好的图像超分辨率重建质量,提高网络训练的稳定性,对生成对抗网络、损失函数进行研究.首先,介绍了SRGAN和DenseNet,并设计了基于DenseNet的生成网络用以生成图像,且将子像素卷积模块加入到DenseNet中.接着,移除了原本DenseNet中冗余的BN层,提高了模型的训练效率.最后,介绍了SRGA...     

基于多尺度特征聚合的图像超分辨率重建

针对图像超分辨率重建过程中,存在提取特征信息单一、图像细节缺失的问题,提出了一种新的生成式对抗网络(DAMFA-GAN),以获得更加逼真和自然的重建图像。在生成器方面,设计融合动态注意力机制的多尺度特征聚合模块(DAMFA)以获取低分辨率图像中每个上采样特征的多尺度高频信息,提高重建图像的质量;在判别器方面,设计ConvTrans Encoder模块以增强特征信息提取能力,提高判别的准确率。在Set5、Set14、BSD100和Urban100数据集上的实验结果表明,DAMFA-GAN在峰值信噪比(PSNR)和结构相似性(SSIM)上较于SRGAN分别平均提高了0.50 dB、0.015 2。同时,超分辨率重建图像的高频细节和视觉效果也得到了明显改善。     

单帧图像超分辨率重建的深度神经网络综述

随着硬件计算能力的显著提升,深度神经网络广泛应用于计算机视觉和图像处理的各个领域,获得了突出成果,受这种方法启发,单帧图像超分辨率重建(Super-resolution Reconstruction, SR)也引入深度学习思想,并且重建效果远远超越传统算法,成为研究的热点并迅速成为主流技术。将对深度神经网络的单帧图像超分辨率重建技术分为两类(基于传统深度神经网络的单帧图像超分辨率重建和基于生成对抗网络的单帧图像超分辨率重建和)进行阐述,以此为基础,对单帧图像超分辨率技术的发展趋势进行展望。     

基于轻量化生成对抗网络的遥感图像超分辨率重建

针对ESRGAN模型复杂度高、特征提取与表示性能欠佳的问题,提出了一种基于轻量化生成对抗网络(Light weight Generative Adversarial Network, LwGAN)的遥感图像超分辨率重建算法。该算法以改进残差密集模块(Improved Residual Dense Block, IRDB)为基础块构建生成网络的高阶特征提取部分,提取了丰富的多样化特征,同时建立了特征的通道及长距离位置关系,在降低模型参数量的同时提升了模型的特征提取与表示性能。通过在UC MERCED和NWPU-RESISC45数据集上的实验结果表明,与ESRGAN相比,LwGAN获取了更大的峰值信噪比和结构相似度,显著提升了遥感图像的超分辨率重建性能,可视化结果表明重建图像恢复了更多的纹理细节信息,同时模型参数量仅为原始ESRGAN的约三分之一,大幅地提高了模型的运行效率,为后续遥感图像的分析处理奠定了基础。     

太赫兹超分辨率成像评述II:实时成像

为提升成像速度和分辨率,实时太赫兹超分辨率成像方法近年来受到了越多越多的关注。基于此种成像手段构建的超透镜能突破衍射极限,在单次照射下得到微纳米级别分辨率的图像,推动了太赫兹成像的应用拓展。文中介绍了实时超分辨率成像的发展历程,总结了两种太赫兹频段实时超分辨率成像方法的基本原理、研究进展和存在的问题,包括基于金属周期结构和基于石墨烯结构的方法,最后对实时太赫兹超分辨率成像的发展作出展望。     

一种Enlighten-GAN网络的指纹超分辨率重建方法北大核心CSCD

将低分辨率(LR)图像重建为高分辨率(HR)图像的主流模型是生成对抗网络(GAN)。然而,由于基于GAN的方法利用从其他图像中学习到的内容来恢复高频信息,在处理新的图像时往往会产生伪影。由于,指纹图像的特征比自然图像更加复杂。因此,将以前的网络应用于指纹图像,尤其是中等分辨率的图像,会导致收敛不稳定伪影效果更加严重。针对以上弊端,本文提出了一种Enlighten-GAN超分辨率方法,来解决指纹图像的重建问题。具体来说,我们设计了启发块来控制网络收敛到一个可靠的点,并利用自我监督分层感知损失以改进损失函数提升网络性能。实验结果证明Enlighten-GAN方法在指纹图像的重建效果性能上具有更加卓越的效果。     

基于生成对抗网络的超声图像超分辨率重建

针对医学超声图像的分辨率低而导致视觉效果差的问题,使用基于神经网络的图像超分辨率(SR)重建方法提升医学超声图像的分辨率。采用针对自然图像超分辨率重建的生成对抗网络(SRGAN)作为基本方法,通过减少2个输入通道和删除1个残差块对该网络的结构进行更改,并且改进网络损失函数,新增模糊处理数据集,使该网络适应医学超声图像所具备的灰度图像、散斑纹理单一等特点,从而重建出放大4倍的边缘清晰没有伪影的医学超声图像。将改进SRGAN与原始SRGAN的结果相比,峰值信噪比(PSNR)和结构相似性(SSIM)分别有1.792 dB和3.907%的提升;与传统双立方插值的结果相比,PSNR和SSIM分别有2.172 dB和8.732%的提升。     

太赫兹超分辨率成像评述I:非实时成像

作为太赫兹波最重要的应用之一,太赫兹成像技术在生物医疗、安防安检、无损检测和质量监控等方面都具有非常重要的应用前景。由于受衍射极限的限制,传统太赫兹成像技术的分辨率只能达到工作波长级别,还无法满足很多应用的需求。本文对几种非实时的太赫兹超分辨率成像手段进行了介绍,包括近场扫描显微成像、基于空间调制器的单探测器成像、基于时间反转的成像和基于空间频谱采样的成像,并对每一种成像手段的原理、发展过程及其优缺点进行了综述和讨论,最后对非实时太赫兹超分辨率成像的发展进行了展望。     

基于生成对抗网络的遥感图像超分辨率重建改进算法

为了获取包含更多高频感知信息与纹理细节信息的遥感重建图像,并解决超分辨率重建算法训练难和重建图像细节缺失的问题,提出一种融合多尺度感受野模块的生成对抗网络（GAN）遥感图像超分辨率重建算法。首先,使用多尺度卷积级联增强全局特征获取、去除GAN中的归一化层,提升网络训练效率去除伪影并降低计算复杂度;其次,利用多尺度感受野模块与密集残差模块作为生成网络的细节特征提取模块,提升网络重建质量获取更多细节纹理信息;最后,结合Charbonnier损失函数与全变分损失函数提升网络训练稳定性加速收敛。实验结果表明,所提算法在Kaggle、WHURS19、AID数据集上的平均检测结果较超分辨率GAN在峰值信噪比、结构相似性、特征相似性等方面分别高出约1.65 dB、约0.040(5.2%)、约0.010(1.1%)。     

基于增强型超分辨率生成对抗网络的文物图像色彩重建

针对书画文物的褪色和画面暗旧等问题,提出了一种基于增强型超分辨率生成对抗网络的文物图像色彩重建(Color Reconstruction of Cultural Relic Images Based on Enhanced Super-Resolution Generative Adversarial Network, CR-ESRGAN)模型。该模型针对缺少成对图像的数据集问题,在双3次下采样的基础上提出了利用颜色迁移算法来生成逼真的暗旧、褪色的文物图像。同时改进了ESRGAN网络,在其生成网络中引入自注意力机制,以增强重建图像的纹理细节。在常用图像质量评价指标峰值信噪比(Peak Signal to Noise Ratio, PSNR)/结构相似性(Structural Sililarity Index, SSIM)的基础上引入颜色评价指标CIEDE2000,以更加全面、客观地评价重建图像的质量。与现有几种超分辨率算法以及其文物图像色彩修复方法相比,视觉效果和图像质量有较高的提升。     

基于卷积稀疏编码与生成对抗网络的图像超分辨率重建

针对现有图像超分辨率重建算法的重建图像仍存在高频信息缺失、噪点增多问题,本文提出了一种基于卷积稀疏编码与生成对抗网络的图像超分辨率重建模型。首先,利用卷积网络实现稀疏编码并获取图像稀疏表示,充分利用图像的先验信息,有效避免重建图像高频信息缺失和噪点增多的问题;在得到低分辨率图像的稀疏表示后,通过重建模块对稀疏表示进行重建得到超分辨率图像;随后,鉴别器对重建图像进行鉴别,缓解由PSNR主导的算法导致重建图像趋于平滑的问题。在不断对抗训练后,最后的重建图像具有更好的视觉效果。本文在Set5、Set14、BSD100和Urban100通用测试数据集上进行2倍和4倍的超分辨率重建实验,并与Bicubic、SRGAN、EDSR和ESRGAN对比。与ESRGAN方法相比,本文模型在4个数据集上平均PSNR提升约0.702 8 dB,平均SSIM提升约0.047,平均LPIPS提升了0.016。实验结果表明,所提出的模型具有较强的竞争力,能够恢复更多的细纹理细节且具有更好的清晰度。     

基于注意力机制的多尺度融合图像超分辨率重建

针对图像超分辨率重建算法在信息恢复过程中存在特征提取不充分、重建高频细节能力不足等问题,在SRGAN的基础上提出了一种基于注意力机制的多尺度融合图像超分辨率重建算法(SRGAN-MCA)。首先,构建了一种基于坐标注意力机制的多尺度密集残差注意力模块来提取不同尺度的特征信息,以解决图像超分辨率重建非线性映射过程中特征提取不充分的问题;其次,通过在网络判别器中嵌入谱归一化来约束判别器的Lipschitz常数,以增强网络训练的稳定性;最后添加了Charbonnier损失函数对SRGAN-MCA进行训练优化,以实现更高质量重建。在Set5、Set14、BSD100数据集上的实验结果表明,与SRGAN相比,2倍和4倍放大重建图像的峰值信噪比(PSNR)平均提高了0.35 dB、0.47 dB,结构相似性(SSIM)平均提高了0.005 4、0.016。     

文物图像的超分辨率重建算法研究

文物的数字化保护与分类识别是当前图像处理研究的热点之一.针对常规超分辨率算法不能充分描述现实世界中文物图像复杂纹理结构的问题,本文提出一种基于回归环金字塔型生成对抗网络的文物图像超分辨率算法（Closed-loop Pyramid Information Generative Adversarial Network,CPIGAN）.考虑文物图像的噪声等不定因素,本文采用不同的降采样方式构建了两种文物数据集且探索了一种改进信息块提取策略,提高了原始高分辨率文物图像中高频信息的利用率.本文进一步设计了一种金字塔型生成对抗网络并融入回归环结构,增强了网络从低分辨率图像到高分辨率图像映射的能力.基于自建文物图像数据集,本文算法与多种算法进行了实验对比分析,多个客观指标均有所提升且重建图像主观上更符合人类视觉标准.