基于深度学习的图像超分辨率重建算法研究

图像超分辨率重建是计算机进行图像处理的底层任务,可以将低分辨率图像进行优化,生成高频细节的高分辨率图像。基于深度学习的图像超分辨率重建算法可以进一步提高重建图像质量与视觉效果,采用轻量化的超分辨率算法可以有效减少重建算法模型所需要的内存空间。本文采用深度学习技术中的基于卷积神经网络的图像超分辨率重建模型,提高图像分辨率,降低计算复杂度。     

卫星遥感影像特定目标的超分辨率重建算法北大核心CSCD

鉴于目前基于深度学习的超分辨率重建算法存在实际应用精度低、训练样本处理效果差等问题,提出了一种新的遥感影像超分辨率重建算法。该方法将飞机和机场作为特定目标样本集,创立混合降质模型实现数据预处理,通过引入全局和局部残差学习策略改进深度卷积神经网络结构,再采用卷积层与反卷积层的图像特征融合重建高精度目标。该模型在多个目标数据集中训练,并采用多种主观和客观评估方法测试,与目前主流方法展开对比。实验结果表明,在定量指标评估中,在不同缩放因子下,该方法的峰值信噪比和结构相似度相对Bicubic、SRCNN、SRGAN、RFANet、EDSR和MCSR方法有较高提升。在分辨率卡的主观视觉评价中,该方法的有效分辨率提升倍数明显高于其他方法。该方法对遥感影像特定目标的超分辨率重建中获取细节特征信息的能力更高,重建目标拥有更高精度和清晰度,有利于航天对地观测的高精度图像解译和信息研判。     

基于深度学习的单图像超分辨率重建研究综述

为深入了解基于深度学习的单图像超分辨率重建（SISR）的发展,把握当前研究的热点和方向,针对现有基于深度学习的单图像超分辨率重建模型进行了梳理。介绍了相关深度学习算法和基于深度学习的模型以及评价指标,并通过实验对比分析现有模型的性能,其目的在于从本质上了解基于深度学习的单图像超分辨率重建模型的优势;对单图像超分辨率重建的关键问题进行了总结,并对未来的发展趋势进行了展望。     

深度学习视频超分辨率技术综述

视频超分辨率技术在卫星遥感侦测、视频监控和医疗影像等方面发挥着关键作用,在各领域具有广阔的应用前景,受到广泛关注,但传统的视频超分辨率算法具有一定局限性。随着深度学习技术的愈发成熟,基于深度神经网络的超分辨率算法在性能上取得了长足进步。充分融合视频时空信息可以快速高效地恢复真实且自然的纹理,视频超分辨率算法因其独特的优势成为一个研究热点。本文系统地对基于深度学习的视频超分辨率的研究进展进行详细综述,对基于深度学习的视频超分辨率技术的数据集和评价指标进行全面归纳,将现有视频超分辨率方法按研究思路分成两大类,即基于图像配准的视频超分辨率方法和非图像配准的视频超分辨率方法,并进一步立足于深度卷积神经网络的模型结构、模型优化历程和运动估计补偿的方法将视频超分辨率网络细分为10个子类,同时利用充足的实验数据对每种方法的核心思想以及网络结构的优缺点进行了对比分析。尽管视频超分辨率网络的重建效果在不断优化,模型参数量在逐渐降低,训练和推理速度在不断加快,然而已有的网络模型在性能上仍然存在提升的潜能。本文对基于深度学习的视频超分辨率技术存在的挑战和未来的发展前景进行了讨论。     

基于深度可分离卷积和宽残差网络的医学影像超分辨率重建

为提高医学影像超分辨率的重建质量,提出了一种基于深度可分离卷积的宽残差超分辨率神经网络算法。首先,利用深度可分离卷积改进网络的残差块,扩宽残差块中卷积层的通道,将更多的特征信息传入了激活函数,使得网络中浅层低级图像特征更容易地传播到高层,提高了医学影像超分辨率的重建质量;然后,采用组归一化的方法训练网络,将卷积层的通道维度划分为组,在每个组内计算归一化的均值和方差,使得网络训练过程更快地收敛,解决了深度可分离卷积扩宽通道数导致网络训练难度增加的问题,同时网络表现出更好的性能。实验结果表明,对比传统的最近邻插值、双三次插值超分辨率算法,以及基于稀疏表达的超分辨率算法,所提算法重建出的医学影像纹理细节更加丰富、视觉效果更加逼真。对比基于卷积神经网络的超分辨率算法,基于宽残差超分辨率神经网络算法和生成对抗网络超分辨率算法,所提算法在峰值信噪比（PSNR）和结构相似性（SSIM）上有显著的提升。     

深度学习的单幅图像超分辨率重建方法综述

图像超分辨率重建即使用特定算法将同一场景中的低分辨率模糊图像恢复成高分辨率图像。近年来,随着深度学习的蓬勃发展,该技术在很多领域都得到了广泛的应用,在图像超分辨率重建领域中基于深度学习的方法被研究的越来越多。为了掌握当前基于深度学习的图像超分辨率重建算法的发展状况和研究趋势,对目前图像超分辨率的流行算法进行综述。主要从现有单幅图像超分辨算法的网络模型结构、尺度放大方法和损失函数三个方面进行详细论述,分析各类方法的缺陷和益处,同时通过实验对比分析不同网络模型、不同损失函数在主流数据集上的重建效果,最后展望基于深度学习的单幅图像超分辨重建算法未来的发展方向。     

基于深度学习的超分辨率图像重建研究综述

目前超分辨率图像重建技术是计算机视觉领域的研究热点,随着深度学习的发展,基于深度学习的超分辨率图像重建技术已经取得了一定的研究成果.论文回顾了典型的超分辨率图像重建的深度网络模型,对超分辨率图像重建的深度学习算法和网络结构进行介绍,比较分析了不同模型的优缺点,从本质上发现并提出了超分辨率图像重建的一些问题.在此基础上,提出了基于深度学习的超分辨率图像重建方法未来的研究趋势.     

基于Landsat 8与实测数据的水质参数反演研究

目前遥感技术已成为监测水质参数的重要手段,精度更高的水质参数反演模型是当前水质监测的重点。但由于水环境的复杂性、遥感数据的局限性等多重原因,水质参数遥感反演精度有限,且多集中于水色水质参数反演。为了得到精度更高的水质参数反演模型,以天津市海河下游段为研究区,对Landsat 8 OLI遥感影像进行大气校正、辐射定标等预处理,通过实验室理化分析测定水体的总磷、氮氨、总氮浓度及电导率,建立实测水质参数与Landsat 8 OLI遥感影像数据的统计回归模型及神经网络模型,采用决定系数(R~2)、平均绝对误差(MAE)、均方根误差(RMSE)进行精度检验,神经网络模型反演结果 R~2均大于0.85,MAE分别为0.019、0.09、0.242、0.411,RMSE分别为0.024、0.118、0.286、0.562,反演精度较好。结果表明:基于神经网络建立的水质参数反演模型精度较高。     

PSO优选参数的SVR水质评价方法

为进一步提高多光谱图像水质反演的评价精度,提出了一种基于PSO优选参数的SVR水质评价方法。该模型利用高分辨率多光谱遥感SPOT-5 数据和水质实地监测数据,用粒子群优化算法对支持向量回归的参数进行了优化。首先,分析和筛选渭河陕西段水质实地监测数据,得到符合条件且具有代表性的四类水质变量。接着,使用五种大气校正方法对遥感影像进行大气辐射校正。然后,对各水质变量与遥感数据波段进行相关性分析和水质反演。最后,运用该模型以渭河水质监测数据为例进行了水质评价。实验结果表明,该方法可以较好地实现水质综合评价,能从整体上准确、客观地反映河流水质情况,为内陆河流环境评价提供了一种新方法。     

基于WorldView-2数据和随机森林算法的遥感水深反演

鉴于传统水深反演线性回归模型易受水质和环境因素的影响,利用甘泉岛区域的高分辨率WorldView-2遥感影像,结合相应的机载LiDAR实测水深数据,使用随机森林算法构建了浅海水深反演非线性回归模型。以反演的水深值和实测水深值的相关系数(R~2)和均方根误差(RMSE)为指标,并同传统的水深反演单波段线性回归模型、双波段比值线性回归模型以及多波段组合线性回归模型进行比较。结果表明,随机森林水深反演非线性回归模型反演精度最优,R~2和RMSE分别为0.967和0.868m。     

基于卷积神经网络的视频图像超分辨率重建方法

为了进一步增强视频图像超分辨率重建的效果,研究利用卷积神经网络的特性进行视频图像的空间分辨率重建,提出了一种基于卷积神经网络的视频图像重建模型。采取预训练的策略用于重建模型参数的初始化,同时在多帧视频图像的空间和时间维度上进行训练,提取描述主要运动信息的特征进行学习,充分利用视频帧间图像的信息互补进行中间帧的重建。针对帧间图像的运动模糊,采用自适应运动补偿加以处理,对通道进行优化输出得到高分辨率的重建图像。实验表明,重建视频图像在平均客观评价指标上均有较大提升（PSNR +0.4 dB / SSIM +0.02）,并且有效减少了图像在主观视觉效果上的边缘模糊现象。与其他传统算法相比,在图像评价的客观指标和主观视觉效果上均有明显的提升,为视频图像的超分辨率重建提供了一种基于卷积神经网络的新颖架构,也为进一步探索基于深度学习的视频图像超分辨率重建方法提供了思路。     

基于通道注意递归残差网络的图像超分辨率重建

近年来,深度学习被广泛应用于图像超分辨率重建.针对基于深度学习的超分辨率重建方法存在的特征提取不充分、细节丢失和梯度消失等问题,提出一种基于通道注意的递归残差深度神经网络模型,用于单幅图像的超分辨率重建.该模型采用残差嵌套网络和跳跃连接构成一种简洁的递归残差网络结构,能够加快深层网络的收敛,同时避免网络退化和梯度问题.在特征提取部分,引入注意力机制来提升网络的判别性学习能力,以提取到更准确、有效的深层残差特征;随后结合并行映射重建网络,最终实现超分辨率重建.在数据集Set5,Set14,B100和Urban100上进行放大2倍、3倍和4倍的重建测试实验,并从客观指标和主观视觉效果上将所提方法与主流方法进行比较.实验结果显示,所提方法在全部4个测试数据集上的客观指标较对比方法均有明显提升,其中,相比插值法和SRCNN算法,在放大2倍、3倍、4倍时所提方法的平均PSNR值分别提升了3.965 dB和1.56 dB、3.19dB和1.42 dB、2.79 dB和1.32 dB.视觉效果对比也表明所提方法能更好地恢复图像细节.     

图像超分辨率技术的回顾与展望

图像超分辨率(SR)是计算机视觉中提高图像和视频分辨率的一类重要技术。近年来,得益于神经网络的成功,基于深度学习的图像超分辨率技术正在蓬勃发展,这无疑是超分辨率技术研究的主流方向。对超分辨率工作进行综述。首先,总结目前已有的超分辨率技术,根据其输入输出进行分类介绍;其次,将基于深度学习的单图像超分辨率技术分为有监督学习和无监督学习两类进行论述,并对部分具有代表性的最新超分辨率重建技术进行总结分类介绍;然后,讨论了超分辨率技术的相关问题,即性能评价指标、标准数据集,进而对几种典型算法进行实验对比;最后,对图像超分辨率算法未来的研究趋势进行展望。     

基于DenseNet的无人机光学图像树种分类研究

利用无人机航拍获得光学影像数据,结合深度学习理论,建立树种识别模型,以期为大规模树种识别提供一种新的方式。首先以福建安溪县为例,采用无人机获取20 m及40 m高度的航拍影像。其次,以树种为对象,对航拍影像进行分割,获得12种树种影像。最后,结合深度学习理论,采用DenseNet卷积神经网络建立树种识别模型,探讨不同航拍高度以及不同网络深度对树种识别的影响。结果表明:不同航拍高度的树种识别模型,其分类精度均达80%以上,最高精度为87.54%。从航拍影像解析度分析,随着航拍影像解析度的下降,模型识别精度呈现下降趋势,以20 m航拍影像数据建构的树种识别模型,其分类精度高于40 m模型;从模型网络深度分析,随着模型网络层数的增加,模型分类精度出现下降现象,DenseNet121模型分类精度高于DenseNet169模型分类精度。综上所述,基于无人机航拍影像,结合深度卷积神经网络,提出了新的树种识别方式,并以安溪县森林树种识别为例证明了该分类框架的有效性。     

图像超分辨率重建的研究进展

图像超分辨率重建技术对于输入的低分辨率图像进行相关处理,从而重构出高分辨率图像,该技术已经成为图像处理研究领域的一个热点方向。对超分辨率图像重建的研究进展进行了综述。阐述了图像超分辨率重建的基本原理。对基于重建的图像超分辨重建中：IBP,POCS等算法,基于学习的图像超分辨率重建中：稀疏表示,基于深度神经网络等算法及一些相关改进的算法进行了综述。对图像超分辨率重建的研究提出了展望。     

基于DenseNet的无人机光学图像树种分类研究

利用无人机航拍获得光学影像数据，结合深度学习理论，建立树种识别模型，以期为大规模树种识别提供一种新的方式。首先以福建安溪县为例，采用无人机获取20 m及40 m高度的航拍影像。其次，以树种为对象，对航拍影像进行分割，获得12种树种影像。最后，结合深度学习理论，采用DenseNet卷积神经网络建立树种识别模型，探讨不同航拍高度以及不同网络深度对树种识别的影响。结果表明:不同航拍高度的树种识别模型，其分类精度均达80%以上，最高精度为87.54%。从航拍影像解析度分析，随着航拍影像解析度的下降，模型识别精度呈现下降趋势，以20 m航拍影像数据建构的树种识别模型，其分类精度高于40 m模型；从模型网络深度分析，随着模型网络层数的增加，模型分类精度出现下降现象，DenseNet121模型分类精度高于DenseNet169模型分类精度。综上所述，基于无人机航拍影像，结合深度卷积神经网络，提出了新的树种识别方式，并以安溪县森林树种识别为例证明了该分类框架的有效性。     

基于深度反卷积神经网络的图像超分辨率算法

图像超分辨率一直是底层视觉领域的研究热点,现有基于卷积神经网络的方法直接利用传统网络模型,未对图像超分辨率属于回归问题这一本质进行优化,其网络学习能力较弱,训练时间较长,重建图像的质量仍有提升空间。针对这些问题,本文提出了基于深度反卷积神经网络的图像超分辨率算法,该算法利用反卷积层对低分辨率图像进行上采样处理,再经深度映射消除由反卷积层造成的噪声和伪影现象,使用残差学习降低网络复杂度,同时避免了因网络过深导致的网络退化问题。在Set5、Set14等测试集中,本文算法的PSNR、SSIM、IFC三项评价指标皆优于FSRCNN,重建图像的视觉效果同样验证了本文算法出色的性能。     

基于稀疏神经网络的图像超分辨率重建算法

部分基于深度学习的图像超分辨率重建算法通过扩展网络层的深度来提高网络模型的整体特征表达能力。然而,一味过度地扩展网络的深度会造成网络模型过参数化和复杂化,并且冗余的网络参数会增加特征表达的不稳定性。在LTH剪枝算法基础上改变权重参数并使用均衡学习策略,提出一种适用于图像超分辨率重建任务的神经网络非结构化剪枝算法RLTH。在不改变网络结构和不增加计算复杂度的前提下,通过搜索原始网络模型的最优稀疏子网络排除冗余参数带来的影响,在有限的参数资源中捕获更细粒度和丰富的图像特征,进而提高网络模型的整体特征表达能力。基于Set5、Set14和BSD100测试集的实验结果表明,与原始网络模型和应用LTH剪枝算法相比,应用RLTH算法获得的重建图像PSNR和SSIM均得到提升,且具有更丰富的细节特征,整体和局部轮廓更清晰。     

基于超分辨率和深度神经网络的车型识别

车型识别在视频监控系统中起着关键作用,文中利用深度神经网络和超分辨率来实现交通监控中的车型识别。利用深度卷积神经网络CaffeNet,并采用先进的深度学习框架CAFFE和具有强大计算能力的GPU来完成对车辆的车型识别。在图像预处理阶段,采用一种基于深度学习和稀疏表示的图像超分辨率(SR)重构算法,来增强图像的细节信息。其中首先基于深度学习模型自编码器,提出一种改进模型非负稀疏去噪自编码器(Nonnegative Sparse Denoising Auto-Encoders,NSDAE)来实现字典的联合学习,然后基于稀疏表示实现车辆图像的超分辨率重构。经实验验证,在加入超分辨率处理之后,车型识别效果在精确度上得到了明显的提升。     

基于递归残差网络的图像超分辨率重建

深度卷积神经网络在单图像超分辨率重建方面取得了卓越成就,但其良好表现通常以巨大的参数数量为代价.本文提出一种简洁紧凑型递归残差网络结构,该网络通过局部残差学习减轻训练深层网络的困难,引入递归结构保证增加深度的同时控制模型参数数量,采用可调梯度裁剪方法防止产生梯度消失/梯度爆炸,使用反卷积层在网络末端直接上采样图像到超分辨率输出图像.基准测试表明,本文在重建出同等质量超分辨率图像的前提下,参数数量及计算复杂度分别仅为VDSR方法的1/10和1/（2n2）.