基于残差卷积神经网络遥感图像超分辨率重建

首先去掉批规范化(Batch Normalization,BN)层,改进激活函数,然后重新构建网络模型结构并进行训练.在UCMerced_LandUse数据集上与VDSR和Bicubic方法进行了仿真对比.     

基于深度学习的遥感图像超分辨率重建方法综述

基于深度学习的遥感图像超分辨率重建方法是计算机视觉中的重要方法之一。传统的遥感图像超分辨率重建方法已无法满足地物目标识别和土地检测等应用的需求,如何利用深度学习来重建遥感图像的分辨率是目前要解决的问题。结合国内外最新研究现状,将基于深度学习的遥感图像超分辨率重建方法分成3大类：单幅遥感图像超分辨率重建方法、多幅遥感图像超分辨率重建方法和多/高光谱遥感图像超分辨率重建方法。系统梳理了基于深度学习的单幅遥感图像超分辨率重建方法,包括基于多尺度特征提取的方法、结合小波变换的方法、沙漏状生成网络的方法、边缘增强网络的方法以及可跨传感器的方法。总结了基于深度学习的多幅遥感图像和多/高光谱遥感图像超分辨率重建方法中目前主流的方法。通过实验结果分析了遥感图像超分辨率重建方法目前效果最好的单幅图像超分辨率重建方法是基于GAN的方法,但是多幅遥感图像和多/高光谱遥感图像超分辨率重建效果仍然不佳,存在配准融合、多源信息融合等问题。最后,对基于深度学习的遥感图像超分辨率重建方法未来可能的发展趋势进行了展望,指出构建针对遥感图像特点的神经网络结构,无监督学习的遥感图像超分辨率重建方法,以及多源遥感图像的超分辨...     

基于反馈网络的磁共振图像超分辨率重建研究

针对磁共振图像超分辨率重建算法存在的边缘信息丢失和运动伪影等问题,本文提出一种基于反馈网络的磁共振图像超分辨重建方法.采用反馈路径构成网络结构,在所提出的重建算法中,将输入图像进行上采样和下采样操作,提取图像特征,并对提取的特征进行融合后与输入图像一起进行局部循环训练,同时通过残差和卷积操作,重建超分辨率图像.为了更加...     

深度图像超分辨率重建技术综述

便携式消费级深度相机的问世和发展,加速了深度信息在无人驾驶、人机交互、三维重建等领域的应用,但低成本消费级相机所拍摄的深度图像通常具有较低的空间分辨率。深度图像超分辨率重建是一种能有效提高深度信息空间分辨率的方法,已经成为计算机视觉和图像处理领域的研究热点。在详细阐述深度图像超分辨率重建概念和必要性的基础上,从输入图像角度,全面梳理归纳了近年来深度图像超分辨率重建方法的研究现状,对其中的关键性问题和今后的研究方向做了较为深入的分析,最后对深度图像超分辨率重建的应用前景进行了展望。     

双路多尺度残差网络的图像超分辨率重建

针对传统单幅图像超分辨率重建方法出现的边缘特征模糊问题,提出了一种双路多尺度残差网络(BMRN)的重建方法.首先直接对低分辨率图像进行特征提取,较大程度保留特征信息;再构建多个独立的双路多尺度残差网络提取高频信息,其中残差连接的引入可以有效解决网络加深导致的梯度消失问题,双路多尺度结构可以相互补充卷积中的尺度信息,改善...     

一种多映射卷积神经网络的超分辨率重建算法

针对现有卷积神经网络在超分辨率重建的图像上存在部分细节特征不够突出、边缘模糊等问题,在现有模型三大模块的基础上对映射模块及损失函数进行细致剖析,提出了一种多映射卷积神经网络的超分辨率重建算法．该算法通过构建多映射网络,极大地丰富了图像在聚合高分辨图像时的特征维度．同时在重建模块的卷积层后引入全变分正则项,结合误差反向传播算法,可有效地对解空间约束,从而提取出精确、有效的特征,丰富重建图像的细节信息．在常用数据集上的实验结果表明,该算法生成的网络模型获得了更好的超分辨率结果,主观视觉评价和客观衡量指标有一定的改进,有效地提高了图像的分辨率．     

基于多尺度特征映射网络的图像超分辨率重建

针对基于卷积神经网络的图像超分辨率重建（SRCNN）方法存在的重建网络浅、特征利用率低以及重建图像模糊等问题,提出基于多尺度特征映射网络的图像超分辨率重建方法. 多尺度特征映射网络通过学习低分辨率（LR）特征与高分辨率（HR）特征之间的映射关系,将多个尺度的LR特征映射到HR特征空间,通过特征融合来提高重建过程中对特征的利用率;该方法定义了结合逐像素损失、感知损失和对抗损失的联合损失函数,从低频内容、图像边缘和局部纹理等方面均衡提升重建图像质量. 对数据集Set5、Set14和BSD100的图片4倍下采样后进行测试,与当前主流方法进行比较和分析. 实验证明,基于生成对抗的多尺度特征映射网络在提高图像感知质量方面表现优秀,重建的图像具有更加清晰的边缘和纹理,在客观评价上具有较好的评分.     

基于残差连接卷积神经网络的图像超分辨率重构

针对基于卷积神经网络超分辨率重构算法中存在的感受野较小、梯度信息易丢失与网络收敛较慢等问题,提出了基于残差连接卷积神经网络的图像超分辨率重构算法。通过在低分辨率空间进行图像的超分辨率重构,减少了图像预处理过程,降低了网络复杂度。利用局部和全局残差连接,对卷积网络结构和亚像素采样层进行改进,局部残差促进了网络中信息的流动,全局残差使网络只学习图像残差信息,减少了网络冗余。通过增加网络深度扩大了感受野,使网络学习到更多的重建信息。实验结果表明:本文算法的PSNR和SSIM值相较于其他算法有不同程度的提升。     

改进SRGAN的图像超分辨率算法

SRGAN算法虽然具有许多优点,但也存在图像重建效果不够好、参数数量庞大、激活函数表现较差等问题。为此,本文提出一种基于SRGAN的图像超分辨率算法SRGAN-E。该算法首先删除BN层,提高图形的重建效果;再在原生成器模型中加入一维卷积注意力机制,使得图像在重建过程中更加关注上下文信息并减少网络模型中生成器的参数;将SRGAN算法鉴别器模型中的LeakyReLU函数改为Mish函数,以提升鉴别器的性能。实验结果表明:对比SRGAN算法,改进后的SRGAN-E算法在4个测试集上PSNR的平均值增加了0.345,SSIM的平均值增加了0.009;SRGAN-E算法的生成器参数数量与SRGAN算法相比,减少了1 388个。SRGAN-E算法不但提高了图像的重建效果而且还减少了模型参数。     

双通道单图像超分辨率卷积神经网络

基于残差与稠密结构的卷积神经网络的单张图像的超分辨率(SISR)方法显著地提升了重建的性能,然而残差网络侧重于特征的复用,而稠密连接可以实现对新特征的探索,为了结合两者的优势,本文设计了一种双通道图像超分辨率深度卷积神经网络,将特征映射在第三维度上分割成两条路径,一条以残差的形式进行连接,另一条以稠密的方式进行跳跃连接。同时,在网络末端引入解卷积层来放大特征映射,显著加速了计算,并且直接从低分辨率图像到高分辨率图像之间进行端到端的映射。评估结果表明,本文方案取得了比当前绝大多数网络模型更高的峰值信噪比(PSNR)。     

Radial Basis Function Neural Network Based Super-Resolution Restoration for an Underspled Image

To achieve restoration of high frequency information for an underspled and degraded low-resolution image, a nonlinear and real-time processing method-the radial basis function (RBF) neural network based super-resolution method of restoration is proposed. The RBF network configuration and processing method is suitable for a high resolution restoration from an underspled low-resolution image. The soft-competition learning scheme based on the k-means algorithm is used, and can achieve higher mapping approximation accuracy without increase in the network size. Experiments showed that the proposed algorithm can achieve a super-resolution restored image from an underspled and degraded low-resolution image, and requires a shorter training time when compared with the multiplayer perception (MLP) network.     

基于无监督深度学习的红外图像与可见光图像融合算法

红外和可见光图像表征了互补的场景信息. 现有的基于深度学习的融合方法大多通过独立提取网络分别提取两个源图像特征,从而丢失了源图像之间的深度特征联系. 基于此,提出了一种新的基于无监督深度学习的红外图像与可见光图像融合算法,针对不同模态的特点采用不同的编码方式提取图像特征,利用一个模态的信息补充另一个模态的信息,并对提取到的特征进行融合,最后根据融合特征重建融合图像. 该算法可在两个模态的特征提取路径之间建立交互,不仅可预融合梯度信息和强度信息,且能增强后续处理的信息. 同时设计了损失函数,引导模型保留可见光的细节纹理,并保持红外的强度分布. 将所提算法与多种融合算法在公开数据集上进行对比实验,结果表明,所提算法获得了良好的视觉效果,客观指标评价方面对比现有的优秀算法也有一定的提升.     

基于时空特征和神经网络的视频超分辨率算法

提出了一种基于时空特征和神经网络的视频超分辨率重建算法,实现了视频视觉分辨率质量和细节清晰度的提升. 该算法综合考虑了外部图像块之间的关联映射关系和内部图像块间的相似性,利用深度卷积神经网络学习得到的拟合系数快速地重建视频细节. 采用时空非局部特征相似性优化重建结果,将相邻视频帧间的非局部互补冗余信息融入学习视频帧结果中,解决了误匹配等问题,进一步提升了超分辨率性能. 实验结果表明,所提方法在客观评价指标和主观视觉效果上均取得了较好的重建效果.     

基于非局部均值的单帧图像超分辨率重建算法

为了解决单帧低分辨率图像获得高分辨率图像的问题,提出了一种基于非局部均值滤波的单帧图像超分辨率算法,将图像超分辨率重建视为反问题,建立正则化模型,充分考虑图像的局部结构信息和自然图像中不同尺度的相似性冗余,加入非局部滤波.实验结果表明,文中算法从单帧图像重建的图像边缘轮廓和纹理较传统算法清楚,有效抑制了人工伪影,同时对噪声具有鲁棒性.在视觉效果及峰值信噪比上都取得良好的结果.     

基于Bayesian理论的压缩视频超分辨率重构

针对传统算法不能很好解决压缩视频的超分辨率图像重构问题,提出了一种基于Bayesian估计的压缩视频超分辨率重构算法.首先建立起一个从原始图像到压缩视频的成像模型,然后在此模型基础上运用Bayesian估计理论,在最大后验概率准则下表述该问题.通过综合使用CCD（Cyclic Coordinate Decent）和SA（Successive Approximations）等方法,从理论上给出了压缩视频超分辨率重构问题的一般解决方法.实验结果表明,此方法不仅在峰值信噪比（PSNR）和重构效果对压缩视频有较大提高和明显改善,而且算法易于扩展,具有广泛的应用范围.     

基于图像分析和深度学习的复合绝缘子憎水性分级

为了更加方便快捷地检测大量复合绝缘子憎水性等级,提出一种基于图像分析和深度学习的复合绝缘子憎水性分级方法。首先为提高图像对比度,对复合绝缘子憎水性图像进行灰度化和图像增强处理;其次利用图像分析技术和U-Net网络提取水珠轮廓,得到水珠轮廓图像;接着引入深度卷积神经网络,将这些水珠轮廓图作为神经网络的输入,以相应的憎水性等级作为输出向量,训练网络得到分级模型;最后将分级模型用于憎水性分级,得到分级结果。实验结果表明:该方法的分级结果已达到实际应用要求,水珠轮廓提取的精度达到了92.96%,分级准确率达到了90.2%,预测一幅图像的憎水性等级平均耗时0.1 s。     

超声图像神经分割方法研究

为了提升超声图像中的神经分割效果,提出了一种新的网络结构残差U型网络.相比于现有的U-net网络,残差U型网络加深了网络结构,提高了网络的表达能力;通过对每层参数进行规范化处理,减少了训练时间,提高了神经分割效果.实验结果表明,残差U型网络在分割效果比U-net网络提升了约13%,比SegNet网络提升了约7%.     

Novel Channel Attention Residual Network for Single Image Super-Resolution

本文提出了一种新的通道注意力残差网络(CAN),通过显式地建模通道间的依赖关系,对视觉注意所在位置进行编码,实现了对像素级特征的重构。CAN的主干是通道注意块(CAB)。CAB结合了余弦相似块(CSB)和反向投影门控块(BG)。CSB充分考虑各通道的全局空间信息,计算各通道间的余弦相似度,得到比一阶统计量更精细的通道统计量。为了进一步探索通道注意力问题,我们在门控机制中引入了有效的反向投影,并提出了BG。同时,我们采用局部和全局残差连接,直接将大部分低频信息传输到最终的SR输出。有价值的高频分量通过信道注意机制分配更多的计算资源。大量的实验表明,该方法在基准数据集上无论是准确性还是视觉效果上都优于现有的方法。     

采用卷积自编码器网络的图像增强算法

将图像增强方法低光网络（LLNet）应用于实际场景下的彩色图像时会产生大量冗余参数,为此基于LLNet提出卷积自编码器网络（CAENet）的图像增强方法. 将LLNet方法中的低光处理模块与网络训练衔接在一起;采用卷积网络代替传统自编码器的编码和解码方式. 实验结果表明：CAENet能够有效节约时间成本,减少网络参数,使网络训练更加高效,得到更好的图像低维表示. 在Corel5k数据集上的实验效果表明,CAENet在减少网络参数的同时,能有效提高图像光感和色感;在高分辨率数据集上的实验结果表明,针对图像细节方面,CAENet能够保留细节不失真;针对含噪低光图像,CAENet能在增强图像的同时达到去噪的效果,证明CAENet具有较强的鲁棒性.