使用复合注意力的文本图像超分辨率算法研究

现实场景下,低分辨率的文本图像会导致识别准确率降低。为了解决这个问题,提出一种使用复合注意力的文本图像超分辨率方法。在复合注意力模块中,将空间注意力模块改进为优化残差模块,并在优化残差模块中融入增强型空间注意力模块,从而重建出清晰的超分辨率文本图像。同时,引入多层训练损失函数即均方误差损失和小波损失,增加文本边缘的锐度,使生成图像中的文本具有清晰的边缘和正确的结构。实验结果证明,提出方法相较于对比方法,视觉感受方面,文字结构和边缘细节更清晰,对比度更高;客观指标方面,图像质量评价指标与文本识别准确率均得到了有效提升。     

多注意力机制引导的双目图像超分辨率重建算法

由于水下环境复杂,采集的水下图像通常是退化的低质图像。因此本文提出一种多注意力机制引导的双目图像超分辨率重建算法,选择性挖掘学习图像特征信息,实现高质量图像重建。针对水下图像分辨率低问题,引入双层注意力机制来加强重要细节特征的学习;然后针对双目图像的视差特性,提出一种视差注意力机制来充分学习左右目图像的先验信息,有效提高了图像质量。在Middlebury数据集2倍和4倍重建图像的信噪比分别为33.3dB和28.39dB,表明本文算法可以在提高图像空间分辨率的同时保留图像细节信息;同时该算法在拍摄的真实水下图像上的重建效果优于其他算法,表明其能实现更高质量的水下图像超分辨率重建。     

基于超分辨率重建与多尺度特征融合的输电线路缺陷检测方法

针对输电线路巡检中可能存在拍摄图像质量不高的问题,以及线路缺陷目标小而分布密集而导致传统方法检测精度不高的问题,提出一种基于超分辨率重建与多尺度特征融合的输电线路缺陷检测方法。首先,使用超分辨率网络对巡检图像进行重建,提升清晰度,丰富图像中包含的特征信息;然后使用改进的YOLOX网络检测巡检图像中的缺陷,在主干网络中嵌入卷积块注意力机制,强化模型对重叠小目标的定位能力;为进一步提升小目标的检测能力,在YOLOX的特征融合网络中新增浅层检测尺度进行特征融合;最后,通过使用CIOU优化边界框损失函数提升模型收敛能力,降低缺陷目标的漏检率。实验结果表明,所提方法能在提升巡检图像质量的基础上对输电线路缺陷准确地检测,精度达到93.27%,相比SSD等经典模型,对小而密集的缺陷目标有着更强的提取能力和鲁棒性。     

基于多注意力机制的生成对抗网络的遥感图像超分重建

针对现有超分辨算法重建后的遥感图像模糊,含有伪影和噪声等问题,提出一种基于多注意力机制的生成对抗网络。首先,在生成器的残差块中引入高效注意力机制,增强全局相关性,提高模型的特征提取能力;其次,利用迭代注意特征融合模块对输入的图像和经过生成器生成的高层语义特征图进行融合,代替长跳跃连接常用的相加操作,减少输入图像进行相加操作时导致的信息损失,使重建后的图像更加清晰;最后,基于WGAN网络优化模型训练,促进网络训练的稳定,加快损失函数的收敛。在不同数据集上验证上述方法,结果表明,相较次优算法,所提方法在峰值信噪比(PSNR)和结构相似度(SSIM)上分别提高了0.062～0.122 dB和0.03～0.08。     

基于层次交互动态注意力与序列学习的图像 超分辨率重建

针对图像超分辨率中网络关注度不足、模块间协同性弱和深层特征表征消失等问题,提出了一种结合层次交互动态 注意力与序列学习单元的多级残差聚合超分辨率重建模型。模型采用多层次特征融合与跳跃连接的网络结构,结合不同层 次的特征,捕获从低到高的不同级别的信息,生成更丰富和准确的表征。模块里通过残差连接避免梯度消失,实现深度网络 的平滑损失空间和灵活增加。提出动态层次融合注意力模块动态计算各个特征的重要性权重,进行有选择性的特征融合,并 通过序列学习单元捕获更长范围的上下文信息。提出多尺度特征融合模块将不同感受野的特征信息提取融合,以挖掘更深 层的特征表示。模块尾部引入轻量化无参注意力机制自适应加权特征图,恢复图像高频细节。实验结果表明,相较于主流算 法,提出的算法在各种公开测试集(Set5、Set14、BSD100、Urbanl00、Mangal09)上进行3倍超分辨率重建评估,平均峰值信噪 比提升约0.47 dB, 平均结构相似性提升约0.0068。且在遥感图像超分辨率重建方面展示出实际应用潜力。证明其在图像 超分辨率重建方面的优越性。     

一种有效的图像超分辨率重建算法

本文提出了一种基于频域图像配准和边缘指导插值的图像超分辨率重建算法.该算法先在频域中对低分辨率(LR)混迭图像序列进行精确配准,再利用边缘指导插值算法对配准后的图像进行插值,实现高分辨率(HR)图像重建.考虑到信号低频部分的信噪比最高又不存在混迭,图像配准中只使用序列的低频信息进行运算.插值算法则是先计算LR图像各像素点的局部协方差系数,再利用LR和HR图像协方差间的几何对偶性来计算HR图像插入像素点的值.实验结果表明,本文提出的算法能有效地实现序列超分辨率重建.     

基于多尺度协作模型的电气设备红外图像超分辨率故障辨识方法

针对现有红外图像分辨率低、清晰度差,易影响基于红外图像的电气设备故障检测效果的缺点,提出一种基于多尺度协作模型的电气设备红外图像超分辨率故障辨识方法.该文构建了基于多尺度协作模型的电气设备红外图像超分辨率重建网络,该网络以生成对抗网络为基础,通过引入多尺度协作模型和双通道结构,改善了超分辨率重建网络对红外图像的适应性,并优化了图像特征提取效果.在实现红外图像超分辨率重建基础上,结合深度学习目标检测方法,建立电气设备红外图像超分辨率故障辨识模型.针对所提方法进行了实验验证,实验结果表明:经该文所提超分辨率重建网络后,红外图像质量可明显提升,峰值信噪比(PSNR)、结构相似性(SSIM)值可分别提高至27.26dB、0.8283;采用该文所提红外图像超分辨率故障辨识模型可显著提高故障辨识效果,mAP、mAR、mAC和mAIOU值平均相对提高了19.34％、19.14％、11.83％和25.03％.     

基于空间金字塔的视频超分辨率重建算法

为了保证重建视觉质量的同时提高重建速率,提出了一种基于空间金字塔生成对抗网络的视频超分辨率重建算法(SPyGAN),该方法在TecoGAN的基础上使用更轻量级的空间金字塔网络结构SPyNet和更高效的上采样方法,能够快速重建图像的高频纹理细节。主要对生成对抗网络TecoGAN的光流预测网络、图像重建模块和损失函数部分进行改进,实验结果表明,该算法与TecoGAN相比,PSNR和SSIM的平均值均有一定提高,此外参数量减少为53.86%,并且重建速率提高至239%,有效提升了模型的重建速率。     

通道可分离残差网络的图像超分辨率重建

针对现有图像超分辨率重建技术中存在的特征提取方式单一、中间层特征提取不充分等问题,提出了一种通道可分离残差网络。首先,利用多尺度卷积的思想设计出多分支卷积块,充分提取图像的低频信息;其次,利用通道压缩进行降维以精简特征信息,并引入坐标注意力机制对局部融合特征进行增强,通过长短跳跃连接,在加速收敛的同时使得主干网络专注于提取高频特征;最后通过上采样层重建出高分辨率图像。将本算法在Set5、Set14、BSD100和Urban100等4个超分辨率重建领域中公共数据集上进行对比分析,其中在2倍重建任务的Set5数据集上,与DBPN相比,参数量是它的2/5,PSNR和SSIM分别高出0.09 dB和0.001 6。实验结果表明,该算法对图像特征充分提取,以较少的参数量实现了与其他大型模型性能相近甚至更好的重建效果。     

基于边缘注意力生成对抗网络的电力设备热成像超分辨率重建

红外光电技术帮助人类超越视觉障碍,直观的看到物体表面的温度分布状况,在电力系统的状态监测中有着越来越多的需求。但高分辨率热成像仪的研制材料与技术壁垒限制了电力系统在线监测的可视化应用。超分辨率重建在满足电力物联网需求的同时降低了成本。对于电力设备热成像超分辨率重建,该文构建了边缘注意力生成对抗网络(EAGAN),该网络在基于梯度惩罚的Wasserstein生成对抗网络(WGAN-GP)的基础上,对残差网络模块进行改进,添加了边缘注意力机制,提高了网络的学习能力,并在上采样结构中添加了1×1的卷积层,提高了网络的表征能力。实验结果表明,边缘注意力生成对抗网络提高了网络的性能,在图像的整体以及图像边缘属性的恢复上,峰值信噪比以及结构相似性指标均有显著提高,主观视觉效果更为良好,并在图像处理领域中有着较高的普适性,具有较高的工程实用价值。     

改进的联合型图像超分辨率重建算法

针对传统锚定邻域回归(anchored neighborhood regression, ANR)的图像超分辨率方法缺乏灵活性、且对图像的细节没有很好的恢复能力的缺点,提出一种锚定邻域回归和卷积神经网络(convolution neural network, CNN)相结合的图像重建方法。首先,在ANR中提出使用弹性网络回归模型,使算法具有特征选择的特点。其次,在CNN的图像预处理部分使用lanczos3插值方法,加快了运算速度,在特征提取中提出使用具有自门控特性的Swish函数作为激活函数,用于提高测试准确度。最后,在重建图像的评价方面提出了图像的相关系数,并用于对重建图像做进一步的有效性评估。实验结果证明,所提方法平均峰值信噪比(PSNR)达到了32.68,平均结构相似性(SSIM)达到0.938 0,平均相关系数达到0.982 8。算法有效地恢复了图像的细节部分,图像质量得到了进一步提升。     

基于生成对抗网络的超分辨率室内地磁基准图构建

构建精确的地磁基准图是确保地磁室内定位技术准确性的重要前提。在有限测量数据下,采用插值法构建地磁基准图会导致部分细节丢失,使结果过于平滑,难以满足定位需求。针对这一问题,提出了一种改进的基于生成对抗网络的超分辨率重建室内地磁基准图网络模型(PU-SRGAN)。首先,通过矩谐分析构建地磁数据集,用于后续的网络模型训练;其次,在生成网络的残差模块中间加入了一个金字塔注意力模块(PANet),增强了对地磁基准图特征的提取能力;最后,在判别网络中,采用频谱归一化的U-Net模块来提高鉴别器的能力并稳定训练动态。实验结果表明,该模型的峰值信噪比(PSNR)和结构相似性(SSIM)比粒子群优化算法(PSO)-Kriging插值法提高了约2.7%和15%,具有更高的构建精度。同时,在抗干扰能力以及地磁基准图细节重建方面均有较大提升。     

特高压换流站保护系统全景监视图像超分辨率重建方法研究

针对特高压换流站全景监视系统运行环境导致的视频图像抖动、镜头出现积灰等问题,以及基于深度学习的高分辨率图像重建算法存在细节特征失真和计算复杂度较高的缺陷,提出一种基于多尺度卷积块和残差网络的图像超分辨率重建方法,通过增加具有较小内核的深度卷积层来获取图像的鲁棒细节特征,并在训练过程中加入残差网络,加快网络收敛速度,解决消失梯度,改善图像重建质量。对部分标准数据集和特高压换流站全景监视图像数据集进行了图像超分辨率重建和目标识别实验研究,与超分辨率卷积神经网络(super-resolution convolutional neural network, SRCNN)和快速超分辨率卷积神经网络(fast SRCNN, FSRCNN)方法相比,所提算法的结构相似指数均值分别增加了0.004 3和0.0298,峰值信噪比分别提高了0.17 db和0.83 dB。实验结果表明所提方法重建了细节信息更逼真的高分辨率图像,可以满足换流站全景监视的需求。     

基于改进频域配准算法的图像超分辨率重建

图像配准是图像超分辨率重建的必要步骤,也是对重建效果影响最大的关键步骤。频域相位相关的配准算法具有抗噪声性能好和运算量小等优点,本文基于相位相关方法,提出了只对频域未受混叠影响的部分进行参数估计的配准算法。首先利用低通滤波器过滤低分辨率图像的混叠信息,然后对低分辨率图像进行傅里叶变换,再对其变换后的幅值进行极坐标变换,使其互功率谱经傅里叶反变换后为二维脉冲函数,通过二维脉冲函数的位置来得到配准参数。仿真实验表明本文方法有良好的配准精度和重建效果。     

基于稳健3D-SKR的序列图像超分辨率重建

考虑目前无需亚像素精度配准的三维导向核回归(3D-SKR)超分辨率重建算法对图像中的离群点高度敏感的问题,引入了稳健估计中的Huber函数,并结合中值滤波,提出了一种稳健的三维导向核回归超分辨率重建算法。该算法将图像中残差大于Huber尺度参数的点视为离群点,利用三维中值滤波对其进行隐藏,然后再使用Huber函数进行超分辨率重建。实验证明,该算法在保持了原有算法的良好特性的基础上,有效地消除了离群点对重建结果的影响。     

融合边缘检测的遥感图像超分辨率重建算法

针对基于生成对抗网络的遥感图像超分辨率重建存在训练不稳定,参数冗余,图片纹理细节不够清晰等问题。提出一种融合边缘检测的遥感图像超分辨率重建算法。首先,在生成器网络中引入改进后的Canny边缘检测算子用于低分辨率图像特征提取,通过在Canny算子边缘提取流程中利用双边滤波和3×3邻域梯度以检测图像的边缘信息,使网络能够更好的表达高频特征;其次,为降低网络参数和提高网络训练的稳定性,去除判别器网络中冗余的BN层,同时将Wasserstein距离定义为对抗损失以解决生成对抗网络训练出现的梯度消失现象。在NWPU RESISC45数据集上,所提方法的峰值信噪比与结构相似性较WDSR和CARN算法分别提升了1.22 dB、0.114和0.32 dB、0.013,且重建后的图像相比较WDSR、CARN等其他SR算法在图像纹理细节和主观视觉效果方面也均有提升。     

单图像超分辨率方法综述

图像超分辨率是指从低分辨率图像生成对应的高分辨率图像。它在人脸识别、数字高清电视、视频通信等领域应用广泛。为了对图像超分辨率技术进行深入探索和总结,本文首先回顾了单图像超分辨率的历史,综述了基于非学习的超分辨率方法,其中展开介绍了基于插值和基于重建的方法,接着重点介绍了基于学习的方法,详细分析了基于深度学习的图像超分辨率,具体总结了SRCNN、ESPCN、SRGAN这三种图像超分辨率方法,并将其与递归结构、密集结构、注意力机制网络结构进行对比,之后分析了损失函数和上采样方式在图像超分辨率中的作用,介绍了常用数据集和图像评价指标,展示了图像超分辨率的可视化结果。最后,总结了现有单图像超分辨率方法的进展和不足。     

基于改进边缘注意力生成对抗网络的电力设备热成像超分辨率重建

针对低分辨率电力设备热成像图像,提出一种基于改进边缘注意力生成对抗网络的超分辨率重建方法。首先,在边缘注意力的基础上,引入通道注意力和位置注意力的双注意力模块(dual attention, DA),捕获特征图不同位置间和不同通道间的依赖关系,并将两组依赖关系进行融合,以加大全局信息的提取程度。然后针对参数修正线性单元激活函数(parametric rectified linear unit, PReLU)对网络中神经元进行无差别激活,导致网络特征表达能力受限问题。采用改进β-ACONC自适应控制激活函数替代PRe LU函数,在辨识有效特征的基础上,对神经元进行选择性激活,以强化有效特征、弱化无效特征,提升网络的自适应激活能力和特征表达能力。最后对所提改进边缘注意力生成对抗网络模型(edge-attention generative adversarial network, EA-GAN)进行实验验证。结果表明,与Bi Cubic双三次插值模型和原EA-GAN模型边缘注意力生成对抗网络模型相比,所提改进模型网络性能最好,重建图像质量最高,客观评价指标峰值信噪比(peaksignal-t...     

基于边缘检测的图像超分辨率重建研究

超分辨率重建是一种以信号处理为基础,有效提高图像分辨率的软件技术。由于这项技术不涉及硬件,成本低,所以在遥感、视频、医学、公安、网络等领域有着十分重要和广阔的应用前景。提高分辨率的算法有很多,插值算法无疑是其中一种简单便捷的方法,但是其效果一般,尤其是在图像的边界部分比较模糊。因为人眼对边界很敏感,所以很大程度上影响了这种算法的性能。研究旨在将边缘检测与插值算法结合起来,在基本算法插值算法的基础上加以改进,利用双边滤波和迭代后处理对图像的边缘加以保留和增强,使其具有更明显的边界特性,增加细节,提升超分辨率重建的主观质量。