基于多尺度特征映射网络的图像超分辨率重建

针对基于卷积神经网络的图像超分辨率重建（SRCNN）方法存在的重建网络浅、特征利用率低以及重建图像模糊等问题,提出基于多尺度特征映射网络的图像超分辨率重建方法. 多尺度特征映射网络通过学习低分辨率（LR）特征与高分辨率（HR）特征之间的映射关系,将多个尺度的LR特征映射到HR特征空间,通过特征融合来提高重建过程中对特征的利用率;该方法定义了结合逐像素损失、感知损失和对抗损失的联合损失函数,从低频内容、图像边缘和局部纹理等方面均衡提升重建图像质量. 对数据集Set5、Set14和BSD100的图片4倍下采样后进行测试,与当前主流方法进行比较和分析. 实验证明,基于生成对抗的多尺度特征映射网络在提高图像感知质量方面表现优秀,重建的图像具有更加清晰的边缘和纹理,在客观评价上具有较好的评分.     

结合注意力机制的人脸超分辨率重建

因受成像设备限制,得到的人脸图像分辨率通常较低,针对此问题提出了一种将生成对抗网络和注意力机制相结合的方法,来对人脸图像进行多尺度超分辨率重建。将深度残差网络和深度神经网络分别作为生成器和判别器,并将注意力模块与深度残差网络中的残差块相结合,重建出与高分辨率图像高度相似且难以被判别器区分的超分辨率人脸图像。实验结果证明,所提出的方法能够有效地提升人脸图像的分辨率,同时也证明了注意力机制在图像细节信息重建中的重要作用。     

人脸超分辨率网络(FSRNet)的改进

人脸超分辨网络(FSRNet)使用人脸几何先验信息优化人脸超分辨率,可以从低分辨率人脸图像生成逼真的高分辨率人脸图像,但FSRNet生成的超分辨率图像存在伪影.对其关键模块进行了改进,并引入了新的损失函数.直接输入16×16像素的低分辨率图像,最后使用转置卷积函数放大图像,降低了计算复杂度,提升了粗略超分辨网络的性能....     

改进残差块和对抗损失的GAN图像超分辨率重建

图像超分辨率(Super Resolution,SR)重建是计算机视觉领域中提高图像和视频分辨率的一种重要图像处理技术,针对基于深度学习的图像重建模型层次过多以及梯度传输困难导致训练时间长、重建图像视觉效果不理想的问题,本文提出了一种改进残差块和对抗损失的GAN(Generative Adversarial Networks)图像超分辨率重建模型.首先,在模型结构上,设计剔除多余批规范化操作的残差块并组合成生成模型,将深度卷积网络作为判别模型把控重建图像的训练方向,以减少模型的计算量;然后,在损失函数中,引入Earth-Mover距离设计对抗损失以缓解模型梯度消失的问题,采用L1距离作为重建图像与高分辨率图像相似程度的度量以指导模型权重更新来提高重建视觉效果.在DIV2K、Set5、Set14数据集上的实验结果表明:该模型剔除多余批规范化后的训练时间相比改进前模型减少约14%并有效提高图像的重建效果,结合Earth-Mover距离与L1距离的损失函数有效地缓解了梯度消失的问题.模型相较于双三次插值、SRCNN、VDSR、DSRN模型,提高了对低分辨率图像的超分辨率重建效率和视觉效果.     

基于深度学习的遥感图像超分辨率重建方法综述

基于深度学习的遥感图像超分辨率重建方法是计算机视觉中的重要方法之一。传统的遥感图像超分辨率重建方法已无法满足地物目标识别和土地检测等应用的需求,如何利用深度学习来重建遥感图像的分辨率是目前要解决的问题。结合国内外最新研究现状,将基于深度学习的遥感图像超分辨率重建方法分成3大类：单幅遥感图像超分辨率重建方法、多幅遥感图像超分辨率重建方法和多/高光谱遥感图像超分辨率重建方法。系统梳理了基于深度学习的单幅遥感图像超分辨率重建方法,包括基于多尺度特征提取的方法、结合小波变换的方法、沙漏状生成网络的方法、边缘增强网络的方法以及可跨传感器的方法。总结了基于深度学习的多幅遥感图像和多/高光谱遥感图像超分辨率重建方法中目前主流的方法。通过实验结果分析了遥感图像超分辨率重建方法目前效果最好的单幅图像超分辨率重建方法是基于GAN的方法,但是多幅遥感图像和多/高光谱遥感图像超分辨率重建效果仍然不佳,存在配准融合、多源信息融合等问题。最后,对基于深度学习的遥感图像超分辨率重建方法未来可能的发展趋势进行了展望,指出构建针对遥感图像特点的神经网络结构,无监督学习的遥感图像超分辨率重建方法,以及多源遥感图像的超分辨...     

高质量轻量级超分辨率重建网络模型的设计

针对图像超分辨率重建领域中目前大多数轻量级卷积神经网络采用单调的局部或全局连接方式,层间联系弱导致分层特征未能充分利用,而密集网络又存在大量的特征冗余及计算量和内存占用过大等问题,设计了一个轻量级的卷积神经网络,以实现图像超分辨率重建,在保证重建质量的基础上,尽可能减少网络参数和计算复杂度.该方法在残差网络的基础上,提...     

基于无配对生成对抗网络的图像超分辨率重建

针对基于生成对抗网络的图像超分辨率重建方法依赖配对数据集训练且结果不稳定的问题,提出了一个新的基于无配对图像的模型N M-SRGA N.首先,通过使用循环生成对抗网络作预处理模块,使模型可以不依赖配对数据集进行训练且获得更好的输入图像,同时该模型取消了BN层的使用,解决了结果不稳定的问题.然后,使用了协方差矩阵捕捉图像...     

结合年龄监督和人脸先验的语音-人脸图像重建

针对语音-人脸图像重建方法缺乏来自不同维度的监督约束及未利用人脸先验信息,导致生成图像和真实图像相似度不高的问题,提出结合年龄监督和人脸先验信息的语音-人脸图像重建方法. 通过预训练的年龄评估模型为当前数据集扩充年龄数据,弥补来自年龄监督信息的缺乏. 通过语音-人脸图像跨模态身份匹配方法,为给定语音检索接近真实人脸的面部图像,将得到的图像作为人脸先验信息使用. 该方法通过定义结合交叉熵损失和对抗损失的联合损失函数,从年龄感、低频内容和局部纹理等方面均衡提升重建图像质量. 基于数据集Voxceleb 1,通过人脸检索实验的方式进行测试,与当前主流方法进行比较和分析. 结果表明,该方法能有效提升生成图像与真实图像的相似度,所生成的图像具有更好的主客观评价结果.     

基于辅助任务和Transformer的人脸正面化网络

现有人脸正面化方法仅使用侧面图像生成正面图像,容易带来生成效果不佳及过拟合等问题。对此,提出一种具有辅助任务及Transformer的生成对抗网络(Auxiliary Task Generative Adversarial Network, AT-GAN)。AT-GAN利用多任务的相关性提高人脸正面化效果及泛化性,主任务为人脸正面化本身,使用侧面人脸生成对应的正面人脸;次任务为侧面人像草图生成对应的正面人像草图,引导并辅助主任务,加速网络收敛。两任务之间共享网络权重,并使用基于视觉Transformer的特征交互模块将两部分特征深度融合,提高网络整体的性能,生成更加具有真实感的正面图像。AT-GAN由生成器及判别器组成,生成器的特征提取部分将人脸关键点与空间注意力结合,确保模型准确地提取关键特征。实验结果表明,AT-GAN在MASFD与CAS-PEAL-R1数据集上的Rank-1识别率分别平均提高了4.42%与1.30%,视觉效果及模型泛化性得到提升。     

一种基于神经网络的超分辨图像重构方法

针对在航空航天遥感领域中使用CCD相机对景物进行成像时,由干像元尺寸的限制导致图像分辨率低的问题,提出了采用人工神经网络映射图像重构过程非线性特性的方法。在相机参数已知的情况下,用后向误差传播(BP)神经网络融合从不同角度对同一景物重复拍照得到的多帧低分辨率图像的冗余信息,重构得到较高分辨率的图像。在模拟成像仿真实验中得到了分辨率提高4倍、信噪比接近30dB的超分辨结果。     

一种对称残差CNN的图像超分辨率重建方法

基于卷积神经网络的图像超分辨率重建方法具有很高的重建性能。但该类方法存在网络参数多、训练难度大,梯度消失和网络退化等问题。针对这些问题,提出一种基于对称残差卷积神经网络的图像超分辨率重建方法。通过将对称融入到残差块中,采用对称连接实现局部特征融合,提取尽可能多的有价值特征;残差块外采用跳跃连接实现全局特征融合,以提高图像的重建质量。该方法使用峰值信噪比和结构相似度作为评价指标,在Set5、Set14和BSD100标准数据集上进行2倍、3倍和4倍因子重建后的结果大部分优于比较方法,平均峰值信噪比和结构相似度值较比较方法均有提高。实验结果表明,该方法重建的图像纹理更清晰,细节更丰富,具有较好的主观视觉效果。     

Multi-channel fast super-resolution image reconstruction based on matrix observation model

A multi-channel fast super-resolution image reconstruction algorithm based on matrix observation model is proposed in the paper,which consists of three steps to avoid the computational complexity: a single image SR reconstruction step,a registration step and a wavelet-based image fusion. This algorithm decomposes two large matrixes to the tensor product of two little matrixes and uses the natural isomorphism between matrix space and vector space to transform cost function based on matrix-vector products model to matrix form. Furthermore,we prove that the regularization part can be transformed to the matrix formed. The conjugate-gradient method is used to solve this new model. Finally,the wavelet fusion is used to integrate all the registered highresolution images obtained from the single image SR reconstruction step. The proposed algorithm reduces the storage requirement and the calculating complexity,and can be applied to large-dimension low-resolution images.     

Image super-resolution reconstruction based on sparse representation and residual compensation

A super-resolution reconstruction algorithm is proposed. The algorithm is based on the idea of the sparse representation of signals,by using the fact that the sparsest representation of a signal is unique as the constraint of the patched-based reconstruction,and compensating residual errors of the reconstruction results both locally and globally to solve the distortion problem in patch-based reconstruction algorithms. Three reconstruction algorithms are compared. The results show that the images reconstructed with the new algorithm have the best quality.     

基于样本均衡与特征交互的通信网络故障预测方法

通信网络故障预测数据集样本不均衡,影响故障预测的准确性,对此,提出了基于样本均衡与特征交互的通信网络故障预测方法. 首先,将基于Wasserstein距离的梯度惩罚生成对抗网络(WGAN-GP)用于生成新的少数类样本,解决了告警数据集中存在的样本不均衡问题,并提出了嵌入记忆向量的特征生成卷积神经网络(M-FGCNN)模型. 利用多层感知器和卷积神经网络加强特征间的交互,将告警领域专家经验与因子分解机模型结合生成新的告警特征;在模型的嵌入矩阵中加入记忆向量并改进了模型的损失函数,增强了模型的记忆性. 在样本不均衡的公开数据集上进行实验的结果表明,引入WGAN-GP模型的方法比已有的样本均衡方法能生成质量更好的新数据. M-FGCNN模型比其他深度学习模型具有更好的通信网络故障预测性能.     

基于深度学习的洗衣机异常音检测

基于卷积神经网络框架,提出一种洗衣机异音识别模型,根据卷积神经网络显著特征提取能力和平移不变性,学习洗衣机的异音特征,实现生产线洗衣机的异音自动智能识别。给出完整的过程解决训练数据集的建立、数据样本不平衡等问题。提出一种用于数据增强的网络模型——音频深度卷积生成对抗网络解决训练样本的稀缺性问题。该模型对传统的深度卷积生成对抗网络进行改进,以更好地适应工业音频的生成。利用该模型能够对原始数据进行扩展,生成洗衣机异音增强数据集,在该数据集的基础上进行卷积神经网络训练,经测试准确率达到0.999。利用添加背景噪声信号的数据集测试洗衣机异音识别模型的泛化能力,正确识别率达到0.902,表明该网络在识别洗衣机异音方面具有良好的鲁棒性。