使用VGG能量损失的单图像超分辨率重建

单幅图像的超分辨率重建（single image super-resolution,简称SR）是一项重要的图像合成任务.目前,在基于神经网络的SR任务中,常用的损失函数包括基于内容的重构损失和基于生成对抗网络（generative adversarial network,简称GAN）的对抗损失.但是,基于传统的GAN的超分辨率重建模型（SRGAN）在判别器接收高分辨率图像作为输入时,输出判别信号不稳定.为了缓解这个问题,在SRGAN以及常用的VGG重构损失框架上,设计了一个稳定的基于能量的辅助对抗损失,称为VGG能量损失.该能量损失使用重构损失中的VGG编码部分,针对VGG编码设计相应的解码器,构建一个U-Net自编码结构VGG-UAE,利用VGG-UAE的重构损失表示能量,并使用该能量函数为生成器提供梯度;基于追踪能量函数的思想,VGG-UAE使生成器生成的高分辨率样本追踪真实数据的能量流.实验部分验证了使用VGG能量损失将比使用传统的GAN损失可以生成更有效的高分辨率图像.     

基于深度学习的图像风格转换研究

随着深度学习的发展,图像风格转换任务开始使用卷积神经网络实现。针对传统图像转换网络在转换后,保留纹理细节的能力不足的问题,本文基于Justin等人的风格转换模型,优化了转换网络中的残差结构,并结合生成对抗的思想,改进了风格转换模型,使模型能提取图像中更抽象的特征,并对损失函数进行调整,进一步提升生成图像的质量。实验表明,本文方法在进行图像风格转换时,有效提升了风格化效果并且通过比较在多种评价指标下得到的结果,可知图像质量得到提升。     

基于深度自编码网络的Android恶意软件检测方法

针对传统Android恶意软件检测方法检测率低的问题,文中提出一种基于深度收缩降噪自编码网络(Deep Contractive Denoising Autoencoder Network,DCDAN)的Android恶意软件检测方法。首先,逆向分析APK文件获取文件中的权限、敏感API等7类信息,并将其作为特征属性;然后,将特征属性作为深度收缩降噪自编码网络的输入,使用贪婪算法自底向上逐层训练每个收缩降噪自编码网络(Contractive Denoising Autoencoder Network),将训练完成的深度收缩降噪自编码网络用于原始特征的信息抽取,以获取最优的低维表示;最后,使用反向传播算法对获取的低维表示进行训练和分类,实现对Android恶意软件的检测。对深度自编码网络的输入数据添加噪声,使得重构的数据具有更强的鲁棒性,同时加入雅克比矩阵作为惩罚项,增强了深度自编码网络的抗扰动能力。实验结果验证了该方法的可行性和高效性。与传统的检测方法相比,该检测方法有效地提高了对恶意软件检测的准确率并降低了误报率。     

基于生成对抗网络的图像动漫风格化

目前的卡通风格图片生成方法仍然存在局限,如色彩不真实、图片局部细节处理不到位等,要想快速将输入图片转换为动漫的风格输出还需要结合深度学习进行研究。基于生成对抗网络的思想,提出了一种动漫风格化编码的生成对抗网络,将输入的图像风格转变为宫崎骏动画电影的风格。网络结构加入自适应实例归一化层（AdaIN）模块和多层感知机（MLP）模块,得到很大优化,同时提高实验效果。在损失函数部分,引入图像感知相似性（lpips）作为内容损失函数,二分类交叉熵（binary cross entropy）损失函数（BCELoss）作为对抗损失函数。实验结果表明,该网络对于动漫化图片起到了很好的效果,FID分数72,能够灵活适用于各种类型的图片动漫化。     

基于Transformer方法的任意风格迁移策略

目的 任意风格迁移是图像处理任务的重要分支,卷积神经网络作为其常用的网络架构,能够协助内容和风格信息的提取与分离,但是受限于卷积操作感受野,只能捕获图像局部关联先验知识;而自然语言处理领域的Transformer网络能够突破距离限制,捕获长距离依赖关系,更好地建模全局信息,但是因为需要学习所有元素间的关联性,其表达能力的提高也带来了计算成本的增加。鉴于风格迁移过程与句子翻译过程的相似性,提出了一种混合网络模型,综合利用卷积神经网络和Transformer网络的优点并抑制其不足。方法 首先使用卷积神经网络提取图像高级特征,同时降低图像尺寸。随后将提取的特征送入Transformer中,求取内容特征与风格特征间的关联性,并将内容特征替换为风格特征的加权和,实现风格转换。最后使用卷积神经网络将处理好的特征映射回图像域,生成艺术化图像。结果 与5种先进的任意风格迁移方法进行定性和定量比较。在定性方面,进行用户调查,比较各方法生成图像的风格化效果,结果表明本文网络生成的风格化图像渲染效果更受用户喜爱;在定量方面,比较各方法的风格化处理速度,结果表明本文网络风格化速率排名第3,属于可接受范围内。此外,本文与现有的基于Transformer的任意风格迁移方法进行比较,突出二者间差异;对判别网络进行消融实验,表明判别网络的引入能够有效提升图像的光滑度和整洁度;最后,将本文网络应用于多种风格迁移任务,表明本文网络具有灵活性。结论 本文提出的混合网络模型,综合了卷积神经网络和Transformer网络的优点,同时引入了判别网络,使生成的风格化图像更加真实和生动。     

基于深度学习的单幅图片超分辨率重构研究进展

图像超分辨率重构技术是一种以一幅或同一场景中的多幅低分辨率图像为输入, 结合图像的先验知识重构出一幅高分辨率图像的技术. 这一技术能够在不改变现有硬件设备的前提下, 有效提高图像分辨率. 深度学习近年来在图像领域发展迅猛, 它的引入为单幅图片超分辨率重构带来了新的发展前景. 本文主要对当前基于深度学习的单幅图片超分辨率重构方法的研究现状和发展趋势进行总结梳理: 首先根据不同的网络基础对十几种基于深度学习的单幅图片超分辨率重构的网络模型进行分类介绍, 分析这些模型在网络结构、输入信息、损失函数、放大因子以及评价指标等方面的差异; 然后给出它们的实验结果, 并对实验结果及存在的问题进行总结与分析; 最后给出基于深度学习的单幅图片超分辨率重构方法的未来发展方向和存在的挑战.     

基于Transformer的多方面特征编码图像描述生成算法

由目标检测算法提取的目标特征在图像描述生成任务中发挥重要作用,但仅使用对图像进行目标检测的特征作为图像描述任务的输入会导致除关键目标信息以外的其余信息获取缺失,且生成的文本描述对图像内目标之间的关系缺乏准确表达。针对上述不足,提出用于编码图像内目标特征的目标Transformer编码器,以及用于编码图像内关系特征的转换窗口Transformer编码器,从不同角度对图像内不同方面的信息进行联合编码。通过拼接方法将目标Transformer编码的目标特征与转换窗口Transformer编码的关系特征相融合,达到图像内部关系特征和局部目标特征融合的目的,最终使用Transformer解码器将融合后的编码特征解码生成对应的图像描述。在MS-COCO数据集上进行实验,结果表明,所构建模型性能明显优于基线模型,BLEU-4、METEOR、ROUGE-L、CIDEr指标分别达到38.6%、28.7%、58.2%和127.4%,优于传统图像描述网络模型,能够生成更详细准确的图像描述。     

基于面部动作编码系统的表情生成对抗网络

用含有面部表情信息的向量作为输入条件指导生成高真实性人脸图像是一个重要的研究课题,但常用的八类表情标签较为单一,为更好地反映人脸各处丰富的微表情信息,以面部各个肌肉群作为动作单元（AUs）,提出一种基于面部动作编码系统（FACS）的人脸表情生成对抗网络。将注意力机制融合到编码解码生成模块中,网络更加集中关注局部区域并针对性做出生成改变,使用了一种基于判别模块重构误差、分类误差和注意力平滑损失的目标函数。在常用BP4D人脸数据集上的实验结果表明,该方法可以更有效地关注各个动作单元对应区域位置并用单个AU标签控制表情生成,且连续AU标签值大小能控制表情幅度强弱,与其他方法相比,该方法所生成的表情图像细节保留更清晰且真实性更高。     

基于条件对抗生成网络的对抗样本防御方法

人工智能目前在诸多领域均得到较好应用,然而通过对抗样本会使神经网络模型输出错误的分类。研究提升神经网络模型鲁棒性的同时如何兼顾算法运行效率,对于深度学习在现实中的落地使用意义重大。针对上述问题,本文提出一种基于条件对抗生成网络的对抗样本防御方法Defense-CGAN。首先使用对抗生成网络生成器根据输入噪声与标签信息生成重构图像,然后计算重构前后图像均方误差,对比选取重构图像馈送到分类器进行分类从而去除对抗性扰动,实现对抗样本防御,最后,在MNIST数据集上进行大量实验。实验结果表明本文提出的防御方法更加具备通用性,能够防御多种对抗攻击,且时间消耗低,可应用于对时间要求极其苛刻的实际场景中。     

基于深度卷积生成对抗网络的图像生成

图像生成是虚拟现实技术(virtual reality,VR)中的重要技术手段,针对传统图片生成方法需要大量的数据集进行训练,且生成的图片轮廓不清晰等问题,采用基于深度卷积神经网络和生成对抗网络来实现图片的生成。为了保证生成图片的真实性和完整性,在图片生成阶段引入变分自编码器,通过编码器获取到输入图片数据的均值和方差,将图片对应的隐藏变量转化为标准的高斯分布,然后通过生成器生成新的图片;在识别阶段,采用深度卷积神经网络训练判别器,将生成的新的图片输入到已经训练好的判别器中,运用梯度下降法计算损失函数,不断优化整体系统模型。通过对MNIST图像数据集的训练,实验表明该方法能生成质量较高的图片,它生成的图像无法用肉眼与真实数据区分开,并且在不同网络条件下都有较高的识别率。该方法提高了MNIST生成模型的技术水平。     

基于条件生成对抗网络的CT图像去噪方法

医学图像在重建过程中总会受到噪声干扰,对于此问题,本文提出了一种基于条件生成对抗网络(CGAN)的去噪方法,算法以完整图像作为网络的输入及输出,使生成的图像信息更加稳定可靠。为了适应CT图像的特点,本文对CGAN结构进行了改进,使其能够适应不同噪声水平下的加性高斯白噪声,为了提高效率,在判别器进行训练时采用了损失判别,且在Tensorflow环境下训练网络模型。实验结果表明,与其他传统图像去噪算法相比,本方法能在保留特征信息的同时有效减少图像中的噪声。     

Autoencoder-based anomaly detection for surface defect inspection

In this paper, the unsupervised autoencoder learning for automated defect detection in manufacturing is evaluated, where only the defect-free samples are required for the model training. The loss function of a Convolutional Autoencoder (CAE) model only aims at minimizing the reconstruction errors, and makes the representative features widely spread. The proposed CAE in this study incorporates a regularization that improves the feature distribution of defect-free samples within a tight range. It makes the representative feature vectors of all training samples as close as possible to the mean feature vector so that a defect sample in the evaluation stage can generate a distinct distance from the trained center of defect-free samples. The proposed CAE model with regularizations has been tested on a variety of material surfaces, including textural and patterned surfaces in images. The experimental results reveal that the proposed CAE with regularizations significantly outperforms the conventional CAE for defect detection applications in the industry.     

基于优化卷积神经网络的图像超分辨率重建

传统的图像超分辨率重建方法由于其计算局限性,无法对大批量或者模糊因子不同的图像做最优处理,也无法得出高分辨率图像。近年来随着深度学习神经网络越来越多被学者关注和青睐,其中卷积神经网络被成功应用于图像超分辨率重建。但是传统的图像超分辨率卷积神经网络,无论在训练速度,泛化能力,还是生成图像质量等方面仍存在问题。针对上述问题,对图像超分辨率重建的原理进行研究,对SRCNN模型在多种训练通道下的超分辨率效果进行了实验,并提出了基于多层特征提取层的图像超分辨率重建模型,采用新的优化方法,验证了多种包含不同层数体征提取层的卷积神经网络模型。实验证明该方法在一定程度上优于SRCNN方法,能够有效加快网络整体的训练速度。     

改进生成对抗网络在场景图像转换中的应用

本文针对不同场景图像之间的转换问题,提出了一种改进的生成对抗网络模型,能够生成高质量的目标场景图像.在生成目标图像过程中存在因为向下采样而丢失原图像空间位置信息的现象,因此本文设计了一个包含跳跃连接和残差块的生成网络,通过在网络中加入多个跳跃连接部分,将图像的空间位置信息在网络中保持传递.同时为提高训练过程中生成图像在结构上的稳定性,引入SSIM图像结构相似指数,作为结构重建损失,以指导模型生成更优结构的目标图像.此外,为使得转换后的目标场景图像保留更多的色彩细节,加入了身份保持损失,明显增强了目标生成图像的色彩表现力.实验结果表明,本文所提的改进生成对抗网络模型能够在场景图像转换中得到有效地应用.     

稳定场图像重建中的传递函数研究

目的 针对2维图像重建（或修复）的准确性和效率问题,以传递函数为核心并提出相关重建算法。方法 在图像局部纹理稳定场模型的基础上,针对每一个缺损像素点,考虑其周围已知区域的像素点都对它进行能量传递,且在重建过程中首先将能量传递到最近邻域内,由此构造传递函数并引入标量场的二阶泰勒展开来完成,最终依据最近邻域内的能量值,以插值完成重建。结果 采用重新构造的传递函数并结合不同的插值方法分别对缺损的几何图形、灰度图像及彩色图像进行重建,结果与图像场方向导数的局部区域重建算法、典型的CDD（curvature driven diffusion）、BSCB（Bertalmio Sapiro Caselles Ballester）、TV（total variation）重建算法相比,重建准确率分别提高了6%、10%、15%、13%,峰值信噪比（PSNR）分别提高了2 dB、1 dB、3 dB、2.5 dB,并且图像缺损边缘及纹理细节的重建更加清晰。结论 对2维图像重建的传递函数的研究及所提出的相关重建算法,对于不同类型图像不同程度的缺损,以保持较好的整体视觉效果和重建效率为前提,较大地提高了重建准确性和PSNR,尤其在图像缺损区域边缘及纹理细节的重建上表现出色。     

基于控制输入长短期记忆网络的关系抽取方法——

目前基于传统深度学习的关系抽取方法在复杂语境下抽取较为困难, 且未考虑语境中非目标关系对关系抽取所带来的影响. 针对这一问题, 本文提出了控制输入长短期记忆网络CI-LSTM (control input long short-term memory), 该网络在传统LSTM的基础上增加了由注意力机制和控制门阀单元组成的输入控制单元, 控制门阀单元可依据控制向量进行关键位置上的重点学习, 注意力机制对单个LSTM的输入的不同特征进行计算. 本文通过实验最终选择使用句法依存关系生成控制向量并构建关系抽取模型, 同时使用SemEval-2010 Task8关系数据集以及该数据集中具有复杂语境的样本对所提方法进行实验. 结果表明, 相比于传统的关系抽取方法, 本文所提CI-LSTM在准确率上有进一步提升, 并在复杂语境中具有更好的表现.     

模拟视觉感知系统的无参考模糊图像质量评价

为了获得与人类视觉感知一致的图像质量评价方法, 本文提出一种模拟视觉感知系统的无参考模糊图像质量评价方法. 该方法通过比较不同模糊程度的图像特征的相似度来度量图像质量. 首先, 通过对待测图像进行人工模糊, 获得不同模糊程度的图像. 然后, 通过视网膜模型提取图像的细节信息. 接着, 采用奇异值分解用来获得图像的内部结构信息. 之后, 将待测图像与其它不同模糊度图像之间的细节相似度和奇异值相似度作为度量图像模糊度的特征向量. 最后, 将这些度量特征向量输入支持向量回归模型(SVR)进行训练, 获得最终的图像质量评估模型.在常用数据库上的实验结果表明, 该方法与人眼主观视觉感知的一致性优于比较方法.     

基于非负邻域嵌入和非局部正则化的单帧图像超分辨率重建算法

单帧图像超分辨率重建是指利用一幅低分辨率图像,通过相应的算法来获取一幅高分辨率图像的技术。提出了一种基于 非负邻域嵌入和 非局部正则化 的单帧图像超分辨率重建算法,以弥补传统邻域嵌入算法的不足。在训练阶段,首先对低分辨率图像预放大2倍,以保证在放大倍数较大时,高、低分辨率图像块之间的邻域关系也能得到较好的保持;在重建阶段,使用非负邻域嵌入来有效地解决近邻数的选取问题;最后利用图像块的非局部相似性构造非局部正则项对重建结果进行修正。实验结果表明,相对于传统算法,本方法的重建结果纹理丰富、边缘清晰。