基于CNN和DLTL的步态虚拟样本生成方法

针对步态识别在反恐、安防领域亟待解决的小样本问题,提出了一种基于深度卷积神经网络（convolutional and neural network,CNN）和DLTL（dual learning and transfer learning）的步态虚拟样本生成方法。首先用基于VGG19的深度卷积神经网络模型低层响应提取步态风格特征图,然后利用基于对抗网络的对偶学习（dual learning,DL）对风格特征图进行风格训练,得到风格特征模型;其次利用VGG19模型的高层响应提取步态内容特征图,然后让步态内容特征图对风格特征模型中的风格特征进行学习;最后使用迁移学习TL（transfer learning）获得步态虚拟偏移样本。实验结果表明,经过DLTL风格学习生成的步态虚拟样本虽然整体风格发生改变,但人体步态特征没有改变,可有效扩充小样本容量;当虚拟样本增加到一定数量时,步态识别率有所提升。该方法与现有步态虚拟样本生成方法进行对比实验,结果表明该算法优于现有方法,能够大量生成虚拟样本且稳定提高步态识别的识别率。     

多尺度双通道卷积神经网络下的刺绣模拟

目的 针对现有刺绣模拟算法中针线感不强、针线轨迹方向单一等问题,提出了一种基于多尺度双通道卷积神经网络的刺绣模拟算法。方法 1）搭建多尺度双通道网络,选取一幅刺绣艺术作品作为风格图像,将MSCOCO（microsoft common objects in context）数据集作为训练集,输入网络得到VGG（visual geometry group）网络损失和拉普拉斯损失;2）将总损失值传回到网络,通过梯度下降法更新网络参数,并且重复更新参数直到指定的训练次数完成网络训练;3）选取一幅目标图像作为刺绣模拟的内容图像,输入训练完成的网络,获得具有刺绣艺术风格的结果图像;4）使用掩模图像将得到的结果图像与绣布图像进行图像融合,即完成目标图像的刺绣模拟。结果 本文算法能产生明显的针线感和多方向的针线轨迹,增强了刺绣模拟绘制艺术作品的表现力。结论 本文将输入图像经过多尺度双通道卷积神经网络进行前向传播,并使用VGG19、VGG16和拉普拉斯模块作为损失网络进行刺绣模拟。实验结果表明,与现有卷积神经网络风格模拟算法对比,本文提出的网络能够学习到刺绣艺术风格图像的针线特征,得到的图像贴近真实刺绣艺术作品。     

基于一维卷积神经网络的恶意代码家族多分类方法研究

为了提取有效的恶意代码特征,提高恶意代码家族多分类的准确率,提出一种改进模型.该模型将恶意代码的特征映射为灰度图,使用改进的恶意样本图像缩放算法进行图像的规范化处理,基于VGG模型构建一维卷积神经网络分类模型ID-CNN-IMIR.实验结果表明,恶意代码特征的提取和处理提升了分类效果;对比经典的机器学习算法、二维卷积神经网络、其他基于深度学习的恶意代码分类模型,ID-CNN-IMIR分类准确率是最好的,达到98.94％.     

基于卷积神经网络的植物图像分类方法研究

近年来,卷积神经网络已经成为图像分类领域的应用研究热点,其对图像特征进行自提取、自学习,解决了以往图像分类方法的图像低层特征到高层概念之间存在的语义鸿沟。为了解决植物图像的自动分类问题,该文提出一种基于卷积神经网络(CNN)的植物图像分类方法,以植物图像为研究对象,将经典卷积神经网络VGG16与全卷积网络(FCN)相结合,把VGG16中两个通道数为4096的全连接层改为卷积层,构造一个新的VGG16模型为植物图像分类模型。文中制作了一个由43类每类500张总共21500张植物图像组成的图像数据集,作为植物图像分类模型的训练数据集。实验结果表明,所提方法在植物的图像分类上的准确率达到97.23%。应用文中提出的卷积神经网络对植物图像进行分类可以取得目前最好的植物图像分类效果。     

基于Transformer方法的任意风格迁移策略

目的 任意风格迁移是图像处理任务的重要分支,卷积神经网络作为其常用的网络架构,能够协助内容和风格信息的提取与分离,但是受限于卷积操作感受野,只能捕获图像局部关联先验知识;而自然语言处理领域的Transformer网络能够突破距离限制,捕获长距离依赖关系,更好地建模全局信息,但是因为需要学习所有元素间的关联性,其表达能力的提高也带来了计算成本的增加。鉴于风格迁移过程与句子翻译过程的相似性,提出了一种混合网络模型,综合利用卷积神经网络和Transformer网络的优点并抑制其不足。方法 首先使用卷积神经网络提取图像高级特征,同时降低图像尺寸。随后将提取的特征送入Transformer中,求取内容特征与风格特征间的关联性,并将内容特征替换为风格特征的加权和,实现风格转换。最后使用卷积神经网络将处理好的特征映射回图像域,生成艺术化图像。结果 与5种先进的任意风格迁移方法进行定性和定量比较。在定性方面,进行用户调查,比较各方法生成图像的风格化效果,结果表明本文网络生成的风格化图像渲染效果更受用户喜爱;在定量方面,比较各方法的风格化处理速度,结果表明本文网络风格化速率排名第3,属于可接受范围内。此外,本文与现有的基于Transformer的任意风格迁移方法进行比较,突出二者间差异;对判别网络进行消融实验,表明判别网络的引入能够有效提升图像的光滑度和整洁度;最后,将本文网络应用于多种风格迁移任务,表明本文网络具有灵活性。结论 本文提出的混合网络模型,综合了卷积神经网络和Transformer网络的优点,同时引入了判别网络,使生成的风格化图像更加真实和生动。     

基于残差网络的快速图像风格迁移研究

图像风格迁移技术是指将一幅图像通过学习（利用卷积神经网络）名画风格，转换为与名画风格相近的图像。Gatys提出的NAAS利用VGG网络设计了一个损失网络，通过反复迭代得到风格迁移图像。Li Feifei在NAAS的基础上引入残差网络，利用残差元的快捷连接特性加速计算。主要针对以下两个方面提出了改进：对经典残差元结构进行调整，将标准卷积转换为点卷积和深度卷积，在保证卷积效果的同时降低计算量；对损失网络进行简化，该模型中第四、第五层在结构上高度一致，并且这两层的风格还原与内容重建效果基本相同，因此删去第五层并相应调整结构参数，去掉冗余参数，在降低参数量的同时保证风格还原与内容重建的效果。     

基于直方图的水墨画艺术风格研究

基于内容的照片或自然图像分析和检索已经得到广泛的研究,但多数都基于颜色特征,不能直接用于水墨画艺术作品的分析。对图像进行预处理,提出基于灰度直方图描述水墨画笔道力度分布信息及构图风格,并利用神经网络学习水墨画整体技法风格特征,依据此特征进行不同艺术家间的分类。实验结果表明,通过对整体风格特征的提取,直方图模型能够有效表征画家不同的艺术风格,实现了水墨画的自动分类。     

基于卷积神经网络特征融合的人脸识别算法

为提高卷积神经网络的识别性能,提出了一种基于多种卷积神经网络模型的特征融合方法。论文通过构建一个深度学习网络,将多种卷积神经网络模型如ResNet、InceptionV3和VGG19提取的特征进行融合,并将融合后的特征应用到人脸识别中,据此训练出特征融合网络模型的网络参数;最后利用计算求出的阈值来区分类别。实验结果表明,在人脸库LFW数据集上,论文算法的人脸识别率可达98%;与现有的单一卷积神经网络相比,论文算法识别率更高。     

应用卷积神经网络的陶瓷产品图像检索

卷积神经网络自诞生以来,其研究与应用备受关注。陶瓷产品器型各异且千变万化,基于内容的传统图像检索因"语义鸿沟"不能切实满足应用需要。鉴于卷积神经网络优良的自我学习能力,本文尝试使用卷积神经网络AlexNet模型来提取陶瓷产品图像特征,以丰富图像的语义信息来提高识图准度;使用主成分分析算法对陶瓷产品图像进行降维以提高陶瓷产品的图像检索效率;并通过现有平台的陶瓷产品图像进行图像检索测试验证了其可行性。     

融合全局与局部特征的深度卷积神经网络算法

为进一步提高人脸表情识别的准确率,提出一种融合全局与局部特征的深度卷积神经网络算法(GL-DCNN).该算法由两个改进的卷积神经网络分支组成,全局分支和局部分支,分别用于提取全局特征和局部特征,对两个分支的特征进行加权融合,使用融合后的特征进行分类.首先,提取全局特征,全局分支基于迁移学习,使用改进的VGG19网络模型...     

基于遮挡感知卷积神经网络的面部表情识别模型

针对面部遮挡情况下表情特征难以提取的问题,提出一种双通道遮挡感知神经网络模型。设计区域遮挡判定单元并集成到VGG16网络中形成遮挡感知神经网络,提取面部图像中未遮挡区域及遮挡较少区域的表情特征。运用迁移学习算法对卷积层参数进行预训练,减轻训练数据样本不足带来的过拟合问题。通过优化残差网络提取全脸表情相关特征,在此基础上加权融合遮挡感知神经网络和残差网络的输出以识别表情。在CK+、RAF-DB、SFEW这3个公开数据库上进行对比实验,结果表明,该模型平均准确率分别达到97.33%、86%、61.06%,与OPCNN、ResNet、VGG16等传统卷积神经网络模型相比,有效提高了面部遮挡情况下的表情识别精度。     

基于深度学习的自适应水墨画计算美学评估

近几年艺术作品的计算美学评估已成为一个热门的研究方向.但现有工作主要研究照片和油画,关于水墨画的定量审美评估却鲜有尝试.水墨画通过水墨相调和笔法变化来表现画面,因而在视觉特征、语义特征和审美准则上与照片和油画有显著不同.针对此问题,采用深度学习技术,提出一种自适应的水墨画计算美学评估框架.该框架首先构建水墨画图像美学评价基准数据集;然后根据水墨画审美标准提取全局与局部图像块作为多路输入,并设计一种多视角并行深度卷积神经网络来提取深度审美特征;最后基于水墨画的题材查询机制,构建自适应深度审美评估模型.实验结果表明,文中包含6个并行题材卷积组的多视角网络架构相较基础VGG16架构有较高的审美评估性能,提取的深度审美特征明显优于传统手工设计特征,其自适应模型评估结果与人工审美评价之间达到0.823的皮尔森高度显著相关,且均方误差为0.161.此外,干扰实验表明,文中的网络对构图、墨色和纹理3个绘画要素较为敏感.该研究将不仅为国画计算美学评估提供了一个基于深度学习的参考框架,而且有助于进一步探索人类审美感知与水墨画中深度学习特征之间的关系.     

基于深度学习的图像风格迁移技术的前沿进展

2015年之前,图像风格迁移技术多采用人工数学建模方式,模拟图像风格。深度学习以其能快速提取高级抽象特征的优势,被应用于提取图像的风格化特征和内容特征,成为图像风格迁移领域的主流技术。本文对图像风格迁移技术发展历史进行简介,并着重对卷积神经网络的的应用做深入剖析。首先就图像风格迁移技术的概念、技术难点和基础方法进行综述,然后对卷积神经网络的发展和基础结构进行详述,之后就卷积神经网络算法如何应用在图像风格迁移技术上做介绍,最后概述该技术发展前沿。     

自适应混合卷积神经网络的雾图能见度识别

为充分利用高速公路沿线视频监控,实现高速公路大雾天气能见度全程监测,提出一种自适应混合卷积神经网络（Convolutional Neural Network,CNN）算法。在CNN算法输入层使用ResNet、VGG19预训练模型进行迁移学习,防止训练结果出现过拟合现象;在算法前向与反向传播过程之间构建参数自适应调整模块,根据卷积神经网络训练周期数和训练误差增强参数系数,实现权值自适应更新,有效地提高模型训练的收敛速度和能见度识别正确率。基于高速公路视频图像样本库进行实验,对算法的收敛性、时间复杂性以及识别正确率进行评价。实验结果显示,自适应混合卷积神经网络算法能够加快模型训练,模型综合识别准确率达到0.80以上。     

基于改进注意力机制的图像描述生成算法

图像描述是将图像所包含的全局信息用语句来表示。它要求图像描述生成模型既能提取出图像信息,又能将提取出来的图像信息用语句表达出来。传统的模型是基于卷积神经网络（CNN）和循环神经网络（RNN）搭建的,在一定程度上可以实现图像转语句的功能,但该模型在提取图像关键信息时精度不高且训练速度缓慢。针对这一问题,提出了一种基于CNN和长短期记忆（LSTM）网络改进的注意力机制图像描述生成模型。采用VGG19和ResNet101作为特征提取网络,在注意力机制中引入分组卷积替代传统的全连接操作,从而提高评价值指标。使用了公共数据集Flickr8K、Flickr30K对该模型进行训练,采用多种评价指标（BLEU、ROUGE_L、CIDEr、METEOR）对模型进行验证。实验结果表明,与引入传统的注意力机制模型相比,提出的改进注意力机制图像描述生成模型对图像描述任务的准确性有所提升,并且该模型在5种评价指标上均优于传统的模型。     

高分辨卫星图像卷积神经网络分类模型

目的 卫星图像往往目标、背景复杂而且带有噪声,因此使用人工选取的特征进行卫星图像的分类就变得十分困难。提出一种新的使用卷积神经网络进行卫星图像分类的方案。使用卷积神经网络可以提取卫星图像的高层特征,进而提高卫星图像分类的识别率。方法 首先,提出一个包含六类图像的新的卫星图像数据集来解决卷积神经网络的有标签训练样本不足的问题。其次,使用了一种直接训练卷积神经网络模型和3种预训练卷积神经网络模型来进行卫星图像分类。直接训练模型直接在文章提出的数据集上进行训练,预训练模型先在ILSVRC（the ImageNet large scale visual recognition challenge）-2012数据集上进行预训练,然后在提出的卫星图像数据集上进行微调训练。完成微调的模型用于卫星图像分类。结果 提出的微调预训练卷积神经网络深层模型具有最高的分类正确率。在提出的数据集上,深层卷积神经网络模型达到了99.50%的识别率。在数据集UC Merced Land Use上,深层卷积神经网络模型达到了96.44%的识别率。结论 本文提出的数据集具有一般性和代表性,使用的深层卷积神经网络模型具有很强的特征提取能力和分类能力,且是一种端到端的分类模型,不需要堆叠其他模型或分类器。在高分辨卫星图像的分类上,本文模型和对比模型相比取得了更有说服力的结果。     

相关对齐的总变分风格迁移新模型

目的 图像的风格迁移是近年来机器视觉领域的研究热点之一。针对传统基于卷积神经网络（CNN）的图像风格迁移方法得到的结果图像存在风格纹理不均匀、噪声增强及迭代时间长等问题,本文在CNN框架下提出了一种基于相关对齐的总变分图像风格迁移新模型。方法 在详细地分析了传统风格迁移方法的基础上,新模型引入了基于相关对齐的风格纹理提取方法,通过最小化损失函数,使得风格信息更加均匀地分布在结果图像中。通过分析比较CNN分解图像后不同卷积层的重构结果,提出了新的卷积层选择策略,以有效地提高风格迁移模型的效率。新模型引入了经典的总变分正则,以有效地抑制风格迁移过程中产生的噪声,使结果图像具有更好的视觉效果。结果 仿真实验结果说明,相对于传统方法,本文方法得到的结果图像在风格纹理和内容信息上均有更好的表现,即在风格纹理更加均匀细腻的基础上较好地保留了内容图像的信息。另外,新模型可以有效地抑制风格迁移过程中产生的噪声,且具有更高的运行效率（新模型比传统模型迭代时间减少了约30%）。结论 与传统方法相比,本文方法得到的结果图像在视觉效果方面有更好的表现,且其效率明显优于传统的风格迁移模型。     

一种VGGNet的图像风格迁移算法设计与实现

针对卷积神经网络在实现图像风格迁移中出现的图像失真及精度较差问题,提出一种基于卷积神经网络的图像风格迁移算法。分析传统的纹理重构算法,采用拟牛顿法之一的L-BFGS优化方法对其进行改进。利用Gram矩阵计算图片中的纹理、颜色和视觉信息,提取一幅普通图片和一幅具有代表性的艺术性图像的两种高层抽象特征表示,从而生成具有原内容和艺术性风格的合成图像。在深度学习Keras框架的基础上,设计一种卷积神经网络的图像风格迁移算法。实验结果表明,适度地选择迭代次数可观察合成图像的匹配程度,该算法可提高准确度并降低计算复杂度。     

基于深度卷积神经网络的三维模型检索

为了更有效地利用三维模型数据集进行特征的自主学习,提出一种使用自然图像作为输入源,以三维模型的较优视图集为基础,通过深度卷积神经网络的训练提取深度特征用于检索的三维模型检索方法。首先,从多个视点对三维模型进行视图提取,并根据灰度熵的排序选取较优视图;然后,通过深度卷积神经网络对视图集进行训练,从而提取较优视图的深度特征并进行降维,同时,对输入的自然图像提取边缘轮廓图,经过相似度匹配获得一组三维模型;最后,基于检索结果中同类模型总数占检索列表长度的比例对列表进行重排序,从而获得最终的检索结果。实验结果表明,该算法能够有效利用深度卷积神经网络对三维模型的视图进行深度特征提取,同时降低了输入源的获取难度,有效提高了检索效果。     

一种复合型手势识别方法研究

针对已有卷积神经网络在手势识别过程中精度不高的问题,提出了一种双通道卷积神经网络的特征融合与动态衰减学习率相结合的复合型手势识别方法。通过两个相互独立的通道进行手势图像的特征提取,首先使用SENet（Squeeze-and-Excitation Networks）构成的第一通道提取全局特征,然后使用RBNet（Residual Block Networks）构成的第二通道提取局部特征,并将全局特征和局部特征进行通道维度上的融合。同时,利用动态衰减的学习率训练双通道网络模型。与其他卷积神经网络模型的对比实验结果表明,提出的复合型手势识别方法的手势识别率高,参数数量少,适用于不同手势图像数据集的识别。