基于多维卷积神经网络的图像样式转换算法

基于神经网络的图像样式转换算法成为计算机视觉的一个热点。单一神经网络的图像样式转换算法存在损失函数初值大,收敛速度慢,生成图像质量欠佳等问题。针对上述问题,本文提出了基于多维卷积神经网络的图像样式转换算法。首先,叠加了不同卷积神经网络。然后,降低了叠加网络深度,引入多维网络的特征提取模型。最后,采用一种预测方法对该网络的输入结果进行评估,从而实现了图像样式转换。试验结果表明,预测方法有效地预估了算法执行质量,且相比于单一卷积神经网络,所提风格迁移算法的收敛速度和生成的图像质量更优。     

基于残差网络的快速图像风格迁移研究

图像风格迁移技术是指将一幅图像通过学习（利用卷积神经网络）名画风格，转换为与名画风格相近的图像。Gatys提出的NAAS利用VGG网络设计了一个损失网络，通过反复迭代得到风格迁移图像。Li Feifei在NAAS的基础上引入残差网络，利用残差元的快捷连接特性加速计算。主要针对以下两个方面提出了改进：对经典残差元结构进行调整，将标准卷积转换为点卷积和深度卷积，在保证卷积效果的同时降低计算量；对损失网络进行简化，该模型中第四、第五层在结构上高度一致，并且这两层的风格还原与内容重建效果基本相同，因此删去第五层并相应调整结构参数，去掉冗余参数，在降低参数量的同时保证风格还原与内容重建的效果。     

基于拉普拉斯算子和颜色保留的神经风格迁移算法

针对神经风格迁移算法结果中存在伪影、颜色丢失、轮廓模糊不清等影响整体艺术效果的问题,提出了一种基于拉普拉斯算子和颜色保留（LCR）的神经风格迁移算法。所提LCR算法使用内容损失项、风格损失项、直方图损失项以及拉普拉斯损失项构建总损失函数。由于在LCR算法中使用了直方图损失项和拉普拉斯损失项,因此,LCR算法与基于卷积神经网络的图像风格迁移（IST-CNN）算法、基于深度特征扰动（DFP）算法相比,对风格化结果图有更好的整体艺术效果。首先,通过对输入内容图像和风格图像进行去噪处理,减小了图像噪声对后续各个损失项计算的影响;其次,对内容图像和风格图像进行RGB空间到Lab空间的转换,以实现图像亮度通道L和颜色通道a、b的分离,并把内容图像的亮度信息迁移到风格图像上,从而达到内容图像颜色保留的目的;最后,在卷积神经网络（CNN）中对总损失函数进行迭代优化并输出风格化结果图。与IST-CNN和DFP算法相比,所提LCR算法的峰值信噪比（PSNR）平均分别提高了约12.418 dB和8.038 dB,结构相似性（SSIM）平均分别提高了约0.348 06和0.258 54,均方差（MSE）平均分别降低了0.653 76和0.296 00。实验结果表明,LCR算法有更好的风格化绘制整体视觉效果。     

结合深度神经网络的网络监控系统微表情识别

为了提高网络监控系统微表情识别的效果,结合深度神经网络技术提出新的智能监控系统微表情识别算法。将判别能力强的卷积神经网络特征与鲁棒的直方图特征结合,利用卷积神经网络提取目标的空间特征,再将卷积特征表示为直方图,结合直方图和卷积神经网络两者的优势设计新的人体追踪算法;设计跨模态监督的深度神经网络训练方法,将可见光视频数据送入深度神经网络进行训练,利用近红外光视频对训练程序进行监督。基于公开的多模态微表情识别数据集完成了验证实验,结果显示该算法有效地提高了微表情识别的性能。     

基于深度卷积特征光流的形变医学图像配准算法

光流法是一种基于光流场模型的重要而有效的形变配准算法。针对现有光流法所用特征质量不高使得配准结果不够准确的问题，将深度卷积神经网络特征和光流法相结合，提出了基于深度卷积特征光流（DCFOF）的形变医学图像配准算法。首先利用深度卷积神经网络稠密地提取图像中每个像素所在图像块的深度卷积特征，然后基于固定图像和浮动图像间的深度卷积特征差异求解光流场。通过提取图像的更为精确和鲁棒的深度学习特征，使求得的光流场更接近真实形变场，提升了配准精度。实验结果表明，所提算法能够更有效地解决形变医学图像配准问题，其配准精度优于Demons算法、尺度不变特征变换(SIFT) Flow算法以及医学图像专业配准软件Elastix。     

基于深度学习的图像风格迁移技术的前沿进展

2015年之前,图像风格迁移技术多采用人工数学建模方式,模拟图像风格。深度学习以其能快速提取高级抽象特征的优势,被应用于提取图像的风格化特征和内容特征,成为图像风格迁移领域的主流技术。本文对图像风格迁移技术发展历史进行简介,并着重对卷积神经网络的的应用做深入剖析。首先就图像风格迁移技术的概念、技术难点和基础方法进行综述,然后对卷积神经网络的发展和基础结构进行详述,之后就卷积神经网络算法如何应用在图像风格迁移技术上做介绍,最后概述该技术发展前沿。     

基于参数迁移和卷积循环神经网络的语音情感识别

在语音情感识别研究中,已有基于深度学习的方法大多没有针对语音时频两域的特征进行建模,且存在网络模型训练时间长、识别准确性不高等问题。语谱图是语音信号转换后具有时频两域的特殊图像,为了充分提取语谱图时频两域的情感特征,提出了一种基于参数迁移和卷积循环神经网络的语音情感识别模型。该模型把语谱图作为网络的输入,引入AlexNet网络模型并迁移其预训练的卷积层权重参数,将卷积神经网络输出的特征图重构后输入LSTM（Long Short-Term Memory）网络进行训练。实验结果表明,所提方法加快了网络训练的速度,并提高了情感识别的准确率。     

基于深度学习的图像风格转换研究

随着深度学习的发展,图像风格转换任务开始使用卷积神经网络实现。针对传统图像转换网络在转换后,保留纹理细节的能力不足的问题,本文基于Justin等人的风格转换模型,优化了转换网络中的残差结构,并结合生成对抗的思想,改进了风格转换模型,使模型能提取图像中更抽象的特征,并对损失函数进行调整,进一步提升生成图像的质量。实验表明,本文方法在进行图像风格转换时,有效提升了风格化效果并且通过比较在多种评价指标下得到的结果,可知图像质量得到提升。     

结合纹理特征分析的图像风格转换网络

针对图像风格转换效率不高、效果不佳的问题，提出一种结合图像纹理特征分析，并基于预训练网络的前馈残差图像风格转换算法。该算法利用预训练深层网络来提取风格图的深度特征，采用残差网络来进行深层训练以及进行图像变换；同时通过分析研究输入风格图与内容图的纹理特征对转换效果的影响，针对不同输入图像采取相应的处理方法来提升转换效果。实验结果表明，与现有深度图像风格转换算法相比，该算法的输出视觉效果更佳，归一化风格损失更小，耗时更短，并且根据输入图像的信息熵与不变矩的计算来指导网络参数的设定与调整，能够针对性地优化网络，取得了良好的效果。     

孪生神经网络交通标志编码识别算法

交通标志识别技术正在被逐步应用到汽车辅助驾驶领域。但是，遮挡、污损、天气环境变化等因素会严重影响交通标志识别的准确性和稳定性。针对该问题，提出了一种基于孪生神经网络的交通标志编码识别模型。该模型将交通标志的识别问题视为交通标志的卷积特征编码识别问题。通过卷积神经网络对交通标志训练样本和基准样本进行特征提取与编码。再利用孪生神经网络进行编码对比，结合对比损失函数对编码器训练调整。通过全连接层对输入通路的标志卷积编码进行重新组合与分类，从而实现交通标识的识别。实验结果表明，所提的基于改进孪生神经网络的编码器模型对存在运动模糊与遮挡的标志图像能生成有效、鲁棒的特征编码，相较于其他先进算法，具有更高的识别准确率。     

中国肖像画的风格转移算法

风格转移技术能快速生成目标艺术作品,但直接用在中国画上通常会存在特征分布不协调、人脸辨识不一致等问题.针对上述问题,文中提出基于卷积神经网络(CNN)的中国肖像画风格转移算法.首先,针对中国肖像画中写意和工笔两种绘画技法,提出笔触控制约束,指导图像的纹理分布.然后,提出国画特征移动距离,用于度量内容与风格特征,并将参考的中国画风格协调部署在肖像照上.最后,针对中国画的水墨色调和留白特点,提出水墨留白约束改进损失网络.实验表明,文中算法生成的结果不仅保证人脸辨识的一致性,而且在中国画艺术风格上表现更优.     

基于小样本学习的SAR图像识别

深度学习已成为图像识别领域的一个研究热点。与传统图像识别方法不同,深度学习从大量数据中自动学习特征,并且具有强大的自学习能力和高效的特征表达能力。但在小样本条件下,传统的深度学习方法如卷积神经网络难以学习到有效的特征,造成图像识别的准确率较低。因此,提出一种新的小样本条件下的图像识别算法用于解决SAR图像的分类识别。该算法以卷积神经网络为基础,结合自编码器,形成深度卷积自编码网络结构。首先对图像进行预处理,使用2D Gabor滤波增强图像,在此基础上对模型进行训练,最后构建图像分类模型。该算法设计的网络结构能自动学习并提取小样本图像中的有效特征,进而提高识别准确率。在MSTAR数据集的10类目标分类中,选择训练集数据中10%的样本作为新的训练数据,其余数据为验证数据,并且,测试数据在卷积神经网络中的识别准确率为76.38%,而在提出的卷积自编码结构中的识别准确率达到了88.09%。实验结果表明,提出的算法在小样本图像识别中比卷积神经网络模型更加有效。     

基于卷积特征的非平衡人群密度估计方法

人群密度估计在智能监控领域具有重要的应用价值。大量理论和经验研究表明,基于数据驱动的深度神经网络往往优于传统的基于手工特征的方法。但是人群样本的数据规模很小,深层次的网络很难得到较优解。鉴于此,提出了3种解决方法:训练较浅的神经网络,使用预训练深度模型的全连接层特征和使用预训练深度模型的卷积-FV(Fisher Vector)特征。针对样本的不平衡性问题,提出了使用多个分类评估标准的解决方案。在标准数据集PETs2009上的实验结果表明,相比于现有的手工特征,卷积特征具有更好的效果。其次,相比于训练一个全新的卷积模型,基于迁移学习的深度卷积特征是更好的选择。另外,通过层数较少的深度模型获得的较低层特征的迁移性更好。     

Fine-tuning deep convolutional neural networks for distinguishing illustrations from photographs

Systems for aggregating illustrations require a function for automatically distinguishing illustrations from photographs as they crawl the network to collect images. A previous attempt to implement this functionality by designing basic features that were deemed useful for classification achieved an accuracy of only about 58%. On the other hand, deep neural networks had been successful in computer vision tasks, and convolutional neural networks (CNNs) had performed good at extracting such useful image features automatically. We evaluated alternative methods to implement this classification functionality with focus on deep neural networks. As the result of experiments, the method that fine-tuned deep convolutional neural network (DCNN) acquired 96.8% accuracy, outperforming the other models including the custom CNN models that were trained from scratch. We conclude that DCNN with fine-tuning is the best method for implementing a function for automatically distinguishing illustrations from photographs.     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

基于深度学习的图像风格迁移研究进展

图像风格迁移是计算机视觉领域的一个热点研究方向。随着深度学习的兴起,图像风格迁移领域得到了突破性的发展。为了推进图像风格迁移领域的发展,对基于深度学习的图像风格迁移的现有研究方法进行综述。对基于深度学习的图像风格迁移方法进行分类和梳理,并对比分析基于卷积神经网络和基于生成对抗网络的风格迁移方法,介绍了图像风格迁移的改进性和拓展性工作,讨论了图像风格迁移领域目前面临的挑战和未来的研究方向。     

Research on Transfer Learning Methods for Classification of Typhoon Cloud Image

Aiming at the complexity of traditional methods for feature extraction about satellite cloud images, and the difficulty of developing deep convolutional neural network from scratch, a parameter-based transfer learning method for classifying typhoon intensity is proposed. Take typhoon satellite cloud images published by Japan Meteorological Agency, which includes 10 000 scenes among nearly 40 years to construct training and test typhoon datasets. Three deep convolutional neural networks, VGG16, InceptionV3 and ResNet50 are trained as source models on the large-scale ImageNet datasets. Considering the discrepancy between low-level features and high-level semantic features of typhoon cloud images, adapt the optimal number of transferable layers in neural networks and freeze weights of low-level network. Meanwhile, fine-tune surplus weights on typhoon dataset adaptively. Finally, a transferred prediction model which is suitable for small sample typhoon datasets, called T-typCNNs is proposed. Experimental results show that the T-typCNNs can achieve training accuracy of 95.081% and testing accuracy of 91.134%, 18.571% higher than using shallow convolutional neural network, 9.819% higher than training with source models from scratch.     

基于迁移学习及气象卫星云图的台风等级分类研究

针对传统卫星云图特征提取方法复杂且深度卷积神经网络（Deep Convolutional Neural Network, DCNN）模型开发困难的问题,提出一种基于参数迁移的台风等级分类方法。利用日本气象厅发布的近40 a 10 000多景台风云图数据,构建了适应于迁移学习的台风云图训练集和测试集。在大规模ImageNet源数据集上训练出3种源模型VGG16,InceptionV3和ResNet50,依据台风云图低层特征与高层语义特征的差异,适配网络最佳迁移层数并冻结低层权重,高层权重采用自适应微调策略,构建出了适用于台风小样本数据集的迁移预报模型T-typCNNs。实验结果表明:T-typCNNs模型在自建台风数据集上的训练精度为95.081%,验证精度可达91.134%,比利用浅层卷积神经网络训练出的精度高18.571%,相比于直接用源模型训练最多提高9.819%。     

基于多特征加权融合的静态手势识别

针对人工提取特征的单一性及卷积神经网络提取特征的遗漏性问题,提出了一种基于多特征加权融合的静态手势识别方法.首先,提取分割后的手势图像的傅里叶和Hu矩等形状特征,将两者融合作为手势图像的局部特征;设计双通道卷积神经网络提取手势图像的深层次特征,采用主成分分析方法对提取的特征进行降维;然后,将提取的局部特征和深层次特征进行加权融合作为手势识别的有效特征描述;最后,使用Softmax分类器进行手势图像分类.实验结果验证了提出方法的有效性,在手势图像数据集上的识别准确率达到了99%以上.