中国肖像画的风格转移算法

风格转移技术能快速生成目标艺术作品,但直接用在中国画上通常会存在特征分布不协调、人脸辨识不一致等问题.针对上述问题,文中提出基于卷积神经网络(CNN)的中国肖像画风格转移算法.首先,针对中国肖像画中写意和工笔两种绘画技法,提出笔触控制约束,指导图像的纹理分布.然后,提出国画特征移动距离,用于度量内容与风格特征,并将参考的中国画风格协调部署在肖像照上.最后,针对中国画的水墨色调和留白特点,提出水墨留白约束改进损失网络.实验表明,文中算法生成的结果不仅保证人脸辨识的一致性,而且在中国画艺术风格上表现更优.     

基于生成对抗网络的人像修复

人像修复广泛用于基于图像渲染和计算摄影的照片编辑。针对衣着的不同、高矮胖瘦的区别以及姿态的高自由度等因素给人像修复带来的困难,提出了一种基于生成对抗网络（GAN）的高效人像修复方法。算法分为两阶段：第一阶段基于编码器-解码器网络粗略修复图像,然后估计其中人体姿态信息;第二阶段基于姿态信息和GAN来精确修复人像。利用人像姿态信息来连接人像姿态关键点,形成姿态框架并执行膨胀操作,得到人像姿态掩码,以此构造人像姿态损失函数进行网络训练。实验结果表明,与Contextual Attention修复方法相比,所提方法的修复结果在结构相似度（SSIM）上提升了1%。该方法将人像姿态信息加入到修复过程中,有效地约束了待修复区域人像数据的解空间范围,加强了网络对人像姿态信息的关注程度。     

基于循环显著性校准网络的胰腺分割方法

胰腺的准确分割对于胰腺癌的识别和分析至关重要. 研究者提出通过第一阶段粗分割掩码的位置信息缩小第二阶段细分割网络输入的由粗到细分割方法, 尽管极大地提升了分割精度, 但是在胰腺分割过程中对于上下文信息的利用却存在以下两个问题: 1) 粗分割和细分割阶段分开训练, 细分割阶段缺少粗分割阶段分割掩码信息, 抑制了阶段间上下文信息的流动, 导致部分细分割阶段结果无法比粗分割阶段更准确; 2) 粗分割和细分割阶段单批次相邻预测分割掩码之间缺少信息互监督, 丢失切片上下文信息, 增加了误分割风险. 针对上述问题, 提出了一种基于循环显著性校准网络的胰腺分割方法. 通过循环使用前一阶段输出的胰腺分割掩码作为当前阶段输入的空间权重, 进行两阶段联合训练, 实现阶段间上下文信息的有效利用; 提出卷积自注意力校准模块进行胰腺预测分割掩码切片上下文信息跨顺序互监督, 显著改善了相邻切片误分割现象. 提出的方法在公开的数据集上进行了验证, 实验结果表明其改善误分割结果的同时提升了平均分割精度.     

Deep and shallow features fusion based on deep convolutional neural network for speech emotion recognition

Recent years have witnessed the great progress for speech emotion recognition using deep convolutional neural networks (DCNNs). In order to improve the performance of speech emotion recognition, a novel feature fusion method is proposed. With going deeper of the convolutional layers, the convolutional feature of traditional DCNNs gradually become more abstract, which may not be the best feature for speech emotion recognition. On the other hand, the shallow feature includes only global information without the detailed information extracted by deeper convolutional layers. According to these observations, we design a deep and shallow feature fusion convolutional network, which combines the feature from different levels of network for speech emotion recognition. The proposed network allows us to fully exploit deep and shallow feature. The popular Berlin data set is used in our experiments, the experimental results show that our proposed network can further improve speech emotion recognition rate which demonstrates the effectiveness of the proposed network.     

Removal of impulse noise in color images based on convolutional neural network

A new denoising framework based on deep convolutional neural network for suppressing impulse noise in color images is proposed in this paper. The proposed framework consists of two modules: noise detection and image reconstruction, both of which are implemented by a deep convolutional neural network. First, a noise classifier network is trained to detect random-valued impulse noise in a color image, which not only can detect the noisy color vector pixels but also can further identify the corrupted channels of each noisy color pixel. Then, a sparse clean color image is computed by replacing the values of noisy channels with 0 and keeping other noise-free channels unchanged. Finally, the sparse clean color image is fed to another denoiser network to reconstruct the denoised image. Experimental results show that the proposed denoiser outperforms other state-of-the-art methods clearly in both performance measure and visual evaluation.     

基于3D卷积神经网络的动态手势识别

传统的2D卷积神经网络在进行视频识别时容易丢失目标在时间维度上的相关特征信息,导致识别准确率降低。针对该问题,本文采用3D卷积网络作为基本的网络框架,使用3D卷积核进行卷积操作提取视频中的时空特征,同时集成多个3D卷积神经网络模型对动态手势进行识别。为了提高模型的收敛速度和训练的稳定性,运用批量归一化（BN）技术优化网络,使优化后的网络训练时间缩短。实验结果表明,本文方法对于动态手势的识别具有较好的识别结果,在Sheffield Kinect Gesture (SKIG)数据集上识别准确率达到98.06%。与单独使用RGB信息、深度信息以及传统2D CNN相比,手势识别率均有所提高,验证了本文方法的可行性和有效性。     

基于密集连接卷积神经网络的远程监督关系抽取

密集连接卷积神经网络(DenseNet)是一种新型深度卷积神经网络架构,通过建立不同层间的连接关系,来确保网络层与层间最大程度的信息传输。在文本远程监督关系抽取任务中,针对现有神经网络方法使用浅层网络提取特征的局限,设计了一种基于密集连接方式的深度卷积神经网络模型。该模型采用五层卷积神经网络构成的密集连接模块和最大池化层作为句子编码器,通过合并不同层次的词法、句法和语义特征,来帮助网络学习特征,从而获取输入语句更丰富的语义信息,同时减轻深度神经网络的梯度消失现象,使得网络对自然语言的表征能力更强。模型在NYT-Freebase数据集上的平均准确率达到了82.5%,PR曲线面积达到了0.43。实验结果表明,该模型能够有效利用特征,并提高远程监督关系抽取的准确率。     

基于注意力机制的3D DenseNet人体动作识别方法

传统人体动作识别算法无法充分利用视频中人体动作的时空信息,且识别准确率较低。提出一种新的三维密集卷积网络人体动作识别方法。将双流网络作为基本框架,在空间网络中运用添加注意力机制的三维密集网络提取视频中动作的表观信息特征,结合时间网络对连续视频序列运动光流的运动信息进行特征提取,经过时空特征和分类层的融合后得到最终的动作识别结果。同时为更准确地提取特征并对时空网络之间的相互作用进行建模,在双流网络之间加入跨流连接对时空网络进行卷积层的特征融合。在UCF101和HMDB51数据集上的实验结果表明,该模型识别准确率分别为94.52%和69.64%,能够充分利用视频中的时空信息,并提取运动的关键信息。     

Design of multi-scale receptive field convolutional neural network for surface inspection of hot rolled steels

Due to the large intra-class variations and unbalanced training samples, the accuracy of existing algorithms used in defect classification of hot rolled steels is unsatisfactory. In this paper, a new hierarchical learning framework is proposed based on convolutional neural networks to classify hot rolled defects. Multi-scale receptive field is introduced in the new framework to extract multi-scale features, which can better represent defects than the feature maps produced by a single convolutional layer. A group of AutoEncoders are trained to reduce the dimension of the extracted multi-scale features which improve the generalization ability under insufficient training samples. Besides, to mitigate the deviation caused by fine-tuning the pre-trained model with images of different context, we add a penalty term in the loss function, which is to reconstruct the input image from the feature maps produced by the pre-trained model, to help network encode more effective and structured information. The experiments with samples captured from two hot rolled production lines showed that the proposed framework achieved a classification rate of 97.2% and 97% respectively, which are much higher than the conventional methods.     

基于多特征融合卷积神经网络的显著性检测

随着深度学习技术的发展以及卷积神经网络在众多计算机视觉任务中的突出表现,基于卷积神经网络的深度显著性检测方法成为显著性检测领域的主流方法。但是,卷积神经网络受卷积核尺寸的限制,在网络底层只能在较小范围内提取特征,不能很好地检测区域内不显著但全局显著的对象;其次,卷积神经网络通过堆叠卷积层的方式可获得图像的全局信息,但在信息由浅向深传递时,会导致信息遗失,同时堆叠太深也会导致网络难以优化。基于此,提出一种基于多特征融合卷积神经网络的显著性检测方法。使用多个局部特征增强模块和全局上下文建模模块对卷积神经网络进行增强,利用局部特征增强模块增大特征提取范围的同时,采用全局上下文建模获得特征图的全局信息,有效地抑制了区域内显著而全局不显著的物体对显著性检测的干扰; 能够同时提取多尺度局部特征和全局特征进行显著性检测,有效地提升了检测结果的准确性。最后,通过实验对所提方法的有效性进行验证并和其它11种显著性检测方法进行对比,结果表明所提方法能提升显著性检测结果的准确性且优于参与比较的11种方法。     

图网络层级信息挖掘分类算法综述

深度学习作为人工智能的一个研究分支发展迅速,而研究数据主要是语音、图像和视频等,这些具有规则结构的数据通常在欧氏空间中表示。然而许多学习任务需要处理的数据是从非欧氏空间中生成,这些数据特征和其关系结构可以用图来定义。图卷积神经网络通过将卷积定理应用于图,完成节点之间的信息传播与聚合,成为建模图数据一种有效的方法。尽管图卷积神经网络取得了巨大成功,但针对图任务中的节点分类问题,由于深层图结构优化的特有难点——过平滑现象,现有的多数模型都只有两三层的浅层模型架构。在理论上,图卷积神经网络的深层结构可以获得更多节点表征信息,因此针对其层级信息进行研究,将层级结构算法迁移到图数据分析的核心在于图层级卷积算子构建和图层级间信息融合。本文对图网络层级信息挖掘算法进行综述,介绍图神经网络的发展背景、存在问题以及图卷积神经网络层级结构算法的发展,根据不同图卷积层级信息处理将现有算法分为正则化方法和架构调整方法。正则化方法通过重新构建图卷积算子更好地聚合邻域信息,而架构调整方法则融合层级信息丰富节点表征。图卷积神经网络层级特性实验表明,图结构中存在层级特性节点,现有图层级信息挖掘算法仍未对层级特性节点的...     

基于改进CycleGAN的人脸剪纸自动生成

针对人脸剪纸手工设计难度大, 制作周期长等问题, 本文首次利用生成对抗网络生成高质量人脸剪纸. 面向人脸剪纸艺术特点, 提出了一种基于CycleGAN的改进网络: 1) 在原始CycleGAN生成器中引入CBAM注意力模块, 增强网络特征提取能力; 2) 引入针对鼻、眼、唇等关键面部区域的局部鉴别器, 提升人脸剪纸中以上区域的生成效果; 3)设计基于图像边缘信息与SSIM的损失函数, 取代CycleGAN的前向循环一致损失, 消除所得人脸剪纸中的阴影. 相较于其他人脸剪纸自动生成方法, 本文方法可快速生成与原始人脸相似度高、线条连续流畅、具有艺术美感的人脸剪纸. 此外, 本文还提出了一种人脸剪纸连通性后处理方法, 使所得结果更符合中国传统剪纸整体连通的特点.     

基于胶囊网络在复杂场景下的行人识别

大数据环境下,对行人检测的需求度不断提高,然而视频中的信息越来越丰富,视频中所获取的场景也愈加复杂.在如此背景下,目前大多使用卷积神经网络进行识别,但识别率不高.在原有的胶囊网络模型的基础上,增加了两层卷积层并将胶囊维度进行了扩展,同时使用了动态路由迭代算法,提出了一种基于改进胶囊网络的行人识别模型(PRM-ICN),...     

Multi-Task Learning for Food Identification and Analysis with Deep Convolutional Neural Networks

In this paper, we proposed a multi-task system that can identify dish types, food ingredients, and cooking methods from food images with deep convolutional neural networks. We built up a dataset of 360 classes of different foods with at least 500 images for each class. To reduce the noises of the data, which was collected from the Internet, outlier images were detected and eliminated through a one-class SVM trained with deep convolutional features. We simultaneously trained a dish identifier, a cooking method recognizer, and a multi-label ingredient detector. They share a few low-level layers in the deep network architecture. The proposed framework shows higher accuracy than traditional method with handcrafted features, and the cooking method recognizer and ingredient detector can be applied to dishes which are not included in the training dataset to provide reference information for users.     

盲去模糊的多尺度编解码深度卷积网络

针对拍摄场景中物体运动不一致所带来的非均匀模糊，为提高复杂运动场景中去模糊的效果，提出一种多尺度编解码深度卷积网络。该网络采用"从粗到细"的多尺度级联结构，在模糊核未知条件下，实现盲去模糊；其中，在该网络的编解码模块中，提出一种快速多尺度残差块，使用两个感受野不同的分支增强网络对多尺度特征的适应能力；此外，在编解码之间增加跳跃连接，丰富解码端信息。与2018年国际计算机视觉与模式识别会议（CVPR）上提出的多尺度循环网络相比，峰值信噪比（PSNR）高出0.06 dB；与2017年CVPR上提出的深度多尺度卷积网络相比，峰值信噪比和平均结构相似性（MSSIM）分别提高了1.4%和3.2%。实验结果表明，该网络能快速去除图像模糊，恢复出图像原有的边缘结构和纹理细节。     

A novel deep convolutional neural network-bootstrap integrated method for RUL prediction of rolling bearing

In this study, a novel deep convolutional neural network-bootstrap-based integrated prognostic approach for the remaining useful life (RUL) prediction of rolling bearing is developed. The proposed architecture includes two main parts: 1) a deep convolutional neural network–multilayer perceptron (i.e., DCNN–MLP) dual network is utilized to simultaneously extract informative representations hidden in both time series-based and image-based features and to predict the RUL of bearings, and 2) the proposed dual network is embedded into the bootstrap-based implementation framework to quantify the RUL prediction interval. Unlike other deep-learning-based prognostic approaches, the proposed DCNN-bootstrap integrated method has two innovative features: 1) both 1D time series-based and 2D image-based features of bearings, which can multi-dimensionally characterize the degradation of bearings, are comprehensively leveraged by the proposed dual network, and 2) the RUL prediction interval can be effectively quantified without relying on the bearing’s physical or statistical prior information based on bootstrap implementation paradigm. The proposed approach is experimentally validated with two case studies on rolling element bearings, and comparisons with other state-of-the-art techniques are also presented. Subsequently, our code will be open sourced.     

融合MobileNetv2和注意力机制的轻量级人像分割算法

针对人像分割精度不高、效率不佳的问题,提出一种融合MobileNetv2和注意力机制的轻量级人像分割算法,以实现对人像半身图进行分割.在编码器-解码器的U型网络结构的基础上,通过将MobileNetv2作为骨干网络,精简上采样过程,有效地减少了网络的参数量,有助于网络的迁移和训练.融合注意力机制的网络结构可更有效地学习...     

基于对抗图卷积的网络表征学习框架

现有的网络表征方法及其相关变体的侧重点在于保存网络的拓扑结构或使重构误差最小,忽略隐变量的数据分布问题.基于此种情况,文中提出基于对抗图卷积的网络表征学习框架(AGCN),使网络模型不仅可以组合图的结构信息和节点的属性信息,提高网络表征学习性能,而且可以学习数据分布.与此同时,在AGCN的基础上提出端到端的多任务学习框架(MTL),在一个学习阶段可以同时进行链接预测和节点分类任务.实验表明,MTL性能较优.     

基于时域卷积网络的多尺度双线性天气预测模型

针对时域卷积网络(TCN)提取能力受卷积层感受野限制,难以对天气数据中的季节 性信息和长时信息进行有效提取与分析的问题,提出了一个新的基于 TCN 的多尺度双线性天气 预测模型。该模型由 TCN 层和双线性汇合层 2 部分组成,时域卷积层包含双路 TCN,每个 TCN 利用历史观测数据独立提取特征,除卷积核尺度之外,其他网络参数均保持一致。多尺度的 网络组合可以更深入挖掘数据中潜在关联信息;时域卷积层的输出作为双线性汇合层的输入 进行双线性融合,规范化后得到最终输出,即对未来天气的预测值,进一步提升模型的特征 表示能力。在公开的天气预测数据集上与 5 个基准方法进行对比,实验结果表明所提方法的预 测结果准确率更高;此外,对比 TCN,多尺度双线性天气预测模型面对长时数据信息时表现更 加稳定。     

基于级联卷积神经网络的机器人平面抓取位姿快速检测

针对任意姿态的未知不规则物体,提出一种基于级联卷积神经网络的机器人平面抓取位姿快速检测方法．建立了一种位置-姿态由粗到细的级联式两阶段卷积神经网络模型,利用迁移学习机制在小规模数据集上训练模型,以R-FCN（基于区域的全卷积网络）模型为基础提取抓取位置候选框进行筛选及角度粗估计,并针对以往方法在姿态检测上的精度不足,提出一种Angle-Net模型来精细估计抓取角度．在Cornell数据集上的测试及机器人在线抓取实验结果表明,该方法能够对任意姿态、不同形状的不规则物体快速计算最优抓取点及姿态,其识别准确性和快速性相比以往方法有所提高,鲁棒性和稳定性强,且能够泛化适应未训练过的新物体．