智能问诊中基于深度神经网络的反问生成方法

在智能问诊中,为了让医生快速提出合理的反问以提高医患对话效率,提出了基于深度神经网络的反问生成方法。首先获取大量医患对话文本并进行标注;然后使用文本循环神经网络（TextRNN）、文本卷积神经网络（TextCNN）二种分类模型分别对医生的陈述进行分类;再利用双向文本循环神经网络（TextRNN-B）、双向变形编码器（BERT）分类模型进行问题触发;设计六种不同的问答选取方式来模拟医疗咨询领域情景,采用开源神经机器翻译（OpenNMT）模型进行反问生成;最后对已生成的反问进行综合评估。实验结果表明,使用TextRNN进行分类优于TextCNN,利用BERT模型进行问题触发优于TextRNN-B,采用OpenNMT模型在Window-top方式下实现反问生成时,使用双语评估替补（BLEU）和困惑度（PPL）指标进行评价的结果最好。所提方法验证了深度神经网络技术在反问生成中的有效性,可以有效解决智能问诊中医生反问生成的问题。     

基于迁移学习的分层注意力网络情感分析算法

文本情感分析的目的是判断文本的情感类型。传统的基于神经网络的研究方法主要依赖于无监督训练的词向量,但这些词向量无法准确体现上下文语境关系;常用于处理情感分析问题的循环神经网络（RNN）,模型参数众多,训练难度较大。为解决上述问题,提出了基于迁移学习的分层注意力神经网络（TLHANN）的情感分析算法。首先利用机器翻译任务训练一个用于在上下文中理解词语的编码器;然后,将这个编码器迁移到情感分析任务中,并将编码器输出的隐藏向量与无监督训练的词向量结合。在情感分析任务中,使用双层神经网络,每层均采用简化的循环神经网络结构——最小门单元（MGU）,有效减少了参数个数,并引入了注意力机制提取重要信息。实验结果证明,所提算法的分类准确率与传统循环神经网络算法、支持向量机（SVM）算法相比分别平均提升了8.7%及23.4%。     

基于深度神经网络和门控循环单元的动态图表示学习方法

学习图中节点的潜在向量表示是一项重要且普遍存在的任务,旨在捕捉图中节点的各种属性。大量工作证明静态图表示已经能够学习到节点的部分信息,然而,真实世界的图是随着时间的推移而演变的。为了解决多数动态网络算法不能有效保留节点邻域结构和时态信息的问题,提出了基于深度神经网络（DNN）和门控循环单元（GRU）的动态网络表示学习方法DynAEGRU。该方法以自编码器作为框架,其中的编码器首先用DNN聚集邻域信息以得到低维特征向量,然后使用GRU网络提取节点时态信息,最后用解码器重构邻接矩阵并将其与真实图对比来构建损失。通过与几种静态图和动态图表示学习算法在3个数据集上进行实验分析,结果表明DynAEGRU具有较好的性能增益。     

基于一维卷积混合神经网络的文本情感分类

针对情感分类中传统二维卷积模型对特征语义信息的损耗以及时序特征表达能力匮乏的问题，提出了一种基于一维卷积神经网络（CNN）和循环神经网络（RNN）的混合模型。首先，使用一维卷积替换二维卷积以保留更丰富的局部语义特征；再由池化层降维后进入循环神经网络层，整合特征之间的时序关系；最后，经过softmax层实现情感分类。在多个标准英文数据集上的实验结果表明，所提模型在SST和MR数据集上的分类准确率与传统统计方法和端到端深度学习方法相比有1至3个百分点的提升，而对网络各组成部分的分析验证了一维卷积和循环神经网络的引入有助于提升分类准确率。     

面向社会安全事件的分布式神经网络攻击行为分类方法

大数据时代下,社会安全事件呈现出数据多样化、数据量快速递增等特点,社会安全事件的事态与特性分析决策面临巨大的挑战。高效、准确识别社会安全事件中的攻击行为的类型,并为社会安全事件处置决策提供帮助,已经成为国家与网络空间安全领域的关键性问题。针对社会安全事件攻击行为分类,提出一种基于Spark平台的分布式神经网络分类算法（DNNC）。DNNC算法通过提取攻击行为类型的相关属性作为神经网络的输入数据,建立了各属性与攻击类型之间的函数关系并生成分布式神经网络分类模型。实验结果表明,所提出DNNC算法在全球恐怖主义数据库所提供的数据集上,虽然在部分攻击类型上准确率有所下降,但平均准确率比决策树算法提升15.90个百分点,比集成决策树算法提升8.60个百分点。     

基于图编码网络的社交网络节点分类方法

针对如何融合节点自身属性以及网络结构信息实现社交网络节点分类的问题,提出了一种基于图编码网络的社交网络节点分类算法。首先,每个节点向邻域节点传播其携带的信息;其次,每个节点通过神经网络挖掘其与邻域节点之间可能隐含的关系,并且将这些关系进行融合;最后,每个节点根据自身信息以及与邻域节点关系的信息提取更高层次的特征,作为节点的表示,并且根据该表示对节点进行分类。在微博数据集上,与经典的深度随机游走模型、逻辑回归算法有以及最近提出的图卷积网络算法相比,所提算法分类准确率均有大于8%的提升;在DBLP数据集上,与多层感知器相比分类准确率提升4.83%,与图卷积网络相比分类准确率提升0.91%。     

基于Hadoop社交网络分析平台的设计与实现

随着社交网络的快速发展,海量社交网络的数据挖掘成为一个重要课题;针对海量数据的社交网络分析方法进行研究,以Hadoop的分布式文件系统和Map/Reduce并行方法设计基于Hadoop的分布式数据挖掘框架,在此基础上,通过Map/Reduce的并行方法,将传统数据挖掘算法并行化,以谱聚类的并行为例,阐述转化的过程并对在大数据条件下所面临的内存不足的问题给出相应的算法优化;最后对3个不同量级的数据集进行实验,验证基于Hadoop的社交网络分析平台的框架的合理性和算法并行化的有效性。     

基于复杂网络描述的图像深度卷积分类方法

为了在不增加较多计算量的前提下,提高卷积网络模型用于图像分类的正确率,提出了一种基于复杂网络模型描述的图像深度卷积分类方法。首先,对图像进行复杂网络描述,得到不同阈值下的复杂网络模型度矩阵;然后,在图像度矩阵描述的基础上,通过深度卷积网络得到特征向量;最后,根据得到的特征向量进行K近邻（KNN）分类。在ILSVRC2014数据库上进行了验证实验,实验结果表明,所提出的模型具有较高的正确率和较少的迭代次数。     

基于Im2col的并行深度卷积神经网络优化算法

针对大数据环境下并行深度卷积神经网络（DCNN）算法中存在数据冗余特征多、卷积层运算速度慢、损失函数收敛性差等问题,提出了一种基于Im2col方法的并行深度卷积神经网络优化算法IA-PDCNNOA。首先,提出基于Marr-Hildreth算子的并行特征提取策略MHO-PFES,提取数据中的目标特征作为卷积神经网络的输入,有效避免了数据冗余特征多的问题;其次,设计基于Im2col方法的并行模型训练策略IM-PMTS,通过设计马氏距离中心值去除冗余卷积核,并结合MapReduce和Im2col方法并行训练模型,提高了卷积层运算速度;最后提出改进的小批量梯度下降策略IM-BGDS,排除异常节点的训练数据对批梯度的影响,解决了损失函数收敛性差的问题。实验结果表明,IA-PDCNNOA算法在大数据环境下进行深度卷积神经网络计算具有较好的性能表现,适用于大规模数据集的并行化深度卷积神经网络模型训练。     

基于胶囊网络的方面级跨领域情感分析

在跨领域情感分析任务中,目标领域带标签样本严重不足,并且不同领域间的特征分布差异较大,特征所表达的情感极性也有很大差别,这些问题都导致了分类准确率较低。针对以上问题,提出一种基于胶囊网络的方面级跨领域情感分析方法。首先,通过BERT预训练模型获取文本的特征表示;其次,针对细粒度的方面级情感特征,采用循环神经网络（RNN）将上下文特征与方面特征进行融合;然后,使用胶囊网络配合动态路由来区分重叠特征,并构建基于胶囊网络的情感分类模型;最后,利用目标领域的少量数据对模型进行微调来实现跨领域迁移学习。所提方法在中文数据集上的最优的F1值达到95.7%,英文数据集上的最优的F1值达到了91.8%,有效解决了训练样本不足造成的准确率低的问题。     

深度学习方法在软件分析中的应用

大数据时代下迅速兴起的深度学习已在计算机视觉等多个领域取得了重大进展。近年来,随着软件制品的积累,这一方法也开始在软件工程领域发挥重要作用。概述了利用深度学习处理不同软件分析任务的研究进展,总结了主要研究方向和应用特点。目前已有一批重要成果发表,相关研究热度呈现上升趋势。最后探讨了现有深度学习技术在应用时的一些局限性与问题。     

基于深度学习的三维点云头部姿态估计

快速、可靠的头部姿态估计算法是高级人脸分析任务的基础。为了解决现有算法存在的光照变化、遮挡、姿态尺度较大等问题,提出一种新的深度学习框架HPENet。该网络以点云数据为输入,首先通过最远点采样算法提取点云结构中的特征点,以特征点为球心,将不同半径的球体内的点构成多个分组,用于后续的特征描述;然后采用多层感知器和最大池化层实现点云的特征提取,提取的特征通过全连接层输出预测的头部姿态。为了验证HPENet的有效性,在公共数据集Biwi Kinect Head Pose上进行测试。实验结果显示,HPENet在俯仰角、侧倾角和偏航角上的误差分别为2.3°、1.5°、2.4°,平均每帧的时间消耗为8 ms。与其他优秀算法相比,所提方法在准确度和计算的复杂度方面都具有更好的性能。     

基于深度卷积神经网络的快速图像分类算法

为了应对大量图像的分类问题,提出一种基于深度卷积神经网络和CUDA-cuDNN并行运算的快速图像分类方法。该方法利用深度卷积神经网络自动学习特征的优势来解决手工设计特征普适性差等问题,同时结合基于CUDA架构的cuDNN并行运算策略来提高训练速度和加快分类速度,并且针对深度卷积神经网络易受参数扰动等缺点,引入批量正则化（Batch Normalization）以提高算法的鲁棒性。实验结果表明,该方法不仅大幅缩短了训练时间同时加快了图像的分类速度,而且进一步降低了图像分类的错误率。     

基于深度学习的文本自动摘要方案

针对自然语言处理（NLP）生成式自动摘要领域的语义理解不充分、摘要语句不通顺和摘要准确度不够高的问题，提出了一种新的生成式自动摘要解决方案，包括一种改进的词向量生成技术和一个生成式自动摘要模型。改进的词向量生成技术以Skip-Gram方法生成的词向量为基础，结合摘要的特点，引入词性、词频和逆文本频率三个词特征，有效地提高了词语的理解；而提出的Bi-MulRnn+生成式自动摘要模型以序列映射（seq2seq）与自编码器结构为基础，引入注意力机制、门控循环单元（GRU）结构、双向循环神经网络（BiRnn）、多层循环神经网络（MultiRnn）和集束搜索，提高了生成式摘要准确性与语句流畅度。基于大规模中文短文本摘要（LCSTS）数据集的实验结果表明，该方案能够有效地解决短文本生成式摘要问题，并在Rouge标准评价体系中表现良好，提高了摘要准确性与语句流畅度。     

融合深度置信网络与与核极限学习机算法的核磁共振测井储层渗透率预测方法

由于低孔低渗储层孔隙结构较为复杂,现有核磁共振（NMR）测井渗透率模型对于低孔低渗储层预测精度不高。为此,提出一种融合深度置信网络（DBN）算法与核极限学习机（KELM）算法的渗透率预测方法。该方法首先对DBN模型进行预训练,然后将KELM模型作为预测器放置在训练好DBN模型后,利用训练数据进行有监督的训练,最终形成深度置信-核极限学习机（DBKELMN）模型。考虑到该模型需充分利用反映孔隙结构的横向弛豫时间谱信息,将离散化后的核磁共振测井横向弛豫时间谱作为输入,渗透率作为输出,确定NMR测井横向弛豫时间谱与渗透率的函数关系,并基于该函数关系对储层渗透率进行预测。实例应用表明,融合DBN算法与KELM算法的渗透率预测方法是有效的,预测样本的平均绝对误差（MAE）较斯伦贝谢道尔研究中心（SDR）模型降低了0.34。融合DBN算法与KELM算法的渗透率预测方法可提高低孔渗储层渗透率预测精度,可应用于油气田勘探开发。     

A deep learning approach to the classification of 3D CAD models简

Model classification is essential to the management and reuse of 3D CAD models. Manual model classification is laborious and error prone. At the same time, the automatic classification methods are scarce due to the intrinsic complexity of 3D CAD models. In this paper, we propose an automatic 3D CAD model classification approach based on deep neural networks. According to prior knowledge of the CAD domain, features are selected and extracted from 3D CAD models first, and then pre-processed as high dimensional input vectors for category recognition. By analogy with the thinking process of engineers, a deep neural network classifier for 3D CAD models is constructed with the aid of deep learning techniques. To obtain an optimal solution, multiple strategies are appropriately chosen and applied in the training phase, which makes our classifier achieve better per-formance. We demonstrate the efficiency and effectiveness of our approach through experiments on 3D CAD model datasets.     

大数据环境下精准客户定位的社交网络分析

大数据为企业进行精准营销提供了重要支撑,精准营销能提升营销效果,提高客户满意度,精准营销的前提是客户识别与选择。通过分析网络个体与群体特征,社交网络分析能够定位核心价值客户。首先对社交网络的中心性进行分析,探讨社交网络节点地位与营销效果的关系,运用社群识别方法,对社交网络进行分群,提出并用MapReduce实现了针对大规模社交网络的社群划分RMCL方法。在此基础上,构建了客户影响度与客户影响因子等指标,并结合中心度指标,定位社群的核心节点,并采用分类回归树方法,研究了社交网络结构与客户消费响应关系,并确定了变量重要性,为企业采取客户差异化营销组合策略提供指导。     

FPNN:优化的过程神经网络模型及其应用

利用既定条件下过程神经元与傅里叶神经元的等价性,提出一种优化的过程神经网络模型FPNN,并对等价性进行了证明。FPNN网络在保持了过程神经网络模型表达能力和预测准确率的同时,继承了FNN的优点,大大提高了模型的效率。     

基于深度卷积神经网络的色素性皮肤病识别分类

针对当前皮肤病识别分类面临的两个主要问题：一是由于皮肤病种类繁多,病灶外观的类间相似度高和类内差异化大,尤其是色素性皮肤病,使得皮肤病的识别分类比较困难;二是皮肤病识别算法模型设计存在一定的局限性,识别率还有待进一步提高。为此,以VGG19模型为基础架构,训练了一个结构化的深度卷积神经网络（CNN）,实现了色素性皮肤病的自动分类。首先,采用数据增强（裁剪、翻转、镜像）对数据进行预处理;其次,将在ImageNet上预训练好的模型,迁移至增强后的数据集进行调优训练,训练过程中通过设置Softmax损失函数的权重,增加少数类判别错误的损失,来缓解数据集中存在的类别不平衡问题,提高模型的识别率。实验采用深度学习框架PyTorch,在数据集ISIC2017上进行。实验结果表明,该方法的识别率和敏感性可分别达到71.34%、70.01%,相比未设置损失函数的权重时分别提高了2.84、11.68个百分点,说明该方法是一种有效的皮肤病识别分类方法。     

融合成对编码方案及二维卷积神经网络的长短期会话推荐算法

虽然基于循环神经网络（RNN）的会话推荐算法可以有效地对会话中的长期依赖关系进行建模,并且可以结合注意力机制来刻画用户在会话中的主要目的,但它在进行会话建模的过程中无法绕过与用户主要目的不相关的物品,易受其影响以致降低推荐精度。针对上述问题,设计了成对编码方案来将原始输入序列嵌入向量转化为一个三维张量表示,使得非相邻的行为也能够产生联系。通过二维卷积神经网络（CNN）来处理该张量以捕获非相邻物品间的联系,并提出了引入用于会话推荐的二维卷积神经网络的神经注意力推荐机（COS-NARM）模型。该模型能有效跳过序列中与用户主要目的不相关的物品。实验结果表明,COS-NARM模型在DIGINETICA等多个真实数据集上的召回率和平均倒数排名（MRR）都得到了不同程度的提升,且优于NARM、GRU-4Rec+等所有基线模型。在上述研究的基础上,将欧氏距离引入COS-NARM模型,提出了OCOS-NARM模型。利用欧氏距离直接计算不同时刻兴趣间的相似度以减少模型的参数,降低模型的复杂度。实验结果表明,欧氏距离的引入不仅使得OCOS-NARM模型在DIGINETICA等多个真实数据集上的推荐效果得到了进一步的提升,而且使OCOS-NARM模型的训练时间相较COS-NARM模型缩短了14.84%,有效提高了模型的训练速度。