基于门控图注意力神经网络的程序分类

在源代码挖掘领域,程序分类任务是实现机器自主理解源代码的基础工作。虽然自然语言处理相关模型和基于抽象语法树的系列模型已经被广泛应用于分类程序源代码,但这些工作没有考虑源代码中的数据流、控制流等数据信息。提出一种方法用于构建包含数据信息和语法结构的代码图EAST,并结合基于注意力机制的门控图神经网络模型（GGANN）实现程序分类。GGANN模型的注意力机制考虑到节点拓扑结构性质的差异性,从而对模型信息传播过程进行改进。实验表明,改进后的GGANN模型在程序分类任务上的精度高达98%。     

基于多注意力长短时记忆的实体属性情感分析

属性情感分析是细粒度的情感分类任务。针对传统神经网络模型无法准确构建属性情感特征的问题，提出了一种融合多注意力和属性上下文的长短时记忆（LSTM-MATT-AC）神经网络模型。在双向长短时记忆（LSTM）的不同位置加入不同类型的注意力机制，充分利用多注意力机制的优势，让模型能够从不同的角度关注句子中特定属性的情感信息，弥补了单一注意力机制的不足；同时，融合双向LSTM独立编码的属性上下文语义信息，获取更深层次的情感特征，有效识别特定属性的情感极性；最后在SemEval2014 Task4和Twitter数据集上进行实验，验证了不同注意力机制和独立上下文处理方式对属性情感分析模型的有效性。实验结果表明，模型在Restaurant、Laptop和Twitter领域数据集上的准确率分别达到了80.6%、75.1%和71.1%，较之前基于神经网络的情感分析模型在准确率上有了进一步的提高。     

融合多头自注意力机制的中文短文本分类模型

针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题,提出了一种融合卷积神经网络和多头自注意力机制（CNN-MHA）的文本分类模型。首先,借助现有的基于Transformer的双向编码器表示（BERT）预训练语言模型以字符级向量形式来格式化表示句子层面的短文本;然后,为降低噪声,采用多头自注意力机制（MHA）学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量,再将隐藏层向量输入到卷积神经网络（CNN）中,从而生成文本分类特征向量;最后,为提升分类的优化效果,将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比,实验结果表明,改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%,验证了改进模型的有效性。     

融合多头自注意力机制的中文短文本分类模型

针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题，提出了一种融合卷积神经网络和多头自注意力机制（CNN-MHA）的文本分类模型。首先，借助现有的基于Transformer的双向编码器表示（BERT）预训练语言模型以字符级向量形式来格式化表示句子层面的短文本；然后，为降低噪声，采用多头自注意力机制（MHA）学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量，再将隐藏层向量输入到卷积神经网络（CNN）中，从而生成文本分类特征向量；最后，为提升分类的优化效果，将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比，实验结果表明，改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%，验证了改进模型的有效性。     

结合自注意力机制的神经网络文本分类算法研究

在长文本数据中存在很多与主题不相关词汇,导致这些文本数据具有信息容量大、特征表征不突出等特点。增加这些文本中关键词汇的特征影响,是提高文本分类器性能需要解决的问题。提出一种结合自注意力机制的循环卷积神经网络文本分类模型RCNN_A。注意力机制对文本词向量计算其对正确分类类别的贡献度,得到注意力矩阵,将注意力矩阵和词向量矩阵相结合作为后续结构的输入。实验结果表明,RCNN_A在10类搜狗新闻数据集上,得到了97.35%的分类正确率,比Bi-LSTM(94.75%)、Bi-GRU(94.25%)、TextCNN(93.31%)、RCNN(95.75%)具有更好的文本分类表现。通过在深度神经网络模型中引入注意力机制,能够有效提升文本分类器性能。     

基于区块链的应用系统开发方法研究

本文从区块链的技术层面及应用层面分析其特征,并给出区块链的分类。挖掘区块链的设计需求,针对区块链的一致性和可扩展性的应用需求进行深入分析。对区块链的应用系统开发方法及区块链建模进行研究,提出了账户区块链（account blockchain,简称ABC）和交易区块链（trading blockchain,简称TBC）的双链设计模型。对智能合约进行深入剖析,提出了链上代码并行执行模型应用原则。最后对区块链应用技术进行总结和展望。     

基于并行混合网络融入注意力机制的情感分析

针对传统卷积神经网络（CNN）不仅会忽略词的上下文语义信息而且最大池化处理时会丢失大量特征信息的问题,传统循环神经网络（RNN）存在的信息记忆丢失和梯度弥散问题,和CNN和RNN都忽略了词对句子含义的重要程度的问题,提出一种并行混合网络融入注意力机制的模型。首先,将文本用Glove向量化;之后,通过嵌入层分别用CNN和双向门限循环神经网络提取不同特点的文本特征;然后,再把二者提取得到的特征进行融合,特征融合后接入注意力机制判断不同的词对句子含义的重要程度。在IMDB英文语料上进行多组对比实验,实验结果表明,所提模型在文本分类中的准确率达到91.46%而其F1-Measure达到91.36%。     

基于Bi-LSTM和CNN并包含注意力机制的社区问答问句分类方法

问句分类的目标是将用户提出的自然语言问句分到预先设定的类别.在社区问答中,如何准确高效的对问句进行分类是一项重要任务.本文提出了一种基于深度神经网络的问句分类方法,该方法首先将问句用词向量进行表示,然后用融合双向长短时记忆网络（Bi-LSTM）和卷积神经网络（CNN）结构并包含注意力机制的深度学习模型提取问句特征进行分类.该方法的特色在于利用Bi-LSTM和CNN在句子级文本表示的优点,充分捕捉问句特征,并结合问句的对应答案来表示问句,丰富了问句信息.实验表明,该问句分类方法准确率较高,在多个数据集上取得不错结果.     

基于并行混合网络融入注意力机制的情感分析

针对传统卷积神经网络（CNN）不仅会忽略词的上下文语义信息而且最大池化处理时会丢失大量特征信息的问题，传统循环神经网络（RNN）存在的信息记忆丢失和梯度弥散问题，和CNN和RNN都忽略了词对句子含义的重要程度的问题，提出一种并行混合网络融入注意力机制的模型。首先，将文本用Glove向量化；之后，通过嵌入层分别用CNN和双向门限循环神经网络提取不同特点的文本特征；然后，再把二者提取得到的特征进行融合，特征融合后接入注意力机制判断不同的词对句子含义的重要程度。在IMDB英文语料上进行多组对比实验，实验结果表明，所提模型在文本分类中的准确率达到91.46%而其F1-Measure达到91.36%。     

基于表情符注意力机制的微博情感分析模型

为了对中文微博进行有效的情感极性识别,基于表情符能改变或加强微博文本的情感极性这一认知事实,提出基于表情符注意力机制的微博情感分析神经网络模型。该模型在使用双向循环神经网络模型(BiLSTM)学习文本的特征表示时,利用表情符注意力机制,得到文本结合表情符后新的特征表示,从而实现微博情感识别。实验结果显示,与输入纯文本和表情符的Bi-LSTM模型相比,基于表情符注意力机制的模型准确率提高了4. 06%;与仅输入纯文本的Bi-LSTM模型相比,基于表情符注意力机制的模型准确率提高了6. 35%。     

基于本体特征的影评细粒度情感分类

针对中文影评情感分类中缺少特征属性及情感强度层面的粒度划分问题,提出一种基于本体特征的细粒度情感分类模型。首先,利用词频逆文档频率（TF-IDF）和TextRank算法提取电影特征,构建本体概念模型。其次,将电影特征属性和普鲁契克多维度情绪模型与双向长短时记忆网络（Bi-LSTM）融合,构建了在特征粒度层面和八分类情感强度下的细粒度情感分类模型。实验中,本体特征分析表明：观影人对故事属性关注度最高,继而是题材、人物、场景、导演等特征;模型性能分析表明：基于特征粒度和八分类情感强度,与应用情感词典、机器学习、Bi-LSTM网络算法在整体粒度和三分类情感强度层面的其他5个分类模型相比,该模型不仅有较高的F1值（0.93）,而且还能提供观影人对电影属性的情感偏好和情感强度参考,实现了中文影评更细粒度的情感分类。     

融合注意力机制与孪生神经网络的更新日志主题学习模型

为进一步挖掘更新日志信息,提出了基于注意力机制的孪生双向LSTM网络模型,对更新日志进行分类以实现主题标注,并辅助定位代码缺陷位置。该模型提出了具有安全特色的分词工具实现日志预处理,借助双向LSTM网络学习更新日志语义信息,通过孪生神经网络解决更新日志自身存在的过拟合模式问题并高质量扩充数据集,提升泛化能力。针对多语句组成的更新日志进行序列化训练,通过注意力机制对语句影响性进行区分。针对缺陷修复类的部分日志基于LLVM工具进行改进,生成映射表进行日志内容搜索,定位源码中缺陷模块的位置。大量实验结果表明,所提模型分类效果具有强泛化能力,且较其他文本分类通用方法在准确率、F₁值等指标提升近10%,具有理想的日志分类效果与主题学习效果。     

基于深度神经网络的庞氏骗局合约检测方法

区块链技术的发展吸引了全球投资者的目光.目前,有数以万计的智能合约部署在以太坊上.在给金融、溯源等诸多行业带来颠覆性的创新之余,以太坊上的部分智能合约含有诸如庞氏骗局等欺诈形式,给全球投资者造成了数百万美元的损失.但是,目前针对互联网金融背景下庞氏骗局的定量识别方法较少,针对以太坊上庞氏骗局合约检测的研究较少,且检测精...     

基于特征聚合的假新闻内容检测模型

针对假新闻内容检测中分类算法模型的检测性能与泛化性能无法兼顾的问题,提出了一种基于特征聚合的假新闻检测模型CCNN。首先,通过双向长短时循环神经网络提取文本的全局时序特征,并采用卷积神经网络（CNN）提取窗口范围内的词语或词组特征;然后,在卷积神经网络池化层之后,采用基于双中心损失训练的特征聚合层;最后,将双向长短时记忆网络（Bi-LSTM）和CNN的特征数据按深度方向拼接成一个向量之后提供给全连接层,采用均匀损失函数uniform-sigmoid训练模型后输出最终的分类结果。实验结果表明,该模型的F1值为80.5%,在训练集和验证集上的差值为1.3个百分点;与传统的支持向量机（SVM）、朴素贝叶斯（NB）和随机森林（RF）模型相比,所提模型的F1值提升了9~14个百分点;与长短时记忆网络（LSTM）、快速文本分类（FastText）等神经网络模型相比,所提模型的泛化性能提升了1.3~2.5个百分点。由此可见,所提模型能够在提高分类性能的同时保证一定的泛化能力,提升整体性能。     

融合语法规则的双通道中文情感模型分析

针对使用中文文本进行情感分析时,忽略语法规会降低分类准确率的问题,提出一种融合语法规则的双通道中文情感分类模型CB_Rule.首先设计语法规则提取出情感倾向更加明确的信息,再利用卷积神经网络(CNN)的局部感知特点提取出语义特征;然后考虑到规则处理时可能忽略上下文的问题,使用双向长短时记忆(Bi-LSTM)网络提取包含...     

基于注意力的多通道特征融合情感分析

为解决现今情感分析方法多利用单通道浅层的文本情感因素,不能获取词与词之间更深层语义联系的问题,提出一种基于注意力机制的多通道特征融合情感分析模型(triple channel BIGRU and attention model,Tri-BiGRU-Atten).结合词性特征、依存句法、位置信息3种不同语义特征混合建模,...     

代码特征自动提取方法

神经网络在软件工程中的应用极大程度上缓解了传统的人工提取代码特征的压力.已有的研究往往将代码简化为自然语言或者依赖专家的领域知识来提取代码特征,简化为自然语言的处理方法过于简单,容易造成信息丢失,而引入专家制定启发式规则的模型往往过于复杂,可拓展性以及普适性不强.鉴于以上问题,提出了一种基于卷积和循环神经网络的自动代码...     

基于双通道词向量的ACRNN文本分类

常见的文本分类模型多基于循环神经网络和卷积神经网络这两种结构进行模型的堆叠构建,这种层叠式结构虽然能够提取更加高维的深层次语义信息,但在不同结构连接的同时,造成一部分有效特征信息的丢失。为了解决这一问题,提出一种基于双通道词向量的分类模型,该模型使用结合注意力机制的Bi-LSTM和CNN以更加浅层的结构对文本表征进行有效的特征提取。此外,提出一种新的将文本表征成前向、后向两种形式并利用CNN进行特征提取的方法。通过在两种不同的五分类数据集上进行分类实验并与多种基准模型对比,验证了该模型的有效性,表明该模型较层叠式结构模型效果更好。     

融合注意力机制的恶意代码家族分类研究

近年来,随着恶意代码家族变种的多样化和混淆等对抗手段的不断加强,传统的恶意代码检测方法难以取得较好的分类效果.鉴于此,提出了一种融合注意力机制的恶意代码家族分类模型.首先,使用逆向反汇编工具获取恶意样本的各区段特征,并利用可视化技术将各区段转化为RGB彩色图像的各通道;其次,引入通道域和空间域注意力机制来构建基于混合域...