基于注意力模型的多传感器人类活动识别

深度循环神经网络适用于处理时间序列数据, 然而循环神经网络特征提取能力差, 时间依赖关系挖掘不足。针对此问题, 提出了3种注意力机制和长短时记忆(LSTM)神经网络结合的模型用于人类活动识别问题, 并研究了3种注意力机制在不同数据集上单独及配合使用时对模型精度的影响。对于UCI_HAR数据集, 3种注意力LSTM模型准确率分别为94.13%、95.15%和94.81%,高于LSTM模型识别准确率93.2%。此外, 针对人类活动识别的传感器时间序列数据的标签特点, 提出将时间段分类任务转化为分割任务, 设计了2个基于分割任务的注意力门控循环单元(GRU)神经网络模型, Bahdanau注意力GRU模型在Skoda数据集和机会(Oppor)数据集准确率为84.61%和89.54%, 高于基准UNet模型的70.40%和88.51%。     

基于注意力机制的乳腺X线摄影分类方法

环境的日益恶化导致癌症的发病率不断升高,2018年全球乳腺癌的发病率在所有癌症中已经位居首位。乳腺X线摄影价格实惠且易于操作,目前被认作是最好的乳腺癌筛查方法,也是早期发现乳腺癌最有效的方法。针对乳腺X线摄影不容易分辨、特征不明显等特点,提出了基于RNN+CNN的注意力记忆网络对其进行分类。注意力记忆网络包含注意力记忆模块和卷积残差模块。注意力记忆模块中,注意力模块提取乳腺X线摄影的特征,记忆模块在RNN网络加入注意力权重来模拟人对所提取关键信息的重点突出;卷积残差模块使用CNN对图像进行分类。该方法创新之处在于：提出注意力记忆网络用于乳腺X线摄影图像分类;所设计网络在RNN+CNN结构上引入注意力权重,提取图像关键信息以增强特征描述。在乳腺X线摄影INbreast数据集上的实验结果显示,注意力记忆网络的运行时间比预训练的Inceptionv2、ResNet50、VGG16网络少50%以上,同时达到更高的分类准确率。     

融合自注意力机制和多路金字塔卷积的软件需求聚类算法

随着软件数量的急剧增长以及种类的日益多样化,挖掘软件需求文本特征并对软件需求特征聚类,成为了软件工程领域的一大挑战。软件需求文本的聚类为软件开发过程提供了可靠的保障,同时降低了需求分析阶段的潜在风险和负面影响。然而,软件需求文本存在离散度高、噪声大和数据稀疏等特点,目前有关聚类的工作局限于单一类型的文本,鲜有考虑软件需求的功能语义。文中鉴于需求文本的特点和传统型聚类方法的局限性,提出了融合自注意力机制和多路金字塔卷积的软件需求聚类算法(SA-MPCN&SOM)。该方法通过自注意力机制捕获全局特征,然后基于多路金字塔卷积从不同窗口的通路深度挖掘需求文本特征,使得感知的文本片段逐倍增加,最终融合多路文本特征,利用SOM完成聚类。在软件需求数据上的实验表明,所提方法能较好地挖掘需求特征并对其聚类,性能上优于其他特征提取方式和聚类算法。     

基于注意力机制的评论情感分析及情感词检测

评论情感分析是用户生成内容分析的一个研究热点。评论对象的多样性与评论者用语的随意性,导致评论情感分析成为一个非常具有挑战性的任务。现有方法主要通过预先构建情感词表来计算评论的情感极性,但这类方法无法处理同一个词语在不同语境下情感极性存在差异的问题。针对这一问题,文中提出了一种基于注意力的卷积-递归神经网络模型,对评论的情感极性和词语在不同语境下的情感极性进行了建模。通过结合词语在句子中的上下文语境,所提方法可以将注意力集中在主要情感词周围的一个小范围内,并以一种自适应的方式对情感词的情感极性进行计算,提高了词语情感极性判断的准确率,进而提高了短文本的情感极性准确率。与CRNN,CNN以及基于情感词典的方法相比,所提方法在中文数据集(美团评论、党建评论)和英文数据集(亚马逊商品评论数据集)上都达到了更好的效果。     

基于门控图注意力神经网络的程序分类

在源代码挖掘领域,程序分类任务是实现机器自主理解源代码的基础工作。虽然自然语言处理相关模型和基于抽象语法树的系列模型已经被广泛应用于分类程序源代码,但这些工作没有考虑源代码中的数据流、控制流等数据信息。提出一种方法用于构建包含数据信息和语法结构的代码图EAST,并结合基于注意力机制的门控图神经网络模型（GGANN）实现程序分类。GGANN模型的注意力机制考虑到节点拓扑结构性质的差异性,从而对模型信息传播过程进行改进。实验表明,改进后的GGANN模型在程序分类任务上的精度高达98%。     

基于残差梯度法的神经网络Q学习算法

针对连续状态空间的非线性系统控制问题,提出一种基于残差梯度法的神经网络Q学习算法。该算法采用多层前馈神经网络逼近Q值函数,同时利用残差梯度法更新神经网络参数以保证收敛性。引入经验回放机制实现神经网络参数的小批量梯度更新,有效减少迭代次数,加快学习速度。为了进一步提高训练过程的稳定性,引入动量优化。此外,采用Softplus函数代替一般的ReLU激活函数,避免了ReLU函数在负数区域值恒为零所导致的某些神经元可能永远无法被激活,相应的权重参数可能永远无法被更新的问题。通过CartPole控制任务的仿真实验,验证了所提算法的正确性和有效性。     

基于MCFFN-Attention的高光谱图像分类

针对高光谱图像高维度的特性和样本数量少的局限性,提出了一个多尺度跨层特征融合注意力机制（MCFFN-Attention）的方法。对高光谱图像进行PCA降维,然后以3D CNN为基础,将中心像素和其相邻像素作为整体输入到网络中,对不同卷积层得到的特征进行融合。同时对融合的低层特征进行空间注意力机制处理,对融合的高层特征进行通道注意力机制处理,分配给它们不同的权重来优化特征图。在印第安松树和帕维亚大学数据集上进行实验,结果表明此方法相对于CNN、3D CNN和M3D CNN方法,分类精度得到了提升。     

基于Transformer增强架构的中文语法纠错方法

语法纠错任务是自然语言处理领域的一项重要任务,近年来受到了学术界广泛关注。该任务旨在自动识别并纠正文本中所包含的语法、拼写以及语序错误等。该文将语法纠错任务看作是翻译任务,即将带有错误表达的文本翻译成正确的文本,采用基于多头注意力机制的Transformer模型作为纠错模型,并提出了一种动态残差结构,动态结合不同神经模块的输出来增强模型捕获语义信息的能力。受限于目前训练语料不足的情况,该文提出了一种数据增强方法,通过对单语语料的腐化从而生成更多的纠错数据,进一步提高模型的性能。实验结果表明,该文所提出的基于动态残差的模型增强以及腐化语料的数据增强方法对纠错性能有着较大的提升,在NLPCC 2018中文语法纠错共享评测数据上达到了最优性能。     

基于远程监督的藏文实体关系抽取

关系抽取任务是对句子中的实体对进行关系分类。基于远程监督的关系抽取是用预先构建的知识库来对齐朴素文本,自动标注数据,在一定程度上减少了人工标注的成本,缓解了藏文材料语料不足的问题。但是基于远程监督的实体关系抽取还存在错误标记、提取特征时出现噪声等问题。该文用远程监督方法进行藏文实体关系抽取,基于已经构建的藏文知识库,利用分段卷积神经网络结构,加入语言模型和注意力机制来改善语义歧义问题以及学习句子的信息;在训练过程中加入联合得分函数来动态修正错误标签问题。实验结果表明改进的模型有效提高了藏文实体关系抽取的准确率,且优于基线模型效果。