基于层次异构图注意力网络的虚假评论检测

针对虚假评论检测中不能充分利用评论的非语义特征的问题,提出了一种新的基于层次注意力机制与异构图注意力网络的层次异构图注意力网络（HHGAN）模型。首先,通过层次注意力机制学习评论文本中词级别和句级别的文档表示,重点捕获对虚假评论检测有重要意义的单词和句子;然后,将学习到的文档表示作为节点,并选取评论中非语义特征作为元路径来构建具有双层注意力机制的异构图注意力网络;最后,设计一个多层感知器（MLP）用以判别评论类别。实验结果表明,HHGAN模型在yelp.com中提取的餐厅数据集和酒店数据集上的F1值分别到达0.942和0.923,效果明显优于传统的卷积神经网络（CNN）模型和其他神经网络基准模型。     

基于注意力机制的改进CLSM检索式匹配问答方法

针对检索式匹配问答模型对中文语料适应性弱和句子语义信息被忽略的问题，提出一种基于卷积神经网络潜在语义模型（CLSM）的中文文本语义匹配模型。首先，在传统CLSM基础上进行改进，去掉单词和字母的N元模型层，以增强模型对中文语料的适应性；其次，采用注意力机制算法，针对输入的中文词向量信息建立实体关注层模型，以加强句中核心词的权重信息；最后，通过卷积神经网络（CNN）有效地捕获输入句子上下文结构方面信息，并通过池化层对获取的语义信息进行降维。基于医疗问答对数据集，将改进模型与传统语义模型、传统翻译模型、深度神经网络模型进行对比，实验结果显示所提模型在归一化折现累积增益（NDCG）方面有4~10个百分点的提升，优于对比模型。     

基于注意力机制网络的航运监控图像识别模型

针对已有的航运监控图像识别模型C3D里中级表征学习能力有限,有效特征的提取容易受到噪声的干扰,且特征的提取忽视了整体特征与局部特征之间关系的问题,提出了一种新的基于注意力机制网络的航运监控图像识别模型。该模型基于卷积神经网络（CNN）框架,首先,通过特征提取器提取图像的浅层次特征;然后,基于CNN对不同区域激活特征的不同响应强度,生成注意力信息并实现对局部判别性特征的提取;最后,使用多分支的CNN结构融合局部判别性特征和图像全局纹理特征,从而利用局部判别性特征和图像全局纹理特征的交互关系提升CNN学习中级表征的能力。实验结果表明,所提出的模型在航运图像数据集上的识别准确率达到91.8%,相较于目前的C3D模型提高了7.2个百分点,相较于判别滤波器组卷积神经网络（DFL-CNN）模型提高了0.6个百分点。可见所提模型能够准确判断船舶的状态,可以有效应用于航运监控项目。     

基于并行混合神经网络模型的短文本情感分析

针对传统的卷积神经网络（CNN）在进行情感分析任务时会忽略词的上下文语义以及CNN在最大池化操作时会丢失大量特征信息，从而限制模型的文本分类性能这两大问题，提出一种并行混合神经网络模型CA-BGA。首先，采用特征融合的方法在CNN的输出端融入双向门限循环单元（BiGRU）神经网络，通过融合句子的全局语义特征加强语义学习；然后，在CNN的卷积层和池化层之间以及BiGRU的输出端引入注意力机制，从而在保留较多特征信息的同时，降低噪声干扰；最后，基于以上两种改进策略构造出了并行混合神经网络模型。实验结果表明，提出的混合神经网络模型具有收敛速度快的特性，并且有效地提升了文本分类的F1值，在中文评论短文本情感分析任务上具有优良的性能。     

基于优势演员-评论家算法的强化自动摘要模型

针对长文本自动摘要任务中抽取式模型摘要较为冗余,而生成式摘要模型时常有关键信息丢失、摘要不准确和生成内容重复等问题,提出一种面向长文本的基于优势演员-评论家算法的强化自动摘要模型（A2C-RLAS）。首先,用基于卷积神经网络（CNN）和循环神经网络（RNN）的混合神经网络的抽取器（extractor）来提取原文关键句;然后,用基于拷贝机制和注意力机制的重写器（rewriter）来精炼关键句;最后,使用强化学习的优势演员-评论家（A2C）算法训练整个网络,把重写摘要和参考摘要的语义相似性（BERTScore值）作为奖励（reward）来指导抽取过程,从而提高抽取器提取句子的质量。在CNN/Daily Mail数据集上的实验结果表明,与基于强化学习的抽取式摘要（Refresh）模型、基于循环神经网络的抽取式摘要序列模型（SummaRuNNer）和分布语义奖励（DSR）模型等模型相比,A2C-RLAS的最终摘要内容更加准确、语言更加流畅,冗余的内容有效减少,且A2C-RLAS的ROUGE和BERTScore指标均有提升。相较于Refresh模型和SummaRuNNer模型,A2C-RLAS模型的ROUGE-L值分别提高了6.3%和10.2%;相较于DSR模型,A2C-RLAS模型的F1值提高了30.5%。     

基于卷积神经网络和Tree-LSTM的微博情感分析

微博情感分析旨在研究用户关于热点事件的情感观点,研究表明深度学习在微博情感分析上具有可行性。针对传统卷积神经网络进行微博情感分析时忽略了非连续词之间的相关性,为此将注意力机制应用到卷积神经网络（CNN）模型的输入端以改善此问题。由于中文微博属于短文本范畴,卷积神经网络前向传播过程中池化层特征选择存在丢失过多语义特征的可能性,为此在卷积神经网络的输出端融入树型的长短期记忆神经网络（LSTM）,通过添加句子结构特征加强深层语义学习。在两种改进基础上构造出一种微博情感分析模型（Att-CTL）,实验表明该模型在微博情感分析上具有优良的特性,尤其在极性转移方面仍保持较高的F1值。     

基于深度学习的问答匹配方法

面向中文问答匹配任务,提出基于深度学习的问答匹配方法,以解决机器学习模型因人工构造特征而导致的特征不足和准确率偏低的问题。在该方法中,主要有三种不同的模型。首先应用组合式的循环神经网络（RNN）与卷积神经网络（CNN）模型去学习句子中的深层语义特征,并计算特征向量的相似度距离。在此模型的基础上,加入两种不同的注意力机制,根据问题构造答案的特征表示去学习问答对中细致的语义匹配关系。实验结果表明,基于组合式的深度神经网络模型的实验效果要明显优于基于特征构造的机器学习方法,而基于注意力机制的混合模型可以进一步提高匹配准确率,其结果最高在平均倒数排序（MRR）和Top-1 accuray评测指标上分别可以达到80.05%和68.73%。     

基于注意力机制的入侵检测生成对抗网络模型

针对传统基于生成对抗网络（GAN）模型存在生成对抗样本无效且训练效率低等问题,提出一种基于注意力机制的GAN模型,通过在生成器模块引入注意力机制,保留攻击流量攻击功能的同时,对输入向量的不同部分设置不同权值,以实现对关键特征信息的抽取,使得模型可以作出更准确的判断,同时提高训练的效率。生成器根据注意力特征图可以抽取攻击流量中的非功能特征进行修改,提高训练效率,结合判别器判别反馈结果,最终生成器可以生成保留攻击功能的有效对抗样本。实验针对基于卷积神经网络（CNN）类的深度入侵检测系统进行测试,验证了此基于注意力机制的GAN对抗攻击模型生成的对抗流量可以有效降低深度入侵检测系统的识别率,整体识别率降低超过10%,在注意力模块的帮助下模型能够针对重要特征进行训练,使得收敛速度更快、效率更高。     

基于CNN的智慧农场图像分类方法

为解决新疆兵团农业现代化建设中有感知无决策的问题，提出一种基于注意力机制模块（SENet）与卷积神经网络混合模型迁移学习的图像分类方法（TL-DA-SE-CNN）。该方法选择4种不同的CNN模型进行权重采集，包括VGGNet、ResNet、InceptionNet和MobileNet。模型使用SENet分类器代替卷积神经网络的全连接层，提取图像的结构性高阶统计特征进行主题分类，并使用BP算法进行参数调整，分类准确度达98.20%。实验结果表明，将CNN与迁移学习、数据增强和SENet相结合的技术提高了牲畜图像分类的性能，是卷积神经网络在农场自动化分群中的有效应用。     

基于LSTM-Attention与CNN混合模型的文本分类方法

针对传统长短时记忆网络（Long Short-Term Memory,LSTM）和卷积神经网络（Convolution Neural Network,CNN）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于LSTM-Attention与CNN混合模型的文本分类方法。使用CNN提取文本局部信息,进而整合出全文语义;用LSTM提取文本上下文特征,在LSTM之后加入注意力机制（Attention）提取输出信息的注意力分值;将LSTM-Attention的输出与CNN的输出进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于LSTM、CNN及其改进模型效果更好,可以有效提高文本分类的效果。     

基于改进卷积神经网络与集成学习的人脸识别算法

针对复杂卷积神经网络(CNN)在中小型人脸数据库中的识别结果容易出现过拟合现象,提出一种基于改进CNN网络与集成学习的人脸识别算法。改进CNN网络结合平面网络和残差网络的特点,采用平均池化层代替全连接层,使得网络结构简单且可移植性强。在改进CNN网络的基础上,利用基于投票法的集成学习策略将所有个体学习器结果凸组合为最终结果,实现更准确的人脸识别。实验结果表明,该算法在Color FERET、AR和ORL人脸数据库上的识别准确率分别达到98.89%、99.67%和100%,并且具有较快的收敛速度。     

基于深度卷积神经网络的图像检索算法研究

为解决卷积神经网络在提取图像特征时所造成的特征信息损失,提高图像检索的准确率,提出了一种基于改进卷积神经网络LeNet-L的图像检索算法。首先,改进LeNet-5卷积神经网络结构,增加网络结构深度。然后,对深度卷积神经网络模型LeNet-L进行预训练,得到训练好的网络模型,进而提取出图像高层语义特征。最后,通过距离函数比较待检图像与图像库的相似度,得出相似图像。在Corel数据集上,与原模型以及传统的SVM主动学习图像检索方法相比,该图像检索方法有较高的准确性。经实验结果表明,改进后的卷积神经网络具有更好的检索效果。     

卷积神经网络研究综述

近年来,卷积神经网络在图像分类、目标检测、图像语义分割等领域取得了一系列突破性的研究成果,其强大的特征学习与分类能力引起了广泛的关注,具有重要的分析与研究价值。首先回顾了卷积神经网络的发展历史,介绍了卷积神经网络的基本结构和运行原理,重点针对网络过拟合、网络结构、迁移学习、原理分析四个方面对卷积神经网络在近期的研究进行了归纳与分析,总结并讨论了基于卷积神经网络的相关应用领域取得的最新研究成果,最后指出了卷积神经网络目前存在的不足以及未来的发展方向。     

基于ATT-IndRNN-CNN的维吾尔语名词指代消解

该文提出一种基于注意力机制(attention mechanism,ATT)、独立循环神经网络(independently recurrent neural network,IndRNN)和卷积神经网络(convolutional neural network,CNN)结合的维吾尔语名词指代消解模型(ATT-IndRNN-CNN)。根据维吾尔语的语法和语义结构,提取17种规则和语义信息特征。利用注意力机制作为模型特征的选择组件计算特征与消解结果的关联度,结果分别输入IndRNN和CNN得到包含上下文信息的全局特征和局部特征,最后融合两类特征并使用softmax进行分类完成消解任务。实验结果表明,该方法优于传统模型,准确率为87.23%,召回率为88.80%,F值为88.04%,由此证明了该模型的有效性。     

基于一维卷积混合神经网络的文本情感分类

针对情感分类中传统二维卷积模型对特征语义信息的损耗以及时序特征表达能力匮乏的问题，提出了一种基于一维卷积神经网络（CNN）和循环神经网络（RNN）的混合模型。首先，使用一维卷积替换二维卷积以保留更丰富的局部语义特征；再由池化层降维后进入循环神经网络层，整合特征之间的时序关系；最后，经过softmax层实现情感分类。在多个标准英文数据集上的实验结果表明，所提模型在SST和MR数据集上的分类准确率与传统统计方法和端到端深度学习方法相比有1至3个百分点的提升，而对网络各组成部分的分析验证了一维卷积和循环神经网络的引入有助于提升分类准确率。     

基于并行混合网络融入注意力机制的情感分析

针对传统卷积神经网络（CNN）不仅会忽略词的上下文语义信息而且最大池化处理时会丢失大量特征信息的问题,传统循环神经网络（RNN）存在的信息记忆丢失和梯度弥散问题,和CNN和RNN都忽略了词对句子含义的重要程度的问题,提出一种并行混合网络融入注意力机制的模型。首先,将文本用Glove向量化;之后,通过嵌入层分别用CNN和双向门限循环神经网络提取不同特点的文本特征;然后,再把二者提取得到的特征进行融合,特征融合后接入注意力机制判断不同的词对句子含义的重要程度。在IMDB英文语料上进行多组对比实验,实验结果表明,所提模型在文本分类中的准确率达到91.46%而其F1-Measure达到91.36%。     

基于并行混合网络融入注意力机制的情感分析

针对传统卷积神经网络（CNN）不仅会忽略词的上下文语义信息而且最大池化处理时会丢失大量特征信息的问题，传统循环神经网络（RNN）存在的信息记忆丢失和梯度弥散问题，和CNN和RNN都忽略了词对句子含义的重要程度的问题，提出一种并行混合网络融入注意力机制的模型。首先，将文本用Glove向量化；之后，通过嵌入层分别用CNN和双向门限循环神经网络提取不同特点的文本特征；然后，再把二者提取得到的特征进行融合，特征融合后接入注意力机制判断不同的词对句子含义的重要程度。在IMDB英文语料上进行多组对比实验，实验结果表明，所提模型在文本分类中的准确率达到91.46%而其F1-Measure达到91.36%。