基于注意力机制面向短文本多分类的关键词权重优化

关键词语义敏感影响短文本选择关键词赋予合适权重.针对仅关注关键词是否完备没有考虑到混淆关键词会对分类造成消极影响的问题,提出一种降低混淆关键词权重实现关键词权重优化的模型.首先,基于词频?逆文件频率(TF-IDF)和混淆矩阵的原理选择文本中被定义的混淆关键词.然后,基于注意力机制构建文本表征,通过全连接层降维重构表征;训练重构的表征尽可能相似于原表征,从而选出能保留句子信息的关键词;将混淆关键词从提取的关键词里排除出去,将筛选后的关键词称为强关键词.最后,使用双向长短记忆网络?注意力机制(BiLSTM-Attention)经典模型作短文本多分类的基础模型.在此基础模型之上把强关键词整体做嵌入表示加入到BiLSTM-Attention模型中的注意力部分激活函数计算当中.与BiLSTM-Attention基础模型进行的实验结果表明,所提模型在Snippets公开数据集上,分类准确率提高0.41个百分点.     

基于知识图谱的用户偏好推荐算法

针对现有的基于知识图谱推荐算法中,缺乏与用户之间的交互,忽略物品间连接关系的问题,提出了基于知识图谱的用户偏好推荐算法.首先,为了更准确地获得用户对物品的偏好类型,增加知识图谱与用户信息的交互.其次,为知识图谱引入注意力机制,使节点传播中关注相似度更高的节点,并在递归传播中优化了节点的嵌入,将两部分关系权重图叠加得到对用户感兴趣全职更对准确的加权图.最后使用TransR的损失函数作为知识图谱的损失函数,降低因权重的增加而带来的噪声,避免过拟合,获得了更好的泛化能力.基于以上的框架与改进,在三个公共数据集MovieLens、Book_Crossing、Last.FM上进行对比实验,与表现最好的基线模型RippleNet进行点击率的预测在准确率(ACC)和AUC的对比.其中MovieLens分别提升了1.9％和1.1％,在Book_Crossing分别提升了0.8％和0.7％,而在Last.FM分别提升了5.8％和3.2％,有效地改善了推荐结果.     

基于注意力的热点块和显著像素卷积神经网络的人脸防伪方法

人脸防伪用于验证被测试者是否为真实活体,是计算机视觉领域的一个研究热点。攻击手段的多样性以及人脸识别主要在嵌入式、移动式等不具备高计算能力的设备上应用,使得快速有效的人脸防伪计算成为具有挑战性的任务。针对该问题,文中提出了一种基于注意力的热点块和显著像素卷积神经网络的方法。其中,热点块机制以对5个热点块的判别来取代对整张人脸的判别,显著降低了计算量,迫使网络模型集中关注更具有鉴别信息的热点块,提高了网络模型的准确率;显著像素方法对输入的人脸图像进行显著像素预测,通过判断显著预测图是否符合人脸的深度特性来鉴别活体与攻击。该方法将热点块与显著像素的结果进行融合,充分发挥了局部特征和全局特征的作用,进一步提升了人脸防伪的效果。与现有方法相比,所提方法在CASIA-MFSD、Replay-Attack以及SiW数据集上都达到了很好的效果。     

基于多补丁和多尺度层级聚合网络的快速非均匀图像去雾

尽管基于卷积神经网络的去雾算法在合成的均匀雾气数据集上已经取得了巨大进展,但在真实的非均匀有雾图像上仍然表现不佳.为了快速有效地去除图像中的非均匀雾气,文中首先提出了一种多补丁和多尺度层级聚合网络结构(Multi-patch and Multi-scale Hierarchical Aggregation Network,MPSHAN),融合了多补丁局部化信息和多尺度全局化信息.其次,提出了层级融合模块(Hierarchical Fusion Module,HFM),既解耦了残差融合以实现更丰富的非线性特征表达,又通过通道注意力机制提升了关键位置的特征融合质量.同时,对层级结构使用扩张卷积获得多尺度信息,增强特征图以优化融合效果.此外,在损失函数中加入频域损失以恢复更好的边缘质量.实验结果表明,所提算法在非均匀雾气图像上具有很好的鲁棒性,1200×1600高分辨率图像的平均处理时间仅有0.044s,相比其他去雾算法,其在图像去雾效果和运行时间之间实现了更好的平衡.     

基于注意力机制和BiGRU融合的文本情感分析

针对简单的神经网络缺乏捕获文本上下文语义和提取文本内重要信息的能力,设计了一种注意力机制和门控单元(GRU)融合的情感分析模型FFA-BiAGRU.首先,对文本进行预处理,通过GloVe进行词向量化,降低向量空间维度;然后,将注意力机制与门控单元的更新门融合以形成混合模型,使其能提取文本特征中的重要信息;最后,通过强制向前注意力机制进一步提取文本特征,再由softmax分类器进行分类.在公开数据集上进行实验,结果证明该算法能有效提高情感分析的性能.     

基于Attention-DenseNet-BC的恶意软件家族分类方法

恶意软件是互联网最严重的威胁之一.现存的恶意软件数据庞大,特征多样.卷积神经网络具有自主学习的特点,可以用来解决恶意软件特征提取复杂、特征选择困难的问题.但卷积神经网络连续增加网络层数会引起梯度消失,导致网络性能退化、分类准确率较低.针对此问题,提出了一种适用于恶意软件图像检测的Attention-DenseNet-BC模型.首先结合DenseNet-BC网络和注意力机制(attention mechanism)构建了Attention-DenseNet-BC模型,然后将恶意软件图像作为模型的输入,通过对模型进行训练和测试得到检测结果.实验结果表明,相比其他深度学习模型,Attention-DenseNet-BC模型可以取得更好的分类结果.在Malimg公开数据集上该模型取得了较高的分类精确率.     

基于眼动点视觉先验与边缘优化的显著性检测

图像显著性检测是计算机视觉中的基础研究课题之一.当前基于深度学习的方法虽然能够有效提高显著性检测结果的准确性,但是在显著性目标的物体边缘细节提取方面还不能令人满意.为此,提出了一种基于眼动点预测先验的边缘细化网络用于显著性目标提取.首先,对输入图像进行眼动点预测,将生成的特征图像作为后续显著性检测的视觉先验;其次,利用多注意力机制VGG16网络进行显著性目标特征提取;最后,对特征图像进行质量优化处理,进一步提升图像显著图的质量.实验结果表明,在3个公开数据集(DUTS,ECSSD,HKU-IS)上,所提方法与其他6个主流方法相比,取得了更好的显著性检测效果.     

基于Capsule-BiGRU的文本相似度分析算法

针对传统神经网络模型不能很好地提取文本特征的问题,提出基于capsule-BiGRU的文本相似度分析方法,该方法将胶囊网络（capsule）提取的文本的局部特征矩阵和双向门控循环单元网络（BiGRU）提取的文本的全局特征矩阵分别进行相似度分析,得到文本的相似度矩阵,将相似度矩阵融合,得到两个文本的多层次相似度向量,从而进行文本相似度的判定。将传统的胶囊网络进行改进,把与文本语义无关的单词视为噪声胶囊,赋予较小权值,从而减轻对后续任务的影响。针对文本相似度的任务,在文本特征矩阵提取前加入互注意力机制,对于待分析的两个文本,通过计算一个文本中单词与另一文本中所有单词的相似度来对词向量赋予权值,从而能更准确地判断文本的相似度。在Quora Questions Pairs数据集进行实验,实验结果表明所提出的方法准确率为86.16%,F1值为88.77%,结果优于其他方法。     

基于双向注意力机制的多模态情感分类方法

社交网络的发展为情感分析研究提供了大量的多模态数据。结合多模态内容进行情感分类可以利用模态间数据的关联信息,从而避免单一模态对总体情感把握不全面的情况。使用简单的共享表征学习方法无法充分挖掘模态间的互补特征,因此提出多模态双向注意力融合(Multimodal Bidirectional Attention Hybrid, MBAH)模型,在深度模型提取的图像和文本特征基础上,利用双向注意力机制在一个模态下引入另一个模态信息,将该模态的底层特征与另一模态语义特征通过注意力计算学习模态间的关联信息,然后联结两种模态的高层特征形成跨模态共享表征并输入多层感知器得到分类结果。此外MBAH模型应用后期融合技术结合图文单模态自注意力模型搜寻最优决策权值,形成最终决策。实验结果表明,MBAH模型情感分类结果相较于其他方法具有明显的提升。     

面向文本分类的多头注意力池化RCNN模型

针对经典循环卷积神经网络（RCNN）在池化层采用的最大池化策略较为单一,会忽略除最突出特征外的其他特征,影响分类精度的问题,提出基于多头注意力池化的循环卷积神经网络（MHAP-RCNN）模型。多头注意力池化可以充分考虑各特征对分类的贡献,且能在训练过程中动态优化,有效缓解最大池化的单一性问题。在三个公开的文本分类数据集上进行实验,结果表明与经典RCNN及其他各模型相比,提出的模型具有更好的文本分类性能。