基于层级注意力机制的互联网用户信用评估框架

随着互联网的发展,基于用户信用的在线服务产品也越来越多地应用到各个领域.在这些信用数据中,除了传统的信贷数据,还包含用户网上消费数据等,因此如何利用这些数据来评估用户的信用等级是一个亟待解决的重要问题.之前的方法主要是基于信贷领域属性的研究,缺乏在互联网领域的研究,并且这些方法很少考虑用户的不同属性对其信用的不同的重要程度.因此,为了解决这些问题,提出一个基于层级注意力机制用户信用评估模型框架(HAM-UCE),模型首先构建用户信用画像,然后利用层级注意力机制在多个注意力层逐步获取更重要的用户属性特征,实现对用户信用等级的评估.实验结果表明该方法能够有效地实现对用户信用进行等级评估,能够比基准算法取得更好的性能.     

自注意力机制的属性异构信息网络嵌入的商品推荐

基于异构信息网络嵌入的推荐技术能够有效地捕捉网络中的结构信息,从而提升推荐性能.然而现有的基于异构信息网络嵌入的推荐技术不仅忽略了节点的属性信息与节点间多种类型的边关系,还忽略了节点不同的属性信息对推荐结果不同的影响.为了解决上述问题,提出一个自注意力机制的属性异构信息网络嵌入的商品推荐(attributed heterogeneous information network embedding with self-attention mechanism for product recommendation, AHNER)框架.该框架利用属性异构信息网络嵌入学习用户与商品统一、低维的嵌入表示,并在学习节点嵌入表示时,考虑到不同属性信息对推荐结果的影响不同和不同边关系反映用户对商品不同程度的偏好,引入自注意力机制挖掘节点属性信息与不同边类型所蕴含的潜在信息并学习属性嵌入表示.与此同时,为了克服传统点积方法作为匹配函数的局限性,该框架还利用深度神经网络学习更有效的匹配函数解决推荐问题.AHNER在3个公开数据集上进行大量的实验评估性能,实验结果表明AHNER的可行性与有效性.     

基于多层次注意力的语义增强情感分类模型

由于自然语言的复杂语义、词的多情感极性以及文本的长期依赖关系,现有的文本情感分类方法面临严峻挑战。针对这些问题,提出了一种基于多层次注意力的语义增强情感分类模型。首先,使用语境化的动态词嵌入技术挖掘词汇的多重语义信息,并且对上下文语义进行建模;其次,通过内部注意力层中的多层并行的多头自注意力捕获文本内部的长期依赖关系,从而获取全面的文本特征信息;再次,在外部注意力层中,将评论元数据中的总结信息通过多层次的注意力机制融入评论特征中,从而增强评论特征的情感信息和语义表达能力;最后,采用全局平均池化层和Softmax函数实现情感分类。在4个亚马逊评论数据集上的实验结果表明,与基线模型中表现最好的TE-GRU(Transformer Encoder with Gated Recurrent Unit)相比,所提模型在App、Kindle、Electronic和CD数据集上的情感分类准确率至少提升了0.36、0.34、0.58和0.66个百分点,验证了该模型能够进一步提高情感分类性能。     

基于自注意力机制的阅读理解模型

机器阅读理解是自然语言处理领域一项得到广泛关注与研究的任务。该文针对中文机器阅读理解数据集DuReader,分析其数据集的特点及难点,设计了一种基于循环神经网络和自注意力机制的抽取式模型Mixed Model。通过设计段落融合等策略,该文提出的模型在DuReader测试集上达到了54.2的Rouge-L得分和49.14的Bleu-4得分。     

自注意力机制的视频摘要模型

针对如何高效地识别出视频中具有代表性的内容问题,提出了一种对不同的视频帧赋予不同重要性的视频摘要算法.首先使用长短期记忆网络来建模视频序列的时序关系,然后利用自注意力机制建模视频中不同帧的重要性程度并提取全局特征,最后通过每一帧回归得到的重要性得分进行采样,并使用强化学习策略优化模型参数.其中,强化学习的动作定义为每一帧选或者不选,状态定义为当前这个视频的选择情况,反馈信号使用多样性和代表性代价.在2个公开数据集SumMe和TVSum中进行视频摘要实验,并使用F-度量来衡量这2个数据集上不同视频摘要算法的准确度,实验结果表明,提出的视频摘要算法结果要优于其他算法.     

基于混合自注意力机制的神经机器翻译

编码器-解码器结构是神经机器翻译最常用的一种框架,许多新型结构都基于此框架进行设计以改善翻译性能。其中,深度自注意力网络是非常出色的一种网络结构,其利用了自注意力机制来捕获全局的语义信息。然而,这种网络却不能有效地区分每个单词的相对位置,例如,依赖单词究竟位于目标单词的左边还是右边,也不能够捕获当前单词的局部语义。为了缓解这类问题,该文提出了一种新型的注意力机制,叫做混合注意力机制。该机制包含了对自注意力网络设计的多种不同的特定掩码来获取不同的语义信息,例如,全局和局部信息,以及左向或者右向信息。最后,该文提出了一个压缩门来融合不同类型的自注意力网络。在三个机器翻译数据集上的实验结果表明,该文方法能够取得比深度自注意力网络更好的结果。     

基于自注意力和位置感知图模型的会话推荐

为解决现有的会话模型方案都只基于局部会话信息而没有充分考虑全局会话信息的问题,提出一种基于自注意力和位置感知图模型的会话推荐。利用图神经网络构建会话图,利用位置感知注意力建模会话图的一阶邻居信息,引入反向位置嵌入赋予不同项目不同的权重,通过软注意机制获得局部会话表示;利用自注意力机制自适应地捕捉会话的全局依赖;将全局会话与局部会话相结合生成最终会话表示。对3个真实数据集进行实验,模型在3个数据集上P@20分别提升了1.2%、4.3%和12.9%,MRR@20分别提升了2.3%、5.4%和14.3%,验证了所提模型的有效性。     

基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型

针对现有深度知识追踪模型存在输入习题间复杂关系捕获能力弱、无法有效处理长序列输入数据等问题,提出了基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型(KTSA-BiGRU)。首先,将学习者的历史学习交互序列数据映射为实值向量序列;其次,以实值向量序列作为输入训练双向GRU神经网络,利用双向GRU神经网络建模学习者的学习过程;最后,使用自注意力机制捕获练习题之间的关系,根据双向GRU神经网络输出的隐向量和注意力权重计算学习者正确回答下一问题的概率。实验在三个公共数据集上的性能分析优于现有的知识追踪模型,能提高深度知识追踪的预测精度。     

基于ON-LSTM与自注意力机制的单词DGA域名检测方法

针对单词DGA域名字符随机性低,字符结构和分布与良性域名相似,现有方法对其检测效果不佳的问题,提出一种单词DGA域名检测方法。首先,对域名进行BiGRAM字符编码,使模型的输入涵盖更多的域名特征;其次,构建ON-LSTM-SA特征提取模块,充分提取域名的层级语义特征并为其分配权重;最后,通过softmax函数输出分类结果。实验结果表明,相较于四种对比模型,该方法在检测性能和多分类性能方面均表现最佳,具有更高的鲁棒性和泛化能力。     

基于RS-SVR的企业信用评分模型

准确的信用评分模型可以提升银行的决策能力,将支持向量回归模型应用于企业信用评分问题,并提出基于随机子集的支持向量回归集成模型。首先使用随机子集抽样模型获得足够多不同的训练数据集,接下来使用不同的训练集子集训练得到不同的支持向量回归模型,最后使用简单平均方法整合不同模型的预测结果,在企业信用评分数据上的实验结果证明了模型的有效性。     

结合自注意力和残差的BiLSTM_CNN文本分类模型

双向长短期记忆网络（BiLSTM）和卷积神经网络（CNN）很难在文本的多分类任务中提取到足够的文本信息。提出了一种基于自注意力机制（self_attention）和残差网络（ResNet）的BiLSTM_CNN复合模型。通过自注意力赋予卷积运算后信息的权重,接着将池化后的特征信息层归一化并接入残差网络,让模型学习到残差信息,从而进一步提高模型的分类性能。在模型的运算过程中,使用了更加光滑的Mish非线性激活函数代替Relu。通过与深度学习模型对比,所提出的方法在准确率以及F1值评价指标上均优于现有模型,为文本分类问题提供了新的研究思路。     

门控多特征提取器的中文命名实体识别

在不引入其他辅助特征的情况下,仅关注文本自身,通过构建多个特征提取器深度挖掘文本序列抽象、深层、高维的特征.采用BERT预训练模型获取信息更丰富的词嵌入;将词嵌入分别输入到BiLSTM和IDCNN中进行第一轮的特征提取,为获取更高维的特征,实现信息的多通道传输和流量控制,在IDCNN网络中引入门控机制;为提高特征提取效...     

融合CNN-BiLSTM和自注意力模型的音乐情感识别

随着音乐科技研究的不断深入,音乐情感识别已被广泛实践和应用在音乐推荐、音乐心理治疗、声光场景构建等方面。模拟人类感受音乐表现情感的过程,针对音乐情感识别中长短时记忆神经网络的长距离依赖和训练效率低的问题,提出一种新的网络模型CBSA（CNN BiLSTM self attention）,应用于长距离音乐情感识别回归训练。模型使用二维卷积神经网络获取音乐情感局部关键特征,采用双向长短时记忆神经网络从获取的局部关键特征中提取序列化音乐情感信息,利用自注意力模型对获取的序列化信息进行动态权重调整,突出音乐情感全局关键点。实验结果表明,CBSA模型可缩短分析音乐情感信息中数据规律的训练时间,有效地提高音乐情感识别精确度。     

贝叶斯网络分类模型研究及其在信用评估中的应用

基于概率估计的贝叶斯及贝叶斯网络分类模型,拥有其它数据挖掘工具所不具备的优势。在分析贝叶斯及贝叶斯网络分类模型基础上,结合最小风险决策准则,提出了一种新的信用评估模型。在实际数据集上采用交叉验证方式进行了测试。实验结果表明基于最小风险决策准则的贝叶斯及贝叶斯网络分类模型可以有效地减少信用评估风险。     

基于自注意力机制的视频行为分析

视频行为识别是智能视频分析的重要组成部分.传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点.针对two-stream系列的深度卷积网络,时间网络的输入是直接以相邻两帧的光流场作为输入,其中也包含了镜头移动、背景运动等无关的运动特征的问题,在视频时序上仅通过分块取样固定长度的帧,其...     

基于支持向量机集成的个人信用评估研究

信用评估模型的优劣会对信贷机构损益和金融市场秩序产生直接的影响，为提升个人信用评估模型的精度，将集成方法应用到信用评估领域，提出改进DS证据理论的支持向量机集成个人信用评估模型，并将属性约减纳入建模过程中。利用C4.5决策树约减冗余属性，并根据数据集类别标签和支持向量机混淆矩阵，后验概率构造证据理论概率赋值函数。计算基于分类器间支持度的权重与专家权重修正由于训练过程受到干扰而产生的冲突证据。通过DS融合做出最终决策。实证分析探讨了该方法的优越性和可行性，可成为一种有效信用评估工具。