面向电子商务平台用户意图预测的时间感知分层自注意力网络

在推荐系统领域,了解电商平台中在线用户的行为意图至关重要。目前的一些方法通常将用户与商品之间的交互历史数据视为有序的序列,却忽视了不同交互行为之间的时间间隔信息。另外,一个用户的在线行为可能不仅仅包含一种意图,而是包含多种意图。例如,当一位用户在浏览运动品类下的商品时,其可能同时有购买足球和运动衫这两种商品的意图。但是现有的一些电商平台用户意图预测方法很难有效对用户-商品交互对时间间隔信息进行建模,也难以捕捉用户多方面的购物意图。为了解决上述问题,我们提出了一种时间感知分层自注意力网络模型THSNet,以更有效对电商平台的用户意图进行预测。具体而言,THSNet模型采用一种分层注意力机制来有效地捕获用户-商品交互历史中的时间跨度信息以更有效建模用户的多种意图。THSNet模型的注意力层分为两层,底层的注意力层用于建模每个会话内部的用户-商品交互,上层的注意力层学习不同会话之间的长期依赖关系。另外,为了提高预测结果的鲁棒性和准确度,我们采用BERT预训练的方法,通过随机遮盖部分会话的特征表示,构造了一个完形填空任务,并将该任务与用户意图预测任务耦合成为多任务学习模型,这种多任务预测方法有助于模型学到一个具有鲁棒性和双向性的会话特征表示。我们在两个真实数据集上对所提方法对有效性进行了验证。实验结果表明,我们所提出的THSNet模型要明显优于目前最先进的方法。     

带有时间预测辅助任务的会话式序列推荐

会话式序列推荐旨在根据短期匿名行为序列预测该用户近期行为,因为该任务设定考虑了用户偏好的变化而备受学术和工业界关注.现有方法集中于以单任务模式预测下一交互对象,忽略了行为时间预测辅助任务中的额外语义.在面向事件、地点的一般序列推荐问题中,有少数方法以并行方式同时预测下一交互对象及对应时间,然而这并不完全契合用户先产生交互意图再选择合适时间的实际情况.为缓解上述问题影响,本文提出了一种基于序列式多任务学习的会话式序列推荐方法,具有两方面特色.首先,该方法通过将下一交互对象预测结果作为下一时间预测的输入,赋予两个任务顺序依赖性.相比于传统的并行式交互对象和时间预测方式该方法耦合性更强.其次,本文开发了一种经过改进的双向时间间隔感知自注意力方法,使得会话中每个位置可以融合来自左右两侧的交互对象及时间间隔信息.相比于过去的单向会话式序列推荐方法增强了建模会话上下文的能力,该方法有利于更好地刻画用户兴趣表征.本文在Tianchi电商数据集、Lastfm音乐数据集以及Foursquare地点行为轨迹数据集上进行了实验.结果 表明:(1)所提出方法在常用序列推荐指标上一致优于所采用的比较方法.特别地,在NDCG@5评价指标上比最好的基线方法TiSASRec平均提高13.51％;(2)序列式多任务学习和双向时间间隔感知自注意力机制对于预测性能均能带来正面提升.     

基于多任务学习的时序多模态情感分析模型

针对时序多模态情感分析中存在的单模态特征表示和跨模态特征融合问题,结合多头注意力机制,提出一种基于多任务学习的情感分析模型。首先,使用卷积神经网络（CNN）、双向门控循环神经网络（BiGRU）和多头自注意力（MHSA）实现了对时序单模态的特征表示;然后,利用多头注意力实现跨模态的双向信息融合;最后,基于多任务学习思想,添加额外的情感极性分类和情感强度回归任务作为辅助,从而提升情感评分回归主任务的综合性能。实验结果表明,相较于多模态分解模型,所提模型的二分类准确度指标在CMU-MOSEI和CMU-MOSI多模态数据集上分别提高了7.8个百分点和3.1个百分点。该模型适用于多模态场景下的情感分析问题,能够为商品推荐、股市预测、舆情监控等应用提供决策支持。     

多任务LS-SVM在时间序列预测中的应用

针对单任务时间序列中存在的信息挖掘不充分、预测精度低等问题,提出了一种基于多任务最小二乘支持向量机（MTLS-SVM）的时间序列预测方法。该方法将多个时间序列任务同时进行学习,使得在训练过程中任务之间能够相互牵制起到归纳偏置作用,最终有效提高模型的预测精度。首先,利用相邻时间点之间的密切相关性,构造多个相邻时间点的学习任务,然后将每个任务对应的数据集同时训练MTLS-SVM模型并将其用于预测。将该方法用于几个时间序列数据集并与单任务LS-SVM方法相比,实验结果表明该方法具有较高的预测精度,验证了方法的可行性和有效性。     

融合情感轮注意力的情感分布学习

情感分布学习是一种近年提出的有效的多情绪分析模型,其核心思路是通过情感分布记录示例在各个情绪上的表达程度,适于处理存在情绪模糊性的情感分析任务。针对现有的情感分布学习方法较少考虑情感心理学先验知识的问题,提出一种基于情感轮注意力的情感分布学习（emotion wheel attention based emotion distribution learning,EWA-EDL）模型。EWA-EDL模型为每种基本情绪生成一个描述情绪心理学相关性的先验情感分布,再通过注意力机制将基于情感轮的先验知识直接融入深度神经网络。EWA-EDL模型采用端到端的方式对深度网络进行训练,同时学习情感分布预测和情绪分类任务。EWA-EDL模型主要由5部分构成,分别为输入层、卷积层、池化层、注意力层和多任务损失层。在8个常用的文本情感数据集上的对比实验表明,EWA-EDL模型在情感分布预测和情绪分类任务上的性能均优于对比的情感分布学习方法。     

基于序列图模型的多标签序列标注

该文针对实际中存在对同一句话标注多种序列标签问题,定义了多标签序列标注任务,并提出了一种新的序列图模型。序列图模型主要为了建模两种依赖关系:不同单词在时序维度上面的关系和同一单词在不同任务之间的依赖关系。该文采用LSTM或根据Transformer修改设计的模型处理时序维度上的信息传递。同一单词在不同任务之间使用注意力机制处理不同任务之间的依赖关系,以获得每个单词更好的隐状态表示,并作为下次递归处理的输入。实验表明,该模型不仅能够在Ontonotes 5.0数据集上取得更好的结果,而且可以获取不同任务标签之间可解释的依赖关系。     

基于混合注意力与强化学习的文本摘要生成

基于递归神经网络的序列到序列的模型在文本摘要生成任务中取得了非常好的效果,但这类模型大多存在生成文本重复、曝光偏差等问题。针对重复问题,提出一种由存储注意力和解码自注意力构成的混合注意力,通过存储历史注意力和增加对历史生成单词的注意力来克服该问题;使用强化学习作为一种新的训练方式来解决曝光偏差问题,同时修正损失函数。在CNN/Daily Mail数据集对模型进行测试,以ROUGE为评价指标,结果证明了混合注意力对重复问题有较大的改善,借助强化学习可以消除曝光偏差,整合后的模型在测试集上超越先进算法。     

基于注意力机制的CNN-GCN模型及其应用

现有多变量时间序列(multivariate time series,MTS)预测方法模型主要采用循环神经网络和注意力机制提取MTS的复杂时空特征,这些方法对MTS变量之间的空间依赖关系的捕获能力不足。图卷积网络对复杂数据的空间特征提取能力较强。为此提出一种融入图卷积网络、注意力机制和深度学习中的卷积神经网络的三通道网络框架模型,将该框架模型用于多变量时间序列预测任务。实验结果表明,该模型在国际汇率这一多变量时间序列数据集上的性能表现要优于目前较先进的几个基线模型。     

主题关键词信息融合的中文生成式自动摘要研究

随着大数据和人工智能技术的迅猛发展,传统自动文摘研究正朝着从抽取式摘要到生成式摘要的方向演化,从中达到生成更高质量的自然流畅的文摘的目的.近年来,深度学习技术逐渐被应用于生成式摘要研究中,其中基于注意力机制的序列到序列模型已成为应用最广泛的模型之一,尤其在句子级摘要生成任务（如新闻标题生成、句子压缩等）中取得了显著的效果.然而,现有基于神经网络的生成式摘要模型绝大多数将注意力均匀分配到文本的所有内容中,而对其中蕴含的重要主题信息并没有细致区分.鉴于此,本文提出了一种新的融入主题关键词信息的多注意力序列到序列模型,通过联合注意力机制将文本中主题下重要的一些关键词语的信息与文本语义信息综合起来实现对摘要的引导生成.在NLPCC 2017的中文单文档摘要评测数据集上的实验结果验证了所提方法的有效性和先进性.     

基于关键词的代码自动摘要

代码摘要(code summary)是对一段源代码简短的自然语言描述,代码自动摘要(code summarization)技术通过自动化地生成代码摘要辅助开发者更好地理解程序代码,该技术在许多软件开发活动中都具有重要的应用价值.代码自动摘要同时结合了机器翻译和文本摘要2个任务,如何更好地对代码建模以及如何更好地筛选代码中的关键信息是代码摘要所面临的主要挑战.受人类写摘要时的习惯和相关研究的启发,提出了一种基于关键词的代码自动摘要方法(keyword-based source code summarization, KBCoS).该方法将函数签名和API(application programming interface)调用视为关键词,并利用关键词序列来优化解码器注意力机制中的权重分布,使模型在生成摘要时更集中地关注代码中的重要信息.此外,为克服代码符号词汇表过大的问题,提出了符号部分拆分算法,即当符号不在词表中时,依据常用命名规则将符号拆成子符号的序列.该算法简单有效,能很好地平衡代码符号序列长度和未登录词数目之间的矛盾.选用了带有注意力机制的序列到序列模型作为基准模型,并在公开的Java代码摘要数据集上进行了评估.实验表明,基于关键词的注意力机制和部分拆分算法在BLEU-4,METEOR,ROUGE-L这3个评测指标上均能提升基准模型的表现.同时,在另一个Python数据集上也取得了一致的实验结果.最后,将KBCoS与现有模型相结合,在Java数据集上取得了当前最好的结果,该结果表明KBCoS也能改进现有的其他模型.评测结果和注意力权重的热力图都表明了KBCoS的有效性.     

基于注意力机制和辅助任务的语义分割算法

为提高网络模型低层特征的离散度和语义分割算法的性能,以全卷积神经网络作为基础模型,提出一种基于辅助损失、边缘检测辅助任务和注意力机制的语义分割算法。通过重新设计网络模型的辅助损失分支,使网络低层特征编码更多语义信息。在多任务学习中,选择边缘检测作为辅助任务,基于注意力机制设计边缘检测的辅助任务分支,使网络模型更关注物体的形状和边缘信息。在此基础上,将基础模型、辅助损失分支、辅助任务分支集成构造为语义分割模型。在VOC2012数据集上的实验结果表明,该算法的平均交并比为71.5%,相比基础模型算法提高了6个百分点。     

基于多对抗训练的古诗生成方法

目前许多古诗生成方法离人类创作的水平仍有较大的差距,尤其是在主题关联性及诗句的语义方面。为弥补现有方法的不足,提出一种多对抗训练的古诗生成框架。以融合了注意力机制并采用双编码器的序列到序列模型作为古诗生成器,以层级RNN和TextCNN组合的多判别模型指导古诗的生成,同时基于策略梯度进行多对抗训练。在古诗意象数据集上进行实验表明,相较于已提出的方法,基于多对抗训练的古诗生成方法有效提升了诗句与意象词之间的关联性,古诗所表现的语义内涵也更加丰富。     

基于关键词与指针生成网络的摘要生成算法

为解决传统生成式模型在生成摘要的过程中会忽略关键词信息为摘要提供的重要线索,导致关键词信息的丢失,生成的摘要不能很好地契合原文信息,文章提出了一种以指针生成网络为骨架融合BERT预训练模型和关键词信息的摘要生成方法.首先,结合TextRank算法与基于注意力机制的序列模型进行关键词的提取,使得生成的关键词能够包含更多的原文信息.其次,将关键词注意力加入到指针生成网络的注意力机制里,引导摘要的生成.此外,我们使用双指针拷贝机制来替代指针生成网络的拷贝机制,提高拷贝机制的覆盖率.在LCSTS数据集上的结果表明,所设计的模型能够包含更多的关键信息,提高了摘要生成的准确性和可读性.     

基于周期性建模的时间序列预测方法及电价预测研究

时间序列数据广泛存在于人类的生产生活中, 通常具有复杂的非线性动态和一定的周期性. 与传统的时间序列分析方法相比, 基于深度学习的方法更能捕捉数据的深层特性, 对具有复杂非线性的时间序列有较好的建模效果. 为了在神经网络中显式地建模时间序列数据的周期性和趋势性, 本文在循环神经网络的基础上引入了周期损失和趋势损失, 建立了基于周期性建模和多任务学习的时间序列预测模型. 将模型应用到欧洲能源交易所法国市场的能源市场价格预测中, 结果表明周期损失和趋势损失能够提高神经网络的泛化能力, 并提高预测时间序列趋势的精度.     

基于过程监督的序列多任务法律判决预测方法

法律判决预测是人工智能技术在法律领域的应用,因此对法律判决预测方法的研究对于实现智慧司法具有重要的理论价值和实际意义.传统的法律判决预测方法大都是只进行单一任务的预测或仅基于参数共享的多任务预测,并未考虑各子任务之间的序列依存关系,因此预测性能难以得到进一步的提升.文中提出了一个端到端的基于过程监督的序列多任务法律判决...     

基于文章和近答案句信息的问题生成模型

自动问题生成任务旨在给文章中的一段文本生成相应的自然语言的问句,该研究在问答系统和语音助手的对话系统中有重要作用,可以帮助它们启动对话和继续对话.目前的神经网络问题生成模型主要是将包含答案的句子或者整篇文章作为模型的输入,而这些方法存在语义表示不能很好地结合句子和文章信息的问题.因此该文提出多输入层次注意力序列到序列的...     

基于序列到序列神经网络模型的古诗自动生成方法

计算机写诗是实现计算机写作的第一步,目前计算机写诗普遍存在主题不明确、诗的内容与写作意图不一致的问题。为改善这些问题,效仿古人写诗的过程,提出了一种两个阶段生成古诗的方法。第一阶段获取写诗大纲,采用TextRank算法对用户输入文本提取关键词,并提出一种基于注意力机制的序列到序列神经网络模型用于关键词扩展;第二阶段根据写诗大纲生成每一行诗句,并提出一种包含双编码器和注意力机制的序列到序列神经网络模型用于古诗生成。最后通过对实验结果的评估验证了提出方法的有效性。与基准方法相比,该方法生成的古诗的主题意义更加明确,诗所表现的内容和写作意图更加一致。     

基于FAVOR+和增强损失的蛋白溶解预测

针对蛋白质溶解性预测中长序列计算复杂度高以及传统模型忽略数据间差异性等问题,提出一种多输入深度学习模型FESOL。利用线性复杂度的注意力机制FAVOR+高效提取蛋白质长序列的特征信息;结合交叉熵和余弦相似度设计增强损失函数,使模型能够关注到不同输入数据间的差异性。在独立测试集上与多种先进的预测方法进行对比实验,其结果表明,FESOL在多个评价指标上均优于其它方法,验证了模型在蛋白溶解预测中的有效性。     

融合注意力机制与多任务学习的DR分级模型

在糖尿病患者中,糖尿病视网膜病变（Diabetic Retinopathy,DR）是导致失明的主要原因。针对眼底图像中存在极难发现的微动脉瘤等微小病理特征的问题,提出了一种注意力机制模块。该模块通过融合特征图原本的特征信息与注意力单元得到的通道信息,为微小特征增加了网络的权重,再使用除操作去除特征图中的冗余信息,得到注意力机制特征作为双任务的输入;针对均方误差（Mean Square Error,MSE）损失难优化和交叉熵（Cross Entropy,CE）损失未考虑错分DR等级的代价,设计了多任务学习模块,加权融合了回归任务的MSE损失和分类任务的CE损失。基于这两个模块的设计,提出了融合注意力机制的多任务学习网络（Fusion of Attention mechanism and Multi-Tasking learning network,FAMT）。在kaggle数据集上的实验表明,FAMT网络在验证集上的Kappa比仅使用回归任务的网络高出了2%,比仅使用分类任务的网络提高了4%;FAMT网络在测试集上的Kappa比EfficientNet网络高出1%,比M2CNN网络高出了5%。     

基于多任务学习的古诗和对联自动生成

实现古诗和对联的自动生成是极具挑战性的任务。该文提出了一种新颖的多任务学习模型用于古诗和对联的自动生成。模型采用编码-解码结构并融入注意力机制,编码部分由两个BiLSTM组成,一个BiLSTM用于关键词输入,另一个BiLSTM用于古诗和对联输入;解码部分由两个LSTM组成,一个LSTM用于古诗的解码输出,另一个LSTM用于对联的解码输出。在中国的传统文学中,古诗和对联具有很多的相似特征,多任务学习模型通过编码器参数共享,解码器参数不共享,让模型底层编码部分兼容古诗和对联特征,解码部分保留各自特征,增强模型泛化能力,表现效果大大优于单任务模型。同时,该文在模型中创新性地引入关键词信息,让生成的古诗及对联表达内容与用户意图一致。最后,该文采用自动评估和人工评估两种方式验证了方法的有效性。